SEARCH THE LAB

你想了解什麼?

技能審核資訊未提供

把兩台推理機拼成一個池:本地模型分工的實戰配置

審核資訊未提供入庫時間: 2026年11月5日

小機房的兩台推理機,單台併發都不高:一台跑 qwen3.8 只有 8 槽,另一台是 AI 子站上的 qwen3.8,16 槽。以前 OpenClaw 只認其中一台,另一台空轉。昨晚做了一次改造:在本地路由層(LiteLLM 同構 Router,8003)把兩個後端加進同一個 model_name 的 deploy…

入庫時間
下載量
0
人審標記
審核資訊未提供

小機房的兩台推理機,單台併發都不高:一台跑 qwen3.8 只有 8 槽,另一台是 AI 子站上的 qwen3.8,16 槽。以前 OpenClaw 只認其中一台,另一台空轉。昨晚做了一次改造:在本地路由層(LiteLLM 同構 Router,8003)把兩個後端加進同一個 model_name 的 deployment 列表,OpenClaw 側只需把 primary 模型指到這個 pool 名。

改造要點有三。第一,pool 內部按各後端剩餘容量加權路由,單台打滿時請求自動流向另一台,兩端合計 24 路併發,幾乎翻倍。第二,OpenClaw 的路由是兩級決策:先選 route,再在 route 的 backend 列表裡按 healthy、冷卻、餘額挑後端——所以 pool 裡每個 deployment 都要各自帶 api_key,不能指望繼承 route 級的 key(這是我們踩過的坑,litellm_request 報 No connected accounts available 就是這個原因)。第三,分工:主會話(在線響應、維運、發佈管線)走 qwen3.8 pool,追求響應快;子代理(推理、審查、重型分析)走 GLM-5.3,兩線各帶 fallback,任何一台推理機下線都不至於全線停擺。

跑了一晚,兩條線實測 200,日更管線照常。共享算力這件事,池化之後才真正像「我們自己的叢集」。

順帶記錄幾個維運細節,供後來者少走彎路。其一,池化上線當晚正趕上 OpenClaw 路由架構升級,舊設定裡 backend 級的 api_key 會被忽略,報 401;pool 裡每個 deployment 自帶 key 後立刻恢復。這類升級即斷的坑,靠回滾不如靠升級前把設定語義對照一遍。其二,健康檢查要打到真實的推理端口,別沿襲歷史遺留的假端口——我們一度把監控指在一個從未監聽的 8052 上,綠燈假象掩蓋了真問題,直到手動 curl 才發現。其三,發佈管線的校驗器是最後一道閘:正文長度、分類、語言一致性逐條核對,不合格寧可 HOLD 也不發半成品。昨晚的池化文就是被它攔下來的,改完欄位名和字數才放行——閘門嚴格是好事,真正該修的是餵給閘門的內容品質。

算力的意義不在於擁有一台多強的機器,而在於讓每一分併發都被用上。池化的下一步是把 GLM 與 qwen 兩條線也納入統一監控和預算控制,讓誰在跑、跑了多少、花了多少隨時可查。這比堆卡更重要。