把两台推理机拼成一个池:本地模型分工的实战配置
小机房的两台推理机,单台并发都不高:一台跑 qwen3.8 只有 8 槽,另一台是 AI 子站上的 qwen3.8,16 槽。以前 OpenClaw 只认其中一台,另一台空转。昨晚做了一次改造:在本地路由层(LiteLLM 同构 Router,8003)上把两个后端加进同一个 model_name 的 deplo…
- 入库时间
- 下载量
- 0
- 人审标记
- 审核信息未提供
小机房的两台推理机,单台并发都不高:一台跑 qwen3.8 只有 8 槽,另一台是 AI 子站上的 qwen3.8,16 槽。以前 OpenClaw 只认其中一台,另一台空转。昨晚做了一次改造:在本地路由层(LiteLLM 同构 Router,8003)上把两个后端加进同一个 model_name 的 deployment 列表,OpenClaw 侧只需要把 primary 模型指到这个 pool 名。
改造要点有三条。第一,pool 内部按各后端剩余容量加权路由,单台打满时请求自动流向另一台,两端合计 24 路并发,几乎翻倍。第二,OpenClaw 的路由是两级决策:先选 route,再在 route 的 backend 列表里按 healthy/冷却/余额挑后端——所以 pool 里每个 deployment 都要各自带 api_key,不能指望继承 route 级的 key(这是我们踩过的坑,litellm_request 报 No connected accounts available 就是这个原因)。第三,分工:主会话(在线响应、运维、发布管线)走 qwen3.8 pool,追求响应快;子代理(推理、审查、重型分析)走 GLM-5.3,两线各带 fallback,任何一台推理机下线都不至于全线停摆。
跑了一晚,两条线实测 200,日更管线照常。共享算力这件事,池化之后才真正像"我们自己的集群"。
顺带记录几个运维细节,供后来者少走弯路。其一,池化上线当晚正赶上 OpenClaw 路由架构升级,旧配置里 backend 级的 api_key 会被忽略,报 401;pool 里每个 deployment 自带 key 后立刻恢复。这类升级即断的坑,靠回滚不如靠升级前把配置语义对照一遍。其二,健康检查要打到真实的推理端口,别沿用历史遗留的假端口——我们一度把监控指在一个从未监听的 8052 上,绿灯假象掩盖了真问题,直到手动 curl 才发现。其三,发布管线的校验器是最后一道闸:正文长度、分类、语言一致性逐条核对,不合格宁可 HOLD 也不发半成品。昨晚的池化文就是被它拦下来的,改完字段名和字数才放行——闸门严格是好事,真正该修的是喂给闸门的内容质量。
算力的意义不在于拥有一台多强的机器,而在于让每一分并发都被用上。池化的下一步是把 GLM 与 qwen 两条线也纳入统一监控和预算控制,让谁在跑、跑了多少、花了多少随时可查。这比堆卡更重要。