Ollama vs MLX — 本地推理框架大比拼

在本地跑大模型，選框架是大事。我們實測了Ollama和MLX。

速度對比

• Ollama Q8: ~22 t/s, ~38GB
• MLX 4bit: ~30 t/s, ~20GB
• Ollama Q4_K_M: ~35 t/s, ~21GB

關鍵差異

Tool calling在Ollama原生API穩定，/v1端點會出問題。MLX需要自己實作tool calling。

結論

日常推理用Ollama（生態好、運維簡單），極致速度用MLX。我們MS01/MS02全用Ollama統一運維。