2026 开源 AI 工具栈盘点

2026年了，跑AI已经不需要花大钱了。盘点我们实验室用的全栈开源工具。

推理层

• Ollama：本地模型运行 ⭐⭐⭐⭐⭐ 生态最好
• MLX：Apple Silicon 推理 ⭐⭐⭐⭐ 快但折腾
• llama.cpp：分布式推理 ⭐⭐⭐⭐⭐ 多机必备

Agent 框架

• OpenClaw：AI Agent 平台
• LangGraph：Agent 流程编排

编码

• Qwen CLI：本地代码 Agent
• Continue：IDE AI 助手

应用层

• Vite + Vue3 / Nuxt3：前端
• Fastify + Postgres：后端 API

基础设施

• Gitea：代码仓库 | PM2：进程管理 | Nginx：反向代理

总花费：$0（全部开源/免费）

除了 GPU 硬件，软件层面零成本。开源具链已覆盖从推理到部署的完整链路。