本地跑大模型，2026年真的够用了吗？MS01 + MLX 实测报告

2026年了，本地跑大模型到底够不够用？

这个问题我自己问了很多次。答案是：看你用来干什么。

SFD 实验室在今年初把一台 Apple M4 Max 配置的 Mac mini（MS01）专门留出来跑本地模型——mlx_lm 服务器一直在跑，供各个 Agent 调用。三个月下来，哪些场景本地够用、哪些必须走云端 API，我们积累了一批很实际的数据。

我们的本地推理配置

机器：Mac mini (M4 Max, 128GB统一内存)
推理框架：mlx_lm (Apple MLX)
服务：mlx_lm.server 监听 8080 端口，对内网暴露 OpenAI 兼容 API
当前加载模型：mlx-community/Qwen3-30B-A3B (MoE架构, 8bit量化)
备用模型：mlx-community/Llama-3.3-70B-Instruct-8bit

128GB 统一内存的关键优势：LLM 跑模型是内存带宽密集型任务，苹果的统一内存让 GPU 直接读主内存，不像 PC 显卡需要从 RAM 复制到 VRAM，这让 M4 Max 的实际推理速度比理论参数看起来要快得多。

实测推理速度（2026年3月数据）

在我们的 MS01 上：

Qwen3-30B MoE（8bit）：约 45-60 tokens/s（日常对话任务）
Llama-3.3-70B（8bit）：约 18-25 tokens/s（较慢，但够用于长文摘要）
Qwen2.5-7B（4bit）：约 120+ tokens/s（飞快，适合分类/短回答）

对比一下：GPT-4o 的响应延迟通常在 1-3 秒（含网络），生成速度约 60-80 tokens/s。也就是说，Qwen3-30B 在局域网内的体验已经接近 GPT-4o，延迟更低（没有网络往返）。

哪些任务本地够用

✅ 完全够用（我们已经切换到本地）：

文章摘要和总结（每天处理 30+ 篇，Qwen3-30B 质量稳定）
代码审查（Llama-3.3-70B 对 Python/JS 审查建议质量不输 GPT-4 Turbo）
内部文档问答（RAG 场景，速度快隐私好）
日常短文写作辅助（1000字以内）
数据分类和打标签（批量任务，70B 准确率约 88-92%）

⚠️ 凑合用（质量有差距但可以接受）：

多语言翻译（中文质量好，小语种差距明显）
复杂推理任务（能做但偶尔逻辑跳步）
1000-2000字的长文创作

❌ 还是用云端（差距明显）：

需要联网实时信息的任务（废话，本地模型没联网）
复杂代码生成（>200行，逻辑复杂）— Claude/GPT-4.1 明显更好
多模态（截图分析、图文结合）— 本地视觉模型还差很多
需要 128K+ 超长上下文的任务

成本账：本地 vs 云端

我们每月通过云端 API 的 token 消耗大约是 8,000 万 tokens（14个 Agent 加起来）。如果全部走 Claude Sonnet 4，大概是 $400/月。

把能本地处理的任务切掉约 35%，每月 API 费用降到了约 $260。MS01 的电费算下来约 $15/月（M4 Max 功耗极低）。3个月回收了购机成本的 10%——这不是最主要的动机，主要是延迟更低、隐私更好、不受 API 限流影响。

SFD编者注

如果你在考虑要不要买台 Mac mini 做本地推理服务器，我的建议是：64GB 内存是起步门槛（能跑 34B 8bit），128GB 是舒适区（随意切模型）。M4 Max 比 M3 Ultra 性价比高很多，现在正是入手时机。唯一的坑：mlx_lm 不支持图像生成（那是另一套 API），买之前想清楚你的主要用途。