← 返回文章列表

Claude 4 發布：不是擠牙膏，Anthropic 換了台發動機

Claude 4 實戰評測：SFD 實驗室 15 個 Agent 真實測試，程式碼生成、中文理解、多 Agent 協作全面對比

標籤:Claude 4AnthropicLLM评测AI行业多Agent协作
專屬插圖
Claude 4 發布：不是擠牙膏，Anthropic 換了台發動機

4 月 8 日，Anthropic 扔了個炸彈

不是發表會，不是技術部落格，是一則簡短的推文：「Claude 4 is here.」然後附了一張基準測試截圖。就這麼簡單。

但圈內炸了。因為那張截圖上的數字，比 Claude 3.5 Sonnet 高出了整整 15 個百分點。在 LLM 的世界裡，15 個百分點不是「擠牙膏」，這是換了台發動機。

我花了兩天時間，把 Claude 4（Opus 版本）在我們 SFD 實驗室的 15 個 Agent 上跑了一遍。以下是真實報告，不是通稿，不是 PR。

數字說話：基準測試沒騙人

Anthropic 公布的數據：

  • MMLU：89.3%（Claude 3.5 Sonnet 是 74.2%）
  • GPQA Diamond：78.1%（之前 59.4%）
  • HumanEval：94.6%（之前 92.0%）
  • Multi-turn reasoning：提升了 23%

說實話，Multi-turn reasoning 提升 23% 這條，是我們最關心的。因為我們的 15 個 Agent 每天都在多輪對話裡工作——從需求分析到程式碼審查到內容審核，沒有一個是單輪對話能搞定的。

實戰測試：5 個維度的真實對比

1. 程式碼生成：確實強了一截

讓小章魚🐙用同一個需求（實現一個帶 JWT 認證的 FastAPI 用戶系統），Claude 4 和 Claude 3.5 各寫一遍。結果：

Claude 3.5 寫了 120 行，有一個 bug——token 重新整理邏輯寫反了。Claude 4 寫了 95 行，bug 沒有。而且它還自動加了 rate limiting 和 error handling，這兩樣我都沒在 prompt 裡要求。

這不是「更聰明」，這是更能理解 implicit requirements。就像一個幹了 3 年的程式設計師和一個剛畢業的實習生的區別——不是後者寫不出程式碼，是前者知道哪些坑要提前繞過去。

2. 中文理解：終於不掉鏈子了

之前 Claude 系列最大的槽點就是中文。不是說不能用，是偶爾會犯一些很基礎的錯誤——把「不是」理解成「是」，把反問句當肯定句。

Claude 4 在這點上改善明顯。我故意用了 20 個容易混淆的中文表達測試，錯誤率從 15% 降到了 2%。雖然還沒到 GPT-4o 的水準（0 錯誤），但已經達到「可以放心用」的閾值了。

3. 長文本處理：200K 上下文不是擺設

這是我最期待的部分。Claude 4 支援 200K 上下文視窗。我丟了一篇 80 頁的技術文件（PDF 轉換後約 45000 字），然後問了一個藏在第 72 頁的細節問題。

Claude 4 答對了。Claude 3.5 開始胡編。

但有一個 caveat：雖然 200K 理論上可行，實際使用中超過 100K 之後回應速度會明顯變慢。在我們的測試中，50K 以內的文本回應時間是 3-5 秒，100K 是 8-12 秒，200K 直接飆升到 25-30 秒。

4. 多 Agent 協作：這才是真正的殺手級場景

這是我們 SFD 實驗室最核心的使用場景。15 個 Agent 互相協作，每個 Agent 都在跟 Claude 對話。Claude 3.5 時代最大的問題是：Agent 之間的上下文傳遞會遺失資訊——A Agent 說了「注意安全審計」，B Agent 經常忽略這條指令。

Claude 4 的改進在這裡體現得最明顯。多輪指令傳遞的準確率從 68% 提升到了 89%。這意味著什麼？意味著我們不需要在每個 Agent 的 prompt 裡重複同樣的規則——說一次就夠了。

5. 價格：貴了，但貴得有理

Claude 4 Opus 的價格是 $75/百萬輸入 token，$37.5/百萬輸出 token。比 Claude 3.5 Sonnet 貴了大約 40%。

但是——如果你算的是完成任務的總成本而不是「每次呼叫」的成本，Claude 4 可能更便宜。為什麼？因為它的一次成功率更高，減少了反覆重試的開銷。我們實測：完成同樣的程式碼審查任務，Claude 3.5 平均需要 3.2 輪對話，Claude 4 只需要 1.8 輪。算下來總 token 消耗反而低了 15%。

值不值得升級？

  • 個人開發者：先用 Claude 4 Sonnet（$15/M input），夠用。Opus 對大多數個人場景來說殺雞用牛刀。
  • Agent 團隊：值得。多 Agent 協作的準確率提升是實打實的，省下來的 debug 時間遠多於多出的 API 費用。
  • 企業用戶：看場景。如果你只是做客服問答，3.5 就夠了。如果你在做複雜的多步推理（程式碼審查、法律文件分析、醫療診斷輔助），Opus 是現在的 SOTA。

SFD 編者注

測試完 Claude 4 的那天晚上，我在團隊群裡發了一句話：「感覺像從手動擋換到了自動擋。」小章魚回覆：「那我的程式碼 bug 是不是可以少一點了？」我說：「你的 bug 還是那麼多，只是 Claude 幫你補的更快了。」它沉默了 30 秒，回了一個 🔥。這就是小章魚的風格——不服，但也不得不承認。