ARC-AGI-3：測量AI與人類差距的新尺度

從ARC-AGI-1到ARC-AGI-3：衡量AI通用智慧的尺度在進化

2019年，François Chollet在一篇題為《論智慧的測量》的論文中提出了一個挑戰：如果你沒見過這道題，還能解出來嗎？他的答案是ARC（Abstraction and Reasoning Corpus）——一組視覺謎題，要求從少量示例中歸納模式，而不依賴任何預訓練知識。這個看似簡單的基準，成了AI領域最棘手的攔路虎之一。

ARC-AGI-3究竟測什麼

2026年3月，ARC Prize團隊發布了ARC-AGI-3，這是該系列的第三代基準。與前兩代相比，它有一個根本性的轉變：從解靜態謎題變成了在動態環境中學習和適應。

ARC-AGI-1測試的是在沒有自然語言提示的情況下，從示例推斷視覺變換規則。ARC-AGI-2則進一步收緊了難度。而ARC-AGI-3要求Agent進入一個全新的互動環境，自主探索目標是什麼、規則是什麼、哪些動作有效——然後在有限步驟內完成任務。

評分標準也更加精細。100分代表AI能以人類最優效率完成所有關卡——具體來說是第二名人類選手的步驟數。得分公式是：

score = (human_steps / agent_steps)²

這意味著如果人類用10步，Agent用100步，得分僅為1%。普通人類平均大約得25-30%，因此這個基準的滿分門檻極高。

技術機制：為什麼這比解題難得多

ARC-AGI-3的核心考驗是持續學習（Continual Learning）與世界模型建構（World Modeling）的結合。當前主流大模型的局限恰恰在此：

• 靜態知識vs動態環境：LLM在訓練時把知識編碼在權重裡。面對有全新規則的新環境，它們無法真正「學習」，只能在已見過的模式中匹配。
• 探索效率：人類能用少量嘗試高效探索陌生環境。AI系統往往要麼隨機漫步，要麼陷入局部最優。
• 少樣本泛化：ARC-AGI-3明確限制了可用示例的數量，強制要求系統真正做到樣本效率——不是靠記憶大量資料集。

目前的成績

ARC-AGI-3的早期結果即使對前沿模型來說也相當難看。目前最好的系統得分在個位數。普通人類平均25-30%，熟練的人類可以超過60%。

這個差距揭示了當前AI的根本性局限：在已知分佈上表現出色，但在真正進入全新環境時適應能力很弱。

為什麼這很重要？

ARC-AGI-3不只是一個學術基準。它指向了一個真實的能力差距：當前AI擅長有清晰模式和大量訓練資料的任務，但對需要從第一性原理即時學習和適應的任務力不從心。這正是在開放式、不可預測的真實世界應用中部署AI時最重要的差距。