ARC-AGI-3：衡量AI與人類差距的新標尺

從ARC-AGI-1到ARC-AGI-3：通用智能的衡量標準在進化

2019年，François Chollet提出了一個根本性挑戰：如果你從未見過這道題，你能解出來嗎？他的答案是ARC（抽象推理語料庫）——一組視覺謎題，要求從少量示例中歸納模式，不依賴任何預訓練知識。這個看似簡單的基準，成為AI領域最難逾越的障礙之一。

2026年3月，ARC Prize團隊發布了ARC-AGI-3，這是該系列的第三代基準。與前兩代相比，它有一個根本性的轉變：從「解靜態謎題」變成了「在動態環境中學習與適應」。

ARC-AGI-1測試的是在沒有自然語言提示的情況下，從示例推斷視覺變換規則。ARC-AGI-2進一步提高了難度。ARC-AGI-3則要求Agent進入一個全新的互動環境，自主探索目標是什麼、規則是什麼、哪些行動有效——然後在有限步驟內完成任務。

評分標準也更加精細。滿分100代表AI能以「人類最優效率」完成所有關卡——具體是第二名人類選手的步驟數。計分公式為：

score = (human_steps / agent_steps)²

如果人類用10步，Agent用100步，得分僅1%。普通人類平均約得25-30%，因此這個基準的滿分門檻極高。

ARC-AGI-3的核心考驗是持續學習（Continual Learning）與世界模型建構（World Modeling）的結合。主流大型語言模型的局限恰恰在此：

零指令環境（Zero-instruction environments）：沒有任何自然語言告訴Agent規則是什麼。Agent必須透過探索行為感知回饋，自行建立模型。這徹底切斷了LLM依賴語言推理鏈的路徑。

稀疏獎勵（Sparse feedback）：每次行動不會立刻獲得密集獎勵，需要長時間探索後才能判斷策略是否有效。標準強化學習方法在此類任務上表現不佳。

目標自主發現（Goal acquisition on the fly）：每個關卡的目標是隱藏的，Agent必須先推斷「我要做什麼」再執行，這與傳統指令型Agent架構有根本差異。

長時程規劃（Long-horizon planning）：關卡設計要求Agent維持跨步驟的工作記憶，辨別有效的行動序列與死路，需要某種「心理模擬」能力，而不只是逐步推理。

ARC-AGI-3發布當天即登上Hacker News首頁前三，引發激烈討論。部分研究者指出評分體系的不對稱性——以第二名人類為基準加上平方懲罰，意味著即使AI達到「人類平均水平」，在這個評分體系下也可能只得15-30分。

這個設計是刻意的。Chollet的立場一貫如此：我們不需要AI只是「夠用」，我們要的是能在陌生情境中快速習得能力的系統。ARC-AGI不只測試能力，更測試學習效率。

目前主流模型在ARC-AGI-3上的表現預計不超過5%。這與人類新手輕鬆達到25%+形成鮮明對比，揭示出LLM在「感知-行動-學習」閉環上的根本缺陷。

「只要AI與人類之間仍存在學習差距，我們就沒有AGI。ARC-AGI-3讓這個差距變得可量化。」——François Chollet

在SFD實驗室的實際Agent開發中，我們深切體驗到同樣的瓶頸：為LLM配備工具調用很容易，但讓它真正「理解環境、自主修正策略」卻難得多。我們的Agent在處理沒有固定Prompt模板的開放任務時，經常過度依賴第一輪推理結果，不願主動探索。

ARC-AGI-3本質上是對「閉環自適應」能力的壓力測試。對於我們這樣構建實用AI工具鏈的團隊，這個基準是一個清醒劑：當我們說自己的Agent「足夠智能」時，我們真正在衡量什麼？效率、適應性、還是只是模式匹配的流暢度？

我們在內部將ARC-AGI-3視為一面鏡子——不是今天就要跑分，而是以其設計哲學審視我們Agent的能力邊界：它能發現目標嗎？能從失敗中學習嗎？能在新環境中不依賴歷史訓練就重新建立模型嗎？

SFD編者注：本文基於ARC Prize官網、Hacker News討論（帖子#47521150）及相關技術分析撰寫。SFD實驗室正在評估將ARC-AGI類測試整合到Agent評估流程中，作為「是否真的泛化」的金標準檢驗。