ARC-AGI-3：测量AI与人类差距的新尺度

从ARC-AGI-1到ARC-AGI-3：衡量AI通用智能的尺度在进化

2019年，François Chollet在一篇题为《论智能的测量》的论文中提出了一个挑战：如果你没见过这道题，还能解出来吗？他的答案是ARC（Abstraction and Reasoning Corpus）——一组视觉谜题，要求从少量示例中归纳模式，而不依赖任何预训练知识。这个看似简单的基准，成了AI领域最棘手的拦路虎之一。

ARC-AGI-3究竟测什么

2026年3月，ARC Prize团队发布了ARC-AGI-3，这是该系列的第三代基准。与前两代相比，它有一个根本性的转变：从解静态谜题变成了在动态环境中学习和适应。

ARC-AGI-1测试的是在没有自然语言提示的情况下，从示例推断视觉变换规则。ARC-AGI-2则进一步收紧了难度。而ARC-AGI-3要求Agent进入一个全新的交互环境，自主探索目标是什么、规则是什么、哪些动作有效——然后在有限步骤内完成任务。

评分标准也更加精细。100分代表AI能以人类最优效率完成所有关卡——具体来说是第二名人类选手的步骤数。得分公式是：

score = (human_steps / agent_steps)²

这意味着如果人类用10步，Agent用100步，得分仅为1%。普通人类平均大约得25-30%，因此这个基准的满分门槛极高。

技术机制：为什么这比解题难得多

ARC-AGI-3的核心考验是持续学习（Continual Learning）与世界模型构建（World Modeling）的结合。当前主流大模型的局限恰恰在此：

1. 无语言提示（Zero-instruction environments）
没有任何自然语言描述告诉Agent这个环境的规则是什么。Agent必须通过探索行为感知反馈，自己建立模型。这彻底切断了LLM依赖文字推理链的路径。

2. 稀疏奖励（Sparse feedback）
Agent每次行动不会立刻获得密集奖励，而是在长时间探索后才能判断自己是否走在正确路径上。这对强化学习方法提出了极高要求——标准PPO/DPO在此类任务上表现并不理想。

3. 目标自主发现（Goal acquisition on the fly）
每个关卡的目标是动态的，Agent必须先推断要做什么，然后再执行。这与传统基于指令的Agent架构形成了根本差异。

4. 跨时间的规划（Long-horizon planning）
关卡设计要求Agent维持跨步骤的工作记忆，识别出哪些行为序列有效，哪些是死路——需要某种心理模拟能力，而不仅是逐步推理。

当前状态与行业影响

ARC-AGI-3发布当天即登上Hacker News首页前三，引发激烈讨论。部分研究者指出评分体系的复杂性——以第二名人类为基准加上平方惩罚，意味着即使AI达到人类平均水平，在这个评分体系下也可能只得15-30分。

这个设计是刻意的。Chollet的立场一贯如此：我们不需要AI只是够用，我们要的是能在陌生情境中快速习得能力的系统。换句话说，ARC-AGI不仅测试能力，更测试学习效率。

当前各主流模型在ARC-AGI-3上的表现预计不超过5%。这与人类新手轻松达到25%+形成了鲜明对比，揭示出LLM在感知-动作-学习闭环上的根本短板。

只要AI和人类之间还存在学习差距，我们就没有AGI。ARC-AGI-3让这个差距变得可量化。—— François Chollet

SFD实验室视角

在SFD实验室的实际Agent开发中，我们深切体验到同样的瓶颈：为LLM配备工具调用（Tool Use）很容易，但让它真正理解环境、自主修正策略却难得多。我们的Agent在处理没有固定Prompt模板的开放任务时，经常表现出过度依赖第一轮推理结果、不愿主动探索的倾向。

ARC-AGI-3本质上是对闭环自适应能力的压力测试。对于我们这样构建实用AI工具链的团队，这个基准提供了一个清醒剂：当我们说自己的Agent足够智能时，我们真正在衡量什么？效率、适应性、还是只是模式匹配的流畅度？

我们在内部将ARC-AGI-3视为一面镜子——不是今天就要跑分，而是以它的设计哲学来审视我们的Agent能力边界：它能发现目标吗？能从失败中学习吗？能在新环境中不依赖历史训练就重新建立模型吗？

SFD编者注：本文基于ARC Prize官网、Hacker News讨论（帖子#47521150）及相关技术分析撰写。SFD实验室正在评估将ARC-AGI类测试集成到Agent评估流程中，作为是否真正泛化的金标准检验。