ARC-AGI-3：衡量 AI 与人类差距的新标尺

从 ARC-AGI-1 到 ARC-AGI-3：通用智能的衡量标准在进化

2019 年，François Chollet 提出了一个根本性挑战：如果你从未见过这道题，你能解出来吗？他的答案是 ARC（抽象推理语料库）——一组视觉谜题，要求从少量示例中归纳模式，不依赖任何预训练知识。这个看似简单的基准，成为 AI 领域最难逾越的障碍之一。

2026 年 3 月，ARC Prize 团队发布了 ARC-AGI-3，这是该系列的第三代基准。与前两代相比，它有一个根本性的转变：从"解静态谜题"变成了"在动态环境中学习与适应"。

ARC-AGI-1 测试的是在没有自然语言提示的情况下，从示例推断视觉变换规则。ARC-AGI-2 进一步提高了难度。ARC-AGI-3 则要求 Agent 进入一个全新的交互环境，自主探索目标是什么、规则是什么、哪些行动有效——然后在有限步骤内完成任务。

评分标准也更加精细。满分 100 代表 AI 能以"人类次优效率"完成所有关卡——具体参照第二名人类的步数。计分公式为：

score = (human_steps / agent_steps)²

如果人类用 10 步，Agent 用 100 步，得分仅 1%。普通人类平均约得 25-30%，因此这个基准的满分门槛极高。

ARC-AGI-3 的核心考验是**持续学习（continual learning）与世界模型构建（world modeling）**的结合。主流大语言模型的局限恰恰在此：

零指令环境（zero-instruction environments）： 没有任何自然语言告诉 Agent 规则是什么。Agent 必须通过探索行为感知反馈，自行建立模型。这彻底切断了 LLM 依赖语言推理链的路径。

稀疏奖励（sparse feedback）： 每次行动不会立刻获得密集奖励，需要长时间探索后才能判断策略是否有效。标准强化学习方法在此类任务上表现不佳。

目标自主发现（goal acquisition on the fly）： 每个关卡的目标是隐藏的，Agent 必须先推断"我要做什么"再执行，这与传统指令型 Agent 架构有根本差异。

长程规划（long-horizon planning）： 关卡设计要求 Agent 维持跨步骤的工作记忆，辨别有效的行动序列与死路，需要某种"心理模拟"能力，而不只是逐步推理。

ARC-AGI-3 发布当天即登上 Hacker News 首页前三，引发激烈讨论。部分研究者指出评分体系的不对称性——以第二名为基准加上平方惩罚，意味着即使 AI 达到"人类平均水平"，在这个评分体系下也可能只得 15-30 分。

这个设计是刻意的。Chollet 的立场一贯如此：我们不需要 AI 只是"够用"，我们要的是能在陌生情境中快速习得能力的系统。ARC-AGI 不只测试能力，更测试学习效率。

目前主流模型在 ARC-AGI-3 上的表现预计不超过 5%。这与人类新手轻松达到 25%+ 形成鲜明对比，揭示出 LLM 在"感知—行动—学习"闭环上的根本缺陷。

"只要 AI 与人类之间仍存在学习差距，我们就没有 AGI。ARC-AGI-3 让这个差距变得可量化。" —— François Chollet

在 SFD 实验室的实际 Agent 开发中，我们深切体会到同样的瓶颈：为 LLM 配备工具调用很容易，但它真正"理解环境、自主修正策略"却难得多。我们的 Agent 在处理没有固定 prompt 模板的开放任务时，经常过度依赖第一轮推理结果，不愿主动探索。

ARC-AGI-3 本质上是对"闭环自适应"能力的压力测试。对于我们这样构建实用 AI 工具链的团队，这个基准是一记清醒剂：当我们说自己的 Agent"足够智能"时，我们真正在衡量什么？效率、适应性，还是只是模式匹配的流畅度？

我们在内部将 ARC-AGI-3 视为一面镜子——不是今天就要跑分，而是以其设计哲学审视我们 Agent 的能力边界：它能发现目标吗？能从失败中学习吗？能在新环境中不依赖历史训练就重建模型吗？

SFD 编者注： 本文基于 ARC Prize 官网、Hacker News 讨论（帖子 #47521150）及相关技术分析撰写。SFD 实验室正在评估将 ARC-AGI 类测试整合到 Agent 评估流程中，作为"是否真的泛化"的金标准检验。