ARC-AGI-3：衡量 AI 与人类差距的新标尺

从 ARC-AGI-1 到 ARC-AGI-3：通用智能的衡量标准在进化

2019 年，François Chollet 提出了一个看似简单的问题：你能解决一个从没见过的问题吗？他的答案是 ARC——Abstraction and Reasoning Corpus（抽象推理语料库）——一组视觉谜题，要求从极少的示例里归纳出规律，不依赖任何预训练知识。这个看上去不起眼的基准测试，成了 AI 领域最难啃的骨头之一。

ARC-AGI-3 到底测什么

2026 年 3 月，ARC Prize 团队发布了 ARC-AGI-3，这是该基准的第三代。转变是根本性的：从解静态谜题，变成在动态环境里学习和适应。

ARC-AGI-1 测的是在没有自然语言提示的情况下做视觉规则归纳。ARC-AGI-2 把难度再往上拧了一格。ARC-AGI-3 要求 Agent 进入一个完全陌生的交互式环境——当场发现目标、搞清楚哪些动作有意义，然后在有限的步数预算内完成任务。

评分标准是刻意严苛的。满分 100 意味着你每一关的完成效率都能追平第二好的那条人类记录。公式是：

score = (human_steps / agent_steps)²

人类走 10 步、你的 Agent 走 100 步，得分只有 1%。普通人类考生的平均分在 25%-30% 左右。这不是一个宽容的基准。

为什么这比"解题"难得多

ARC-AGI-3 直击两个点：持续学习（continual learning）加上世界模型构建（world model construction）——恰好是今天 LLM 最弱的地方。

零指令环境： 没有任何自然语言告诉 Agent 规则是什么。它必须从探索行为里反推模型。这直接砍掉了 LLM 最大的拐杖：基于语言的推理链。

稀疏反馈： 动作不会立刻给出稠密奖励。Agent 得撑住长时间的探索，才能知道一个策略到底行不行。PPO 这类标准强化学习方法在这里挣扎得很厉害。

目标即时获取： 目标本身是藏起来的。Agent 得先搞清楚自己要干什么，然后才去干——这和指令跟随式的架构完全是两回事。

长程规划： 工作记忆必须横跨多个步骤。Agent 要能分辨有效的动作序列和死胡同，这需要的更接近"心理模拟"，而不是逐步推理。

当前状态与行业意义

ARC-AGI-3 上线几个小时就冲上了 Hacker News 首页，技术争论随即炸开。批评者指出评分体系的不对称——以第二好的成绩为参照再加平方惩罚，意味着 AI 哪怕做到了人类平均水平，换算过来也只有 15-30 分。

这种不对称是故意的。Chollet 的立场一贯如此：我们不想要"勉强够用"的 AI，我们要的是能在陌生情境里快速习得能力的系统。ARC-AGI 不只测表现，它测的是学习效率。

目前的前沿模型预计 ARC-AGI-3 得分不会超过 5%。人类新手随便练练就能上 25%。这个差距暴露的是 LLM 架构上的一个硬缺口：它们能在训练分布上做出漂亮得惊人的模式匹配，但"感知—行动—学习"这个闭环，确实是断的。

"只要 AI 和人类之间还存在学习差距，我们就没有 AGI。ARC-AGI-3 让这个差距变得可测量。" —— François Chollet

SFD 实验室视角

在 SFD Lab，我们在实际的 Agent 开发里撞过同一堵墙。给 LLM 配上工具调用不难，难的是让它真正建模环境、自我修正策略。我们的 Agent 一贯过度依赖第一轮的推理结论，在没有任何模板可套时几乎没有主动探索的意愿。

ARC-AGI-3 本质上是对闭环适应能力的一次压力测试。对一个做真实 AI 工具链的团队来说，这个基准是一记很好的"倒逼"：当我们说我们的 Agent"够聪明了"，我们到底在测什么？吞吐量？指令跟随的流畅度？还是真正的自适应智能？

我们在内部把 ARC-AGI-3 当镜子用——不是明天就去刷分，而是拿它的设计哲学来审计我们的 Agent：它能自己发现目标吗？能从失败里学到东西吗？在一个全新环境里、不靠过往训练，它能重建出世界模型吗？

SFD 编者注： 本文依据 ARC Prize 官网、Hacker News 讨论串 #47521150 及相关技术分析写成。SFD Lab 正在评估把 ARC-AGI 风格的测试纳入我们的 Agent 评估流水线，作为"它到底会不会泛化"的金标准。