Back to News

Kaiming He team's NAT-ARC: pure-vision ARC solver hits 63.4% pass@2 on ARC-1

#arc#vision#reasoning#imagenet

Kaiming He's team published NAT-ARC, a pure-vision ARC solver pretrained on ImageNet (cat/dog/plant images) without using ARC grids during pretraining. Its best single model achieves 63.4% pass@2 on ARC-1, and an ensemble reaches 70.2%, marking the first time a pure-vision approach approaches specialized LLM-based systems. The method redefines ARC as a conditional image-to-image translation task, building on prior work like VARC and LoopViT.

Coverage timeline

  1. 量子位量子位

    何恺明团队新作:看猫片就能学会ARC挑战 鹭羽 2026-10-01 23:06:30 来源: 量子位 用ImageNet训练encoder 克雷西 发自 凹非寺 量子位 | 公众号QbitAI 教会AI做ARC抽象推理题的,竟然是猫猫? 何恺明团队最新论文提出了 NAT-ARC,一套纯视觉的ARC解题方案。 它不靠LLM,用ImageNet上的猫狗花草做预训练,让模型学会「看」,再迁移到抽象格子推理上。 结果,NAT-ARC表现最好的单模型在ARC-1上跑出了63.4%的pass@2分数,集成后达到70.2%。 这是纯视觉方案首次 逼近专用LLM系统 的水平。 ARC,公认最难的AI视觉智力测验之一,给你几个彩色格子的输入输出示例,让你推断背后隐藏的变换规则,再应用到新格子上。 过去的主流解法清一色把格子翻译成文字或符号,交给LLM推理。 这篇论文偏不,甚至预训练阶段连ARC格子都没用上。 模型看真实世界学来的视觉能力,就水灵灵地迁移到了完全抽象的彩色格子推理上。 ARC赛道,视觉方案崛起 ARC全称Abstraction and Reasoning Corpus,由Keras之父François Chollet在2019年提出。 ARC里每道题的格式很统一,一块最大30×30的二维格子,最多10种颜色,题目给2到5组输入输出示例,挑战者需要从示例中推断出隐藏的变换规则,再把这条规则应用到一个全新的输入格子上,预测它的输出。 这些问题听起来像看图找规律的儿童智力题,但ARC对AI来说极难。 一方面,每道题的变化规则都不一样,没有固定模板可背。 还有就是数据量极少,两三个示例就要归纳出抽象规则,并且精确执行。 这种组合让ARC成了 测量AI抽象推理能力的标杆 。 目前ARC赛道上占据统治地位的几乎全是大语言模型方案,这些方案的共同思路都是把格子翻译成文本或符号序列,交给语言模型处理。 视觉路线后来才开始崛起。 一批研究者走了一条完全不同的路,他们不把格子翻译成文字,改成了用视觉模型直接处理格子图像。 其中最重要的一步来自同一个MIT团队提出的 VARC ,这个方法把ARC重新定义为条件图生图翻译任务,用19M参数的视觉模型跑到54%。 LoopViT在这个框架上加入循环推理机制,18M参数达到65.8%。 Loop-OWM用视频预训练模型做few-shot,10.6

Related stories

  • Kaiming He's Team Unveils VISTA, a Visual Harness for Multimodal Reasoning

    Kaiming He's team released a paper introducing VISTA, a visual-native harness framework that lets multimodal models observe environments, store raw frames, and revisit them during reasoning without retraining. In evaluations, VISTA enabled Claude Opus 5.0 to complete all 25 public ARC-AGI-3 games with a perfect human-relative efficiency score of 100, using 57.4% fewer actions than first-time human baselines; GPT-5.6 Sol also cleared all games with a score of 99.

    1 reports · 1 sources

News updates every hour. Subscribe in your RSS reader to get new stories automatically.

Subscribe