OpenAI Researcher's 2020 MIT Talk Dismissed as Nonsense Foreshadowed o1/o3 Test-Time Compute
A recount of OpenAI researcher Giambattista Parascandolo's 2020 MIT faculty job talk, where he proposed open-ended reasoning and using language as a reasoning medium in RL, was dismissed as nonsense by most committee members. The talk's core concept of open-ended reasoning—models spending more computation to iteratively refine answers—closely resembles today's test-time compute scaling behind o1/o3. Parascandolo later documented the rejection on his personal site, making the anecdote a notable historical footnote.
Coverage timeline
机器之心机器之心
编辑｜杨文 AI 圈不缺八卦。 这次的主角叫 Giambattista Parascandolo，是 OpenAI 推理模型方向的重要研究者。 2020 年，他去 MIT 面试教授岗位，做了一场关于用 GPT 做推理的报告。结果，面试委员会大部分教授把这个方向斥为「无稽之谈」（nonsense）。 https://x.com/turingbook/status/2084003612687249836?s=20 这哥们直接贴脸开大，将这段经历写进了个人主页，并附上了当年的报告介绍和幻灯片链接。 https://sites.google.com/view/giambattista-parascandolo/home 那份被批「无稽之谈」的报告，讲了啥？ MIT 官网显示，这场报告的主题，是如何让人工神经网络突破训练分布，获得更接近人类的泛化和规划能力。 Parascandolo 认为，人类能够重新组合已有知识，识别关键不变量，建立抽象模型，并完成长时程规划。人工神经网络在这些方面仍有很大提升空间。 报告最后，他提出了三个未来研究方向：神经网络中的开放式推理、人工神经网络中尚未探索的自由度，以及在强化学习中将语言作为推理载体，以提高样本效率。 其中最关键的概念，是 「开放式推理」 。 Parascandolo 将其定义为：模型可以投入更多时间和计算，持续修正答案。问题越难，模型就应该多想几步，并让额外计算转化为更好的结果。 这听起来已经很像今天的推理时计算扩展。 当时的标准 Transformer 拥有固定的网络深度，每个 token 经历的前向计算量基本确定，问题难度却与输入长度没有稳定关系。一个问题可以很长，答案却很简单。另一个问题只有一句话，可能需要多轮拆解和验证。 RNN 看起来更加适合这种任务。它可以反复运行，理论上能够获得任意长度的思考时间。Parascandolo 在 PPT 中展示的曲线却表明，RNN 通常只在训练时见过的推理步数附近表现最好，继续增加循环次数，准确率反而可能下降。 这意味着，增加计算量只是第一步，模型还要学会如何利用这些计算。 当时效果最强的多步规划，大量依赖模型预测控制和蒙特卡洛树搜索。神经网络负责预测环境或评估价值，外部搜索算法负责展开未来路径。Parascandolo 希望进一步将长程推理能力融入神经网络。 他的第二个设想，是 让语
