Google Researchers Propose RRSI to Curb Overfitting in Recursive Self-Improving Agents
Google researchers have introduced RRSI (Regularized Recursive Self-Improvement), a method that adds regularization to recursive self-improving agents to prevent overfitting. The approach targets harness evolution, where agents iteratively modify their own prompts, tool usage, and memory management based on a fixed set of tasks, which can lead to benchmark-specific fitting and evaluation noise chasing. The paper, code, and project page are available online.
Coverage timeline
机器之心机器之心
最近，Recursive Self-Improvement（RSI，递归式自我改进）正在迅速成为 Agent 领域最受关注的方向之一。 过去谈 RSI，我们很容易想到一个颇具未来感的场景：AI 修改自己的模型，再用更强的自己继续改进下一代系统。但真正落到今天的 Agent 上，RSI 已经有了一条更现实的路径 —— 不需要先修改模型权重，Agent 可以先修改 “模型外面的自己”。 Prompt 怎么写、什么时候调用工具、如何管理 Context 和 Memory、失败后怎么恢复、什么时候反思、什么时候停止…… 这些围绕模型构成的 Agent Harness，本身就决定了同一个基础模型最终能做成多少事情。 于是，一个很自然的闭环出现了：Agent 执行任务，观察失败，自动修改 Harness；修改后的 Agent 再执行任务，再根据新的反馈继续修改。这已经是一种真实发生在 Agent system level 的 Recursive Self-Improvement。 但问题也随之而来：如果一个 Agent 一轮又一轮地根据同一批任务修改自己，它到底是在 “进化”，还是只是在越来越会做这套题？ 论文链接：https://arxiv.org/abs/2609.24972 GitHub 链接：https://github.com/google-research/rrsi 项目主页：https://regularized-rsi.com/ RSI 最大的隐患：越改越强，还是越刷越熟？ 现有 Harness Evolution 通常遵循一个很直观的流程：先让当前 Agent 在一组任务上执行，根据成功和失败轨迹产生 feedback；然后让 LLM 修改 Harness，再把新的 Harness 放回同一批任务上评测。分数更高的版本留下来，进入下一轮。 问题是，这批 evolve tasks 会被一遍又一遍地使用。第 1 轮 Harness 的修改来自这些任务，第 2 轮又根据修改后的表现继续优化，第 10 轮、第 30 轮依然如此。整个过程逐渐变成了一个对有限数据持续进行的 adaptive search。 论文指出，这会带来 三类耦合问题：benchmark-specific fitting、evaluation noise chasing，以及 complexity
