AgentForesight: 7B Model Audits Multi-Agent Systems Online to Predict Failures
Researchers from Rutgers, UT Austin, and Purdue propose AgentForesight, a 7B model that audits multi-agent systems during task execution to identify critical errors before they cascade into failures. On the AFTraj-2K benchmark, it achieves an Exact-F1 of 66.44 for key error steps in failed trajectories, outperforming the strongest general model baseline by 19.88 points, with a false positive rate of only 2.37% on successful trajectories.
Coverage timeline
机器之心机器之心
从事后归因到在线审计，在任务失败前识别关键错误 多智能体的失误，未必表现为当场报错。更麻烦的是，一个 Agent 给出错误前提，其他 Agent 却继续认真执行。来自罗格斯大学、得克萨斯大学奥斯汀分校和普渡大学的研究团队提出 AgentForesight，让一个 7B 模型在任务运行中持续审计。在 AFTraj-2K 测试集上，它对失败轨迹的关键错误步骤识别指标 Exact-F1 达到 66.44 ，比最强通用模型基线高 19.88 分，而对成功轨迹误报率仅为 2.37% 。 让一个 Agent 规划，一个 Agent 搜索，再让另一个 Agent 汇报，任务就一定更可靠吗？ 设想这样一个场景：用户想买一副 200 美元以内的降噪耳机，筛选 Agent 却把预算上限设成了 300 美元。接下来，比较参数、生成报告、给出推荐，每一步都可能有条不紊。可再漂亮的报告，也掩盖不了整条工作流已经偏离了用户要求。 后面的 Agent 未必做错了自己的子任务。它们只是把 前面那一步的错误 ，当成了继续工作的前提。 等推荐生成后，再追问「哪个 Agent、哪一步出了错」，当然有助于复盘。但能不能在预算刚被改错时就提醒系统，而不是让后面的 Agent 继续沿用这个错误前提？ 这正是 AgentForesight 的出发点：在局部错误已经出现、却尚未一路传成任务失败时，尽早发出预警。 为此，它把 事后归因前移为在线审计 ：每完成一步，外部审计员就读取截至此刻的执行记录，决定继续还是报警，为后续干预争取时间。 论文标题：AgentForesight: Online Auditing for Early Failure Prediction in Multi-Agent Systems 作者：Boxuan Zhang、Jianing Zhu、Zeru Shi、Dongfang Liu、Ruixiang Tang。其中 Boxuan Zhang 与 Jianing Zhu 为共同第一作者，Ruixiang Tang 为通讯作者。 机构：Rutgers University、The University of Texas at Austin、Purdue University。 论文链接：https://arxiv.org/abs/2605.08715 项目主页：https://zbox100
