DGM 为什么保留分数更低的 Agent
父代选择流程固定时,Agent 代码怎样继续演化?
只要仍能编辑代码,分数下降的子版本也可能成为有用的父版本。DGM 的对照实验、评测口径和一次日志绕过,解释了这项贡献该怎样理解。
从同一个系统出发,更新后的改进器增加 7.2 分,原改进器增加 4.9 分。理解这一步优势,需要分清修改位置、实验对照,以及生成新方法的成本。
把系统改好一轮后,固定这一轮得到的系统,只更换负责下一步的改进器。MetaRSI arXiv v2 的 §5.4采用了这个关键对照。两条路径都从第一轮正式释放的系统 S1 出发,下一轮改进预算和封闭评测集相同:原改进器取得 4.9 分平均增量,元更新后的改进器取得 7.2 分。
这 2.3 分差距回答了单看跑分上涨仍无法回答的问题:上一轮有没有留下更有效的改进方法?因为起点是同一个系统,“从更强的系统出发”无法解释这次分叉差距。实验比较的是更新后的整个改进器,尚未单独识别内部每项策略修改的贡献。
论文的设计示例给这套机制安排了一个具体任务。先扩展 harness,也就是模型周围的运行配置,让系统做出原先做不到的行为;新执行记录捕捉这些行为;训练再把它们吸收进模型参数;最后撤掉已经被吸收的扩展。这是机制如何运作的示例,不能当作每次实验都发生过的记录。MetaRSI v2,引言与方法。
顺序会影响结果,因为每一步都会改变后一步可以利用的东西。扩展前收集的记录描述的是旧系统,无法展示扩展带来的新行为。修改后重新取证,训练才有来自新系统的材料。因此,论文要求每次改变运行行为后,都重新编译学习信号。旧记录仍是历史证据,但不能替代新状态所需的学习信号。
放在这个示例里,三个可修改对象各有职责:
| 可修改对象 | 改什么 | 在示例中的作用 |
|---|---|---|
| ① 运行系统 | 训练记录、模型状态或 harness 配置 | 实际应用扩展、生成训练材料,或更新参数。 |
| ② 提案策略 | 操作如何诊断失败、提出候选修改 | 改变一项 harness 修改或训练更新是怎样被提出的。 |
| ③ 调度策略 | 选择与组合操作的规则 | 安排扩展、新证据收集、训练和撤除扩展的先后。 |
Data-RSI、Harness-RSI 和 Model-RSI 都作用于第一行,分别修改运行系统的不同部分。后两行则控制这些操作如何提出修改、如何安排修改。“三种操作”与“三种可修改对象”是两个不同的划分,不能混成一组。
论文让 RSI² 负责当前操作顺序和各操作提案策略的改写;一轮结束后,MetaRSI² 再修改后续改进所用的调度策略。harness 的范围包括提示词、记忆、工具、技能和 MCP 挂载的资源;Model-RSI 的框架权限也包括有边界的架构修改。不过,本文讨论的实验用 LoRA 更新参数,不能把更广的权限读成已经展示了架构重写。MetaRSI v2,方法与实验设置。
这也让它与 DGM v1的区别更准确。DGM 已经让修改过的编码 agent 继续产生后代,并报告胜过反复使用初始 agent 的对照;其档案维护和父代选择流程仍固定不变。MetaRSI 明确把提案和调度策略纳入可写范围。这里比较的是指定版本的修改权限,没有据此宣称 MetaRSI 在直接性能对照中胜过 DGM。
图把三个修改位置连接到同一个 S1 的分叉。连线表示作用关系,不表示收益大小。B_M 是生成新改进器的独立成本输入,没有并入两条路径共同的下一轮 B。这是一张编辑制作的教学关系图,数值引用论文报告。
这些对照使用自行托管的 Qwen3.5-35B-A3B。平均分汇总 Terminal-Bench 2.1、SWE-bench Pro、GPQA-D-hard100 和合并的 2025–2026 AIME 上的分数变化,数字是五个独立外层随机种子的均值,采用相同的 pass@1 设置。它们是分数增量,不是相对百分比,也不是通用智能的一把刻度。评分对象是正式释放的后继系统,每轮在封闭评测集上评分一次。MetaRSI v2,§5.1 与表 3。
三个主要差距,各有自己的参照点:
| 对照 | 论文报告结果 | 回答的问题 |
|---|---|---|
| 首轮,从 S0 比较组合方法 | 完整系统 +10.9 分;固定“数据→模型→harness”流程和静态路由各 +7.3 分。相差 3.6 分。 | 按证据安排操作组合,是否优于这两种组合方法? |
| 第二轮,从同一个 S1 分叉 | 更新后的改进器 +7.2 分;原改进器 +4.9 分。相差 2.3 分。 | 更新后的改进器,能否从同一个系统取得更大的下一步? |
| 五轮,相对 S0 的累计增量 | 带元更新 +26.2 分;不带元更新 +20.7 分。相差 5.5 分。 | 连续更新后,两条改进路径累计走出了多大差距? |
第一组对照中,作者说明各组合使用相同的三种操作、证据和预算,区别在于如何决定顺序。静态路由会根据失败特征选择操作,但不跨轮学习。它与固定流程同为 7.3 分,为完整系统提供了两个具体参照。MetaRSI v2,§5.2。
第二组对照把问题推进到一轮之后留下的方法。两个改进器共同继承 S1,因此 2.3 分更直接检验下一轮的改进效率。第五轮的比较则衡量连续积累的路径;后续轮次包含各条路径此前的修改,5.5 分累计差距并没有在每一轮重复“同一个 S1”的隔离对照。三组数字不能排成同一个效果的三次测量。MetaRSI v2,§5.4。
分叉中的 B 固定了下一轮可用的资源。框架分别计量 token、耗时、GPU 计算和验证查询,实验对照还匹配操作调用次数与候选数量。B_M 则单独记录元改进支出。MetaRSI v2,预算定义与 §5.1。
这里有两个问题。更新后的方法已经存在时,它能否从相同的下一轮额度中取得更多增量?报告的分叉在局部给出了肯定答案。这个增量是否值得生成该方法所花的资源?单凭 2.3 分差距,还不能完成净收益换算。匹配运行预算,不会让方法的生成成本消失。五轮累计结果也包含每轮重新分配的 B,不能读成用一轮额度购买了五轮改进。
成功标准本身也有边界。代码任务用容器测试判断,封闭答案推理用精确或数值答案判断。封闭答案基准的 harness 只允许修改系统提示词,禁用工具、技能和 MCP。所有模型驱动的改进角色都由目标模型自身承担,没有更强外部模型参与,也没有外部模型输出进入训练数据;验证器仍提供来自环境的反馈。MetaRSI v2,实验设置。
按论文契约,评测器、保留任务、释放规则和资源账本位于所有可写范围之外,使改进过程沿用固定的成功定义。这是测量契约,不能直接当作独立验证过的防利用保证;代码测试或标准答案也不能证明开放科研中的判断能力。MetaRSI v2,受保护测量。
到第五轮,元更新路径的累计领先达到 5.5 分;但它的单轮增量从第二轮的 7.2 分降到第五轮的 1.4 分。不带元更新的路径则从 4.9 分降到 0.7 分。两件事可以同时成立:一条路径每轮仍比另一条多增加一些,却比自己早先增加得少。累计领先扩大,不要求单轮收益越来越大。MetaRSI v2,§5.4。
能力保留提供了另一项有范围的结果。作者报告,元更新路径没有出现所监测的已得能力回退;另一条路径在第五轮的 GPQA-D-hard100 回退了 0.2 分。这个正面结果应当保留,也应当限于这五轮中实际监测的能力,不能扩成对一切回退的保护。MetaRSI v2,已得能力保留结果。
harness 示例解释了方法为什么可能改进:扩展改变了可供学习的行为,提案和调度策略又可以改变怎样利用这些新机会。同一个 S1 的分叉给出局部实验证据:更新后的改进器在相同下一轮预算下取得更大的下一步。报告的五轮累计结果保留了这份优势,同时单轮收益持续递减。计入 B_M 后的净收益、更长时间的持续性,以及这些任务以外的迁移,仍是分别需要证据的问题。
本文由 AI 生成,使用所提供的 MetaRSI arXiv v2 与 DGM v1 来源快照,未独立复现实验。
本篇解读使用的原始材料,保留来源的版本信息。
https://arxiv.org/html/2505.22954v1 source block; source L57–58, L71–75, L73, L98–104
https://arxiv.org/html/2505.22954v1
https://arxiv.org/abs/2505.22954 source block in unchanged JSON-encoded tool output; submission history source L8, L29; v3 abstract not used for v1 mechanism
https://arxiv.org/abs/2505.22954
https://arxiv.org/html/2609.06396v2 source block; version header source L65; operators and policies L80–85; protected evaluator L157–159
https://arxiv.org/html/2609.06396v2 source block; Experimental Setup source L419–427
https://arxiv.org/html/2609.06396v2 source block; Experimental Setup L434–436; Main Results/Table 3 L438–440, L452, L454–456; Improving the Improver L475–481; held capability L483, L492–493
https://arxiv.org/html/2609.06396v2
https://www.anthropic.com/institute/recursive-self-improvement source block; source L13–17, L56–58, L61–63
https://www.anthropic.com/institute/recursive-self-improvement
https://arxiv.org/html/2607.27191v2 source block; source L64–67, L82–93; arXiv header L56 and body L62 carry different dates
https://arxiv.org/html/2607.27191v2 source block; small sample, non-blind reviews and question-selection scope source L164–167
https://arxiv.org/html/2607.27191v2
父代选择流程固定时,Agent 代码怎样继续演化?
只要仍能编辑代码,分数下降的子版本也可能成为有用的父版本。DGM 的对照实验、评测口径和一次日志绕过,解释了这项贡献该怎样理解。
筛选时得分更高,换到新任务后还更好吗?
两条搜索路线改进同一个 Agent 的工作方式。筛选修改时分数更高的一条,换到其他基准后表现却较弱。理解这个差别,要看搜索留下了什么。