waytoRSI追踪递归自我改进
返回最新文章

MetaRSI:同一个系统,更好的下一步

从同一个系统出发,更新后的改进器增加 7.2 分,原改进器增加 4.9 分。理解这一步优势,需要分清修改位置、实验对照,以及生成新方法的成本。

把系统改好一轮后,固定这一轮得到的系统,只更换负责下一步的改进器。MetaRSI arXiv v2 的 §5.4采用了这个关键对照。两条路径都从第一轮正式释放的系统 S1 出发,下一轮改进预算和封闭评测集相同:原改进器取得 4.9 分平均增量,元更新后的改进器取得 7.2 分。

这 2.3 分差距回答了单看跑分上涨仍无法回答的问题:上一轮有没有留下更有效的改进方法?因为起点是同一个系统,“从更强的系统出发”无法解释这次分叉差距。实验比较的是更新后的整个改进器,尚未单独识别内部每项策略修改的贡献。

沿着一项能力,看系统怎样改变

论文的设计示例给这套机制安排了一个具体任务。先扩展 harness,也就是模型周围的运行配置,让系统做出原先做不到的行为;新执行记录捕捉这些行为;训练再把它们吸收进模型参数;最后撤掉已经被吸收的扩展。这是机制如何运作的示例,不能当作每次实验都发生过的记录。MetaRSI v2,引言与方法。

顺序会影响结果,因为每一步都会改变后一步可以利用的东西。扩展前收集的记录描述的是旧系统,无法展示扩展带来的新行为。修改后重新取证,训练才有来自新系统的材料。因此,论文要求每次改变运行行为后,都重新编译学习信号。旧记录仍是历史证据,但不能替代新状态所需的学习信号。

放在这个示例里,三个可修改对象各有职责:

可修改对象 改什么 在示例中的作用
① 运行系统 训练记录、模型状态或 harness 配置 实际应用扩展、生成训练材料,或更新参数。
② 提案策略 操作如何诊断失败、提出候选修改 改变一项 harness 修改或训练更新是怎样被提出的。
③ 调度策略 选择与组合操作的规则 安排扩展、新证据收集、训练和撤除扩展的先后。

Data-RSI、Harness-RSI 和 Model-RSI 都作用于第一行,分别修改运行系统的不同部分。后两行则控制这些操作如何提出修改、如何安排修改。“三种操作”与“三种可修改对象”是两个不同的划分,不能混成一组。

论文让 RSI² 负责当前操作顺序和各操作提案策略的改写;一轮结束后,MetaRSI² 再修改后续改进所用的调度策略。harness 的范围包括提示词、记忆、工具、技能和 MCP 挂载的资源;Model-RSI 的框架权限也包括有边界的架构修改。不过,本文讨论的实验用 LoRA 更新参数,不能把更广的权限读成已经展示了架构重写。MetaRSI v2,方法与实验设置。

这也让它与 DGM v1的区别更准确。DGM 已经让修改过的编码 agent 继续产生后代,并报告胜过反复使用初始 agent 的对照;其档案维护和父代选择流程仍固定不变。MetaRSI 明确把提案和调度策略纳入可写范围。这里比较的是指定版本的修改权限,没有据此宣称 MetaRSI 在直接性能对照中胜过 DGM。

教学关系图展示三个可修改对象,以及从同一个 S1 出发的分叉。两个改进器使用相同的下一轮预算 B,论文报告平均增量分别为 4.9 和 7.2 分;生成新改进器的 B_M 单独计账。

图把三个修改位置连接到同一个 S1 的分叉。连线表示作用关系,不表示收益大小。B_M 是生成新改进器的独立成本输入,没有并入两条路径共同的下一轮 B。这是一张编辑制作的教学关系图,数值引用论文报告。

三个差距,回答三个问题

这些对照使用自行托管的 Qwen3.5-35B-A3B。平均分汇总 Terminal-Bench 2.1、SWE-bench Pro、GPQA-D-hard100 和合并的 2025–2026 AIME 上的分数变化,数字是五个独立外层随机种子的均值,采用相同的 pass@1 设置。它们是分数增量,不是相对百分比,也不是通用智能的一把刻度。评分对象是正式释放的后继系统,每轮在封闭评测集上评分一次。MetaRSI v2,§5.1 与表 3。

三个主要差距,各有自己的参照点:

对照 论文报告结果 回答的问题
首轮,从 S0 比较组合方法 完整系统 +10.9 分;固定“数据→模型→harness”流程和静态路由各 +7.3 分。相差 3.6 分。 按证据安排操作组合,是否优于这两种组合方法?
第二轮,从同一个 S1 分叉 更新后的改进器 +7.2 分;原改进器 +4.9 分。相差 2.3 分。 更新后的改进器,能否从同一个系统取得更大的下一步?
五轮,相对 S0 的累计增量 带元更新 +26.2 分;不带元更新 +20.7 分。相差 5.5 分。 连续更新后,两条改进路径累计走出了多大差距?

第一组对照中,作者说明各组合使用相同的三种操作、证据和预算,区别在于如何决定顺序。静态路由会根据失败特征选择操作,但不跨轮学习。它与固定流程同为 7.3 分,为完整系统提供了两个具体参照。MetaRSI v2,§5.2。

第二组对照把问题推进到一轮之后留下的方法。两个改进器共同继承 S1,因此 2.3 分更直接检验下一轮的改进效率。第五轮的比较则衡量连续积累的路径;后续轮次包含各条路径此前的修改,5.5 分累计差距并没有在每一轮重复“同一个 S1”的隔离对照。三组数字不能排成同一个效果的三次测量。MetaRSI v2,§5.4。

相同下一轮预算,没有回答哪些成本问题

分叉中的 B 固定了下一轮可用的资源。框架分别计量 token、耗时、GPU 计算和验证查询,实验对照还匹配操作调用次数与候选数量。B_M 则单独记录元改进支出。MetaRSI v2,预算定义与 §5.1。

这里有两个问题。更新后的方法已经存在时,它能否从相同的下一轮额度中取得更多增量?报告的分叉在局部给出了肯定答案。这个增量是否值得生成该方法所花的资源?单凭 2.3 分差距,还不能完成净收益换算。匹配运行预算,不会让方法的生成成本消失。五轮累计结果也包含每轮重新分配的 B,不能读成用一轮额度购买了五轮改进。

成功标准本身也有边界。代码任务用容器测试判断,封闭答案推理用精确或数值答案判断。封闭答案基准的 harness 只允许修改系统提示词,禁用工具、技能和 MCP。所有模型驱动的改进角色都由目标模型自身承担,没有更强外部模型参与,也没有外部模型输出进入训练数据;验证器仍提供来自环境的反馈。MetaRSI v2,实验设置。

按论文契约,评测器、保留任务、释放规则和资源账本位于所有可写范围之外,使改进过程沿用固定的成功定义。这是测量契约,不能直接当作独立验证过的防利用保证;代码测试或标准答案也不能证明开放科研中的判断能力。MetaRSI v2,受保护测量。

领先在扩大,每一步却在缩小

到第五轮,元更新路径的累计领先达到 5.5 分;但它的单轮增量从第二轮的 7.2 分降到第五轮的 1.4 分。不带元更新的路径则从 4.9 分降到 0.7 分。两件事可以同时成立:一条路径每轮仍比另一条多增加一些,却比自己早先增加得少。累计领先扩大,不要求单轮收益越来越大。MetaRSI v2,§5.4。

能力保留提供了另一项有范围的结果。作者报告,元更新路径没有出现所监测的已得能力回退;另一条路径在第五轮的 GPQA-D-hard100 回退了 0.2 分。这个正面结果应当保留,也应当限于这五轮中实际监测的能力,不能扩成对一切回退的保护。MetaRSI v2,已得能力保留结果。

harness 示例解释了方法为什么可能改进:扩展改变了可供学习的行为,提案和调度策略又可以改变怎样利用这些新机会。同一个 S1 的分叉给出局部实验证据:更新后的改进器在相同下一轮预算下取得更大的下一步。报告的五轮累计结果保留了这份优势,同时单轮收益持续递减。计入 B_M 后的净收益、更长时间的持续性,以及这些任务以外的迁移,仍是分别需要证据的问题。

本文由 AI 生成,使用所提供的 MetaRSI arXiv v2 与 DGM v1 来源快照,未独立复现实验。

回到原件

本篇解读使用的原始材料,保留来源的版本信息。

  1. Darwin Gödel Machine: Open-Ended Evolution of Self-Improving Agents (v1)
    引用位置与版本

    https://arxiv.org/html/2505.22954v1 source block; source L57–58, L71–75, L73, L98–104

    https://arxiv.org/html/2505.22954v1

  2. Darwin Gödel Machine — arXiv submission history
    引用位置与版本

    https://arxiv.org/abs/2505.22954 source block in unchanged JSON-encoded tool output; submission history source L8, L29; v3 abstract not used for v1 mechanism

    https://arxiv.org/abs/2505.22954

  3. MetaRSI / RSI2 (v2): operators and improvement policies
    引用位置与版本

    https://arxiv.org/html/2609.06396v2 source block; version header source L65; operators and policies L80–85; protected evaluator L157–159

    https://arxiv.org/html/2609.06396v2 source block; Experimental Setup source L419–427

    https://arxiv.org/html/2609.06396v2 source block; Experimental Setup L434–436; Main Results/Table 3 L438–440, L452, L454–456; Improving the Improver L475–481; held capability L483, L492–493

    https://arxiv.org/html/2609.06396v2

  4. When AI builds itself
    引用位置与版本

    https://www.anthropic.com/institute/recursive-self-improvement source block; source L13–17, L56–58, L61–63

    https://www.anthropic.com/institute/recursive-self-improvement

  5. Can AI agents conduct open-ended AI research? Early evidence from two case studies (v2): results
    引用位置与版本

    https://arxiv.org/html/2607.27191v2 source block; source L64–67, L82–93; arXiv header L56 and body L62 carry different dates

    https://arxiv.org/html/2607.27191v2 source block; small sample, non-blind reviews and question-selection scope source L164–167

    https://arxiv.org/html/2607.27191v2

返回篇首
修订于 2026年10月14日
技术版本
Article
metarsi-improvement-method
Release
cec123860ff05b8ff43b05e0730603a16912761ec62da84c091cf1f82025c1cf
Content digest
cec123860ff05b8ff43b05e0730603a16912761ec62da84c091cf1f82025c1cf

接着读

策略与元改进

DGM 为什么保留分数更低的 Agent

父代选择流程固定时,Agent 代码怎样继续演化?

只要仍能编辑代码,分数下降的子版本也可能成为有用的父版本。DGM 的对照实验、评测口径和一次日志绕过,解释了这项贡献该怎样理解。

RRSI:更高的分数,究竟选中了什么?

筛选时得分更高,换到新任务后还更好吗?

两条搜索路线改进同一个 Agent 的工作方式。筛选修改时分数更高的一条,换到其他基准后表现却较弱。理解这个差别,要看搜索留下了什么。

本文主题

递归自我改进 MetaRSI

图示放大

可滚动查看全图。按 Esc 或关闭返回原位置。