Dream-RSI：用过去的搜索，检验新的搜索策略

发现 agent 可以继续打磨一个候选，也可以另开一条分支。在线评估这种选择，可能要跑完一轮昂贵的搜索，才能看出策略好在哪里。Dream-RSI 让已完成的搜索可以重复利用：比较另一种策略时，按不同顺序揭示已保存的尝试，无须重新生成和评价这些尝试。一次在线搜索因此能支持多次低成本策略评估。动机与回放机制，§2

理解它的关键，是分清回放系统保存的整棵树与策略当下能看到的观察。系统已经存有结果，策略仍须在结果揭示前作出选择。以下依据 2026 年 10 月 6 日修订的 arXiv v2。回放规则，§3 版本记录

同一棵树，两种后续选择

在线发现时，根节点代表初始工作区。每次尝试从父节点保存的工作区继续，继承已有观察；产生的节点保存生成历史、自身的文件系统快照、观察内容和评价器评分。后来回放时，这些记录逐步揭示，原始历史树保持不变。发现树的构建，§3

下面的小树有两条示意分支：root→A1→A2 和 root→B1→B2，其中 A1 比 B1 更早创建。回放起初只有 root。第一次选择 root，揭示 A1。图停在这个共同起点：两个策略都只看到了 root 和 A1，此刻可选的是 root 或当前叶节点 A1。

• P 选择 A1。选择非根节点，会沿它唯一的已记录子节点继续，因此回放揭示 A2。P 此时看到 A1、A2，B1 和 B2 的观察仍不可见。
• Q 再次选择 root。root 会打开尚未揭示、创建时间最早的根子节点，因此回放揭示 B1。Q 此时看到 A1、B1，A2 和 B2 的观察仍不可见。

Q 不能要求 root 任选分支，也不能直接跳到 B2；B2 是 B1 的已记录后续。图中的虚线占位让读者看清示例结构，并不意味着策略能提前读取这些节点的观察或评分。决策接口与确定性回放转移，§3

waytoRSI 编辑自制机制示意，非原始实验证据或真实实验轨迹。A1、A2、B1、B2 均为示意标签，没有填入实测评分，图中不比较 P、Q 的优劣。

两份示意历史都揭示了两条尝试记录：共同的第一条 A1，加上之后的 A2 或 B1。因此，两者各代表两次发现调用，root 本身不计调用。回放时不会重新执行这些发现或评价请求。相同的调用数让差异变得具体：沿一条分支深入，或另开分支，可以在相同的计入调用数下看到不同证据。

策略能改变的是追多深、何时开分支、哪些尝试并行，以及何时停止。每次选择都受已保存路径约束。后续记录耗尽时返回空结果；原搜索没有记录的结果，回放也无法提供。回放范围与调用计数，§3

用回放反馈改策略，再跑一次在线搜索

回放目标在不同预算偏好下，权衡取得的质量与代表的发现调用数。它还根据每次调用对应的已完成串行轮数设置惩罚项，以鼓励并行。复用结果省去了再次执行，但这条记录代表的调用仍计入质量与成本的比较。回放目标，§3

固定的策略开发 agent 检查回放轨迹和评分，再改写可执行的探索策略代码。发现 agent、模型、评价器和执行接口保持固定。候选版本在累积的历史树上评估，选中的版本回到在线发现；新一轮完成的树再加入历史池，供下一轮回放使用。策略改写与部署循环，§3

把旧策略留在候选中，带来一个精确的保障：在同一个固定历史池 H_t 上，选中策略的平均回放分不会低于旧策略。历史池改变后，分数不保证继续上升；未来在线搜索的结果也不保证逐轮改善。在线发现具有随机性，同一工作区可能产生不同结果，而回放沿用的是已经保存的结果。在线转移与选择保障，§3

这里有证据支持的 RSI，是在模型和评价器固定时反复改写探索策略代码。这个机制及下述 Lasso 结果，还不足以确立 AI 能力的一般性递归自我改进。

搜索调用减少，收益仍取决于工作负载

Lasso 实验在 17 个合成实例上搜索满足数值正确性要求的正则化路径求解器，再用六个留出下游数据集评估找到的程序。三者用途不同：合成实例提供搜索任务，历史树提供策略选择所需的回放反馈，留出数据集衡量最终求解器的下游表现。Lasso 协议，§4.3 策略选择，§3

Dream-RSI 与 Recursive Fixed Exploration 各跑五轮，发现 agent、评价器、初始状态、每轮预算上限和起始策略相同。第一轮两组行为相同；从第二轮起，Dream-RSI 通过回放修改策略，对照组则保留固定策略。Gemini-3.1-Pro 的结果如下：对照设置，§4 图 4 与结果，§4.3

第一行衡量搜索投入。其余各行衡量找到的程序运行多久，并非发现这个程序用了多久。

论文自己已经解释了逐项分布：Pro 组的均值改善由 RCV1 驱动，Dream-RSI 求解器在其余五个留出数据集上全部更慢。RCV1 节省的绝对耗时超过了另五项增加的耗时，因而拉低算术均值。对于后续部署选择，若只按这六个评估数据集的平均耗时选程序，就会在 Gisette 选到更慢的那个。这是由结果表推出的条件性含义，并非论文的搜索或回放选策流程。作者的逐项分析，§4.3

“约 162 倍”的计算是 51200/317：将 SimpleTES 在 gpt-oss-120b 上报告的 51200 次生成，除以 Dream-RSI 在 Gemini-3.1-Pro 上的 317 次发现 agent 调用。相较于受控对照的 550/317，改变的是分子和比较系统，分母仍为 317。模型骨干不同，整个倍数不能全部归因于回放。无论这个倍数，还是受控比较中的 317 对 550，都不能确立总 token、费用或端到端发现耗时同比下降。最终求解器的运行耗时仍是另一项指标。发现投入的定义，§4 SimpleTES 比较，§4.3

下一步证据来自新的在线发现

已报告的实验已经包含六个留出下游数据集。进一步要检验的是：修改后的策略在历史回放之外生成新的在线结果时，能否持续减少发现投入，并逐任务保留有用的收益。这才能继续检验从已有经验中选策略，到实际再跑一轮搜索的这一步。

公开复现是另一个尚待推进的环节。在 2026 年 10 月 23 日获取的官方仓库快照中，完整代码与复现脚本均标为“Being prepared”（准备中）。本文呈现作者报告的结果，不提供独立复现结果。如果公开完整代码和复现脚本，外部研究者将更容易复现改写策略与固定探索之间的这组比较。该日期快照的发布计划 在线发现循环