waytoRSI追踪递归自我改进
返回最新文章

ScientistTwo:五项指标变好,架构贡献为何仍被拒绝

DMC-TeCh 在六项指标中的五项上超过基线,但作者报告,消融评判把主要收益归给了训练处理。这个决定有助于理解论文中的 AI 评审接受率。

ScientistTwo 的 DMC-TeCh 候选,在六项指标中的五项上超过了基线,却没有通过系统的研究贡献判断。作者报告,消融评判认为主要收益来自 EMA 与标签平滑这两项通用训练处理,而非提出的多核心架构。这里的“拒绝”,指系统内部对研究贡献的判断。附录 B 中的 DMC-TeCh 案例。

同一个候选里包含两类改动:提出的架构,以及训练处理。把整个候选与基线比较,测到的是这组改动合在一起的表现。单凭这个结果,还分不清应该把收益归给哪项改动。要把架构作为贡献,主张就更具体了:需要证据把改善与这项架构联系起来。作者报告的归因判断,阻止了“整个候选更好”自动变成“所提架构带来了改善”。

“主要”二字也限定了这个判断。原文说明评判把主要功劳归给了谁,没有给出各组件的效应数值,也没有断言架构的作用为零。指标改善与贡献被拒绝可以同时成立,因为两者回答的问题不同。

DMC-TeCh 的同一个候选包含多核心架构与训练处理。六项指标改善五项,但报告中的消融判断把主要收益归给 EMA 与标签平滑,因此该架构贡献未被接收。

这是对作者所报决定的解释图。五个绿色圆点表示改善的指标数量。归因分支的实线与虚线区分获得和未获得主要原因归属的解释;图形不估算组件效应大小或收益占比。

ScientistTwo 的组件消融流程,让这一区别进入实际操作。规划阶段为各组件制定实验,编码阶段修改已经验证的实现并执行。评判随后可以要求调整假设和代码。调整后的候选还要与前一版本比较:只有系统的结果比较代理更认可新结果,才更新保留的候选,之后重新进行消融。批评因此可以改变提出的方法,并让修改后的解释再次接受检查。组件实验与保留规则,§3.4。

写成论文之后,流程还有另一条返回证据的路径。ScholarPeer 审视稿件的优点和缺点,提出具体问题并打分。评分低于流程阈值时,回应评审的规划阶段把疑问转成补充实验任务,编码阶段实现并执行这些任务。随后,稿件依据新发现修改断言、表格与图。评审与实验回应,§3.5。

汇总评审还可以返回更早的环节,要求修改假设和实现。新结果得到比较代理认可,就重新经过消融、起草与模拟评审;修改没有改善前一版本的结果,就舍弃这次修改,保留此前的输出。内部的 Accept 则结束流程,导出稿件与代码。这些是作者描述的研究修改路径,并不证明每条批评都得到了成功解决。汇总评审与返回研究,§3.6。

评审轮次实验测的是另一种结果:AI 评价器怎样判断最终稿件。ScholarPeer 的意见已经参与修改稿件,作者因此称它为同分布评价器。Stanford Agentic Reviewer 在开发时未被使用,它的反应可以帮助判断:修改是否也得到生产流程之外的另一套评价器认可。不过,这仍然是 AI 评价。评价器的角色,§4。

在 49 个来自 ICML 2026 Spotlight 论文的目标问题上,表 5 报告了以下条件与 AI 接受率。这项实验改变评审与回应评审的配置;前面的 DMC-TeCh 是附录 B 中另一个具体候选的贡献判断。

评审条件 ScholarPeer AI 接受率 Stanford AI 接受率
零轮;关闭 Rebuttal Agent 46.9% 49.0%
一轮;启用 Rebuttal Agent 79.6% 73.5%
两轮;启用 Rebuttal Agent 93.9% 69.4%

样本、完整条件与表 5。

第一轮之后,两套评价器的接受率都上升,包括开发时未用过的那一套。第二轮之后,ScholarPeer 继续上升,Stanford 回落,但 Stanford 仍高于零轮的接受率。数据支持这个描述性变化。这三个条件本身没有确立统计显著性,不能确定最优轮数,也不能据此诊断奖励投机。

第一次比较还同时改变了两件事:从零轮到一轮,既加入评审,也启用了 Rebuttal Agent。流程可以补实验、改断言,汇总评审还可以改方法。表 5 没有分辨这些动作与呈现方式的变化,各自对接受率起了多大作用,也没有解释第二轮两套评价为何分化。它的百分比描述的是对稿件的判断,不能提供所提机制的组件归因。

“接受”还需要说清楚对象。已被会议接收的论文,提供了输入问题与代码;流程内部的 Accept,是模拟汇总评审的决定;表 5 则记录 AI 评价器对生成稿的判断。所呈现材料中,生成稿的实际会议决定仍未核实。输入论文与输出评价,表 3 和附录 A.1。

人类评价在另一组样本上增加了证据。作者组织 9 位有经验的评审者,评价了 33 篇来自 NeurIPS 问题的生成稿,既按六个维度单独评分,也与已经接收的人类论文配对比较。两套尺度都是 1–5 分,但含义不同:单独评分大于 3,表示正向认可;比较评分等于 3,表示相当,大于 3 则偏向 ScientistTwo。人评流程与表 10。

整体单独评分均值是 3.7,按这套尺度属于正向评价。整体比较均值是 3.0,落在“相当”的刻度上。这个整体值旁边,稿件各部分的判断并不相同:基线与基准实验的比较均值为 3.5,方法合理性与算法严谨性为 2.9。报告中的均值对基准实验更为认可,对方法严谨性的比较则低于相当点。整体均值落在相当点,不构成统计上的等价证明,也不能抹平各维度差异。这些人评均值还不能与 49 个任务上的 AI 百分比合成一个质量总分。所呈现的人评流程中,评审独立性与盲法仍未核实。

产物审计检查的又是另一组属性。在完整系统的 49 份 ICML 来源输出上,表 7 报告:将论文分数与仓库重新执行的结果比较,分数复验 49/49 通过;任务规则违反为 0/49;1,814 条参考文献中,虚构条目为零;论文方法描述与代码实现的一致性检查 49/49 通过。这些是作者报告的研究产物检查。审计定义与完整表 7。

每项检查都有具体用途,也有自己的范围。参考文献条目真实存在,不证明它支持引用处的论点。方法描述与可执行代码一致,也不能单凭这一点确定是哪项组件带来了收益。因此,产物审计可以补充 DMC-TeCh 所体现的归因检查,无法替代它。

DMC-TeCh 让这个区别产生了实际后果:报告中的数值支持整个候选表现更好,评判却没有把贡献归给它的架构解释。后面的评审接受率、人评与产物检查,评价的是输出的其他部分。流程能够返回实验之所以有意义,是因为即使数值已经改善,反馈仍可以改变最终保留下来的研究主张。

本文是 2026 年 10 月 14 日的解读,讨论 2026 年 9 月 17 日提交的 arXiv v1。该日期指投稿时间。本文呈现作者报告的研究与编辑解释,不提供独立重跑实验或复现结果。

回到原件

本篇解读使用的原始材料,保留来源的版本信息。

  1. ScientistTwo, arXiv v1 — experiments and component attribution
    引用位置与版本

    https://arxiv.org/html/2609.19644v1 | Version L39; component experiments L182-L189

    https://arxiv.org/html/2609.19644v1 | Manuscript review and experimental refinement L191-L214

    https://arxiv.org/html/2609.19644v1 | AI evaluator roles/results L213-L254; review-round ablation L267-L284

    https://arxiv.org/html/2609.19644v1 | Human evaluator roles, scales and Table 10 L358-L369

    https://arxiv.org/html/2609.19644v1 | Input paper selection L539-L541; L582-L594

    https://arxiv.org/html/2609.19644v1 | Integrity definitions, results and refinement agents L295-L330

    https://arxiv.org/html/2609.19644v1 | Review-loop limits L661-L664; attribution case L682-L683

    https://arxiv.org/html/2609.19644v1

  2. ScientistTwo — arXiv submission history identifying v1
    引用位置与版本

    https://arxiv.org/abs/2609.19644 | Submission L8; fixed-version link L23; history L28

    https://arxiv.org/abs/2609.19644

返回篇首
修订于 2026年10月14日
技术版本
Article
scientisttwo-review-evidence
Release
c3db0b0d57e60dbbfa3377ae38168bd6dde2797195804f0ece7bb581ee53afb7
Content digest
c3db0b0d57e60dbbfa3377ae38168bd6dde2797195804f0ece7bb581ee53afb7

接着读

AI 研发与评测

本文主题

递归自我改进 ScientistTwo

图示放大

可滚动查看全图。按 Esc 或关闭返回原位置。