CRUX：Personas 的实验怎样改变了研究主张

Personas Agent 原本打算给论文一个正向的核心发现：改变模型的特征，能够影响没有直接训练过的行为。一次早期测试给出了无效结果，Agent 放弃了这条主张，转而在更多模型上扩展负向发现。后来，一项竞争方法实验又推翻了另一条核心断言。每一步改变的，都是这项研究究竟还能证明什么。CRUX 记录的研究轨迹，§4.2。

研究任务让最初的主张有了具体含义。Agent 要通过修改模型权重来控制 LLM 的行为特征，检验这些维度能否分别控制、能否组合，并至少测试一种没有直接训练过的下游行为。训练所针对的行为发生变化，只回答了任务的一部分；要证明迁移，还得观察影响是否超出了直接训练的行为。Personas 的实际研究问题，§9.1。

这是 CRUX 影子评估选出的两个经验研究问题之一。Agent 得到当时尚未公开的论文所研究的问题，但拿不到原论文及其发现；原作者随后按会议投稿标准评判产出。他们熟悉具体问题，也知道论文由 AI 生成，而且已经形成了自己的研究路径。因此，这些判断应当作为非盲的专家评估来理解。评估设计与边界，§2–3。

探索记录显示，Agent 很早就收窄了搜索。它原计划花36–48小时考察三种方法，却在快速测试第一种方法、得到一些基本正向结果后，放下其他假设，约五小时便结束探索。这些基本正向结果不能与原定迁移主张的证据混为一谈：时间线另外记载了迁移测试的无效结果，以及随后放弃这条主张的决定。探索过程，§4.3；主张变化，§4.2。

随后，Agent 扩大负向发现的实验规模，报告它在参数量从3B到14B的 Qwen 模型以及 Llama 3 上重复出现。CRUX 保留了一个可能有意思的窄发现：只针对失当风格做窄范围微调，没有带来广泛的错误泛化。原定的正向主张站不住，并不让这个小发现失去全部价值。它的范围仍限于所测试的训练与行为，不能据此证明迁移普遍不可能。跨模型扩展与有用的小发现，§4.2。

图为编辑制作的解释示意，不是实验数据。虚线表示原定的迁移假设，不表示已经观察到的效果；A、B 表示测试中的角色。布局不编码数量占比或效应大小，也没有补写后来核心断言的逐字内容。

后来的竞争方法测试问了另一个问题。CRUX 记载，Agent 用相同训练预算评估一种竞争性的引导方法，结果推翻了论文的核心断言。时间线没有逐字给出这条后来的断言，不能把它直接替换成已经放弃的最初迁移主张。后来的竞争方法实验，§4.2。

人类专家的另一条评论说明了比较为何重要：容量匹配后，权重空间控制没有优于激活空间控制，因此这套特征空间的价值不清楚。这是在追问所提方法增加了什么价值。评论没有补全后来核心断言的原文，其中的“容量匹配”也必须与时间线中的“训练预算相同”分开。在更多模型上重复负向观察，检验的是这条观察是否在那些测试中再次出现；要证明相对于另一种方法的优势，需要关于那种方法的比较证据。专家对比较价值的质疑，表4。

行为测量究竟代表什么，也没有解决。专家质疑主要特征像是手工挑选的，并认为测量薄弱、可能存在自我循环。表4相邻一列中，Agent 自己的最终评审把测量问题说得更具体：固定词表怎样测出回答的冗长度，而不是话题？这是两个来源不同的批评。如果分数跟着话题变化，分数改变就不能证明冗长度改变；在更多模型上重复这个分数，也不能单独解决它是否测到了目标行为的问题。表格提出了这个疑问，并没有独立证明实际结果由话题造成。特征选择与测量问题，表4。

反馈确实促使 Agent 做了更强的后续实验。不过，CRUX 对修改过程的判断仍是：面对根本性的有效性质疑，Agent 主要通过收窄表述、添加限制来应对，没有重新考虑数据或方法的前提。这一区别在这里很具体：更谨慎的句子可以减少论文声称的内容，却不能证明测量捕捉到了目标行为。原作者专家最终给 Personas 论文的评分是2/6，“拒绝”。后续实验，§4.2；反馈与评判，§4.1、§4.4。

大量工作仍然完成了。CRUX 记录了文献综述、GPU 环境调试、数百次实验与稳健性检查，以及 LaTeX 论文制作。两项主实验都使用 OpenClaw 上的 Claude Opus 4.8，推理强度为 extra-high。研究者提供了凭据和仓库设置，手工修补过一个 OpenClaw 问题，延长了24小时，并要求改写得更清楚。在这套有人类支持的设置中，工程工作完成与研究贡献未被充分证明，同时成立。设置、人工介入与工程表现，§3、§4.5。

第二项 TabPFN 案例呈现了相关的推断边界。它的任务是检测表格基础模型在部署时准确率是否明显下降。评审 Viet Nguyen 同意文中讨论的具体内部信号没有奏效，却反对由此推出内部普遍没有可用信号。测试几个候选，没有穷尽全部可能的信号；这条批评本身也不证明一定存在成功的检测器。TabPFN 任务与原作者评论，§9.2、§10.1。

对 RSI 而言，这些案例提供的是：在所测试的设置中，Agent 怎样选择实验、怎样判断结果能支持什么。它们没有确定一般 AI 研究能力的极限。CRUX 没有用 Anthropic 最强的前沿研发模型担任这些案例的研究 Agent；缺少这项测试限制了外推，也不构成更强模型已经成功的证据。作者还没有确定，这些开放研究技能是否处在加速 AI 开发的关键路径上。工程表现与贡献失利，都不能单独确定一般性的递归自我改进轨迹。模型限制与研发含义，§7。

Personas 的轨迹留下了一个具体难题。迁移测试检验直接训练之外的行为；跨模型重复扩展一条负向观察；竞争方法对照质疑比较价值；测量批评则追问这些观察一开始代表什么。把实验完成，与判断实验究竟证明了哪项研究贡献，是两种不同的能力。

本文是2026年10月14日对 arXiv 2607.27191v2 的分析。该版本页头为2026年8月7日，正文显示8月24日，保留两者。本文呈现作者报告的轨迹、专家判断及编辑制作的解释与示意图，不提供独立复跑或重新评分结果。