工具更多、总分更高,旧任务仍可能退步
EvoHarnessBench v3 把两种比较分开:跨队列看最终总体表现,沿旧队列看能力保留。图中的取格范围让区别清晰起来。
解读展开概要收起概要
论文的部署基线在累计工具条件下获得了更高的总体通过率,同时出现负的旧队列后向迁移。两种结果采用不同基线:ACC 读取最终一行,BWT 配对旧队列的引入格与最终格。记忆对照与无记忆 AutoGen 的保留反例,则限定了这些结果能支持的结论。
汇集已发布的文章。每篇文章保留各自的证据与研究范围。
1 篇文章
EvoHarnessBench v3 把两种比较分开:跨队列看最终总体表现,沿旧队列看能力保留。图中的取格范围让区别清晰起来。
论文的部署基线在累计工具条件下获得了更高的总体通过率,同时出现负的旧队列后向迁移。两种结果采用不同基线:ACC 读取最终一行,BWT 配对旧队列的引入格与最终格。记忆对照与无记忆 AutoGen 的保留反例,则限定了这些结果能支持的结论。