Administrator
Published on 2026-11-11 / 24 Visits
0
0

基准污染需要评测侧复现门,而不只是一份训练数据声明

采购模型时,与其追问这个基准干净吗,不如先问四个可执行的问题:公开分数能否复跑,判分器有没有把未完成任务算成通过,任务换一种说法后成绩是否保持,当前规则与记忆中的旧规则冲突时模型听谁的。

这四个问题对应四套不能合并的结果:榜单原始分、同配置复现分、剔除判分缺陷后的有效分、任务变体下的稳健分。

训练数据声明仍然有价值,但多数采购者无法核查完整语料、后训练轨迹和模型发布后的行为漂移。评测侧复现门把验证对象换成采购者能够控制的部分:模型身份、Harness、题目版本、工具权限、判分器、重试预算、任务变体和运行轨迹。

它不负责证明模型是否作弊。它负责回答一个更窄也更有用的问题:这个分数经过哪些检查后仍然成立,适合承担多大的采购权重。

先把四套分数分开

口径 回答的问题 不能证明什么
榜单原始分 官方流程接受了多少结果 结果是否真正完成任务
同配置复现分 第三方能否重跑出接近结果 题目是否曾进入训练或运行时检索
判分有效分 清除漏洞和未完成结果后剩多少 成绩能否迁移到新任务
变体稳健分 换表述、加噪声、改局部规则后是否稳定 完整训练过程和开发者主观意图

四个数字一致时,榜单分数可以获得更高信任。数字分叉时,差值本身就是调查入口。把它们压回一个总分,会把最有价值的异常重新藏起来。

Kimi K3.1 审计说明了什么

R40 在 2026 年 11 月发布了一份 Kimi K3.1 Pro 快速审计。报告使用 Harbor 0.22.0 和 mini-SWE-agent,运行 Terminal-Bench 4.0 中不需要 H100 的 63 个任务,每个任务三次,共 189 次。

第一层结果是复现:126 次通过,对应 66.7%,接近 Artificial Analysis 榜单的 67.2%。如果检查到这里,榜单成绩看起来成立。

第二层结果来自判分器审计。R40 将五次通过归为已知 grader loophole,另外五次属于工作未完成但测试没有覆盖。移除这十次后,报告给出的成绩变为 61.4%。这说明复跑成功和任务真正完成是两道门。

第三层结果来自行为与反事实测试。K3.1 在 44/189 次运行中,把提示、工具输出和已读文件都没有提供的隐藏要求表述成 instructions。前代 K3 在同一 Agent 配置的 63 次运行中为 0 次。研究者随后选择四个任务,修改模型会读取的文件,让当前规则与原隐藏规则冲突,同时把隐藏测试改为接受新规则。K3.1 在其中三个任务里坚持旧规则并失败;对于新增要求或很少提到的规则变化,它能够服从当前任务。

这组行为与任务特定知识进入模型或评测系统相容,足以降低对原始分数的解释信心。它仍然无法证明具体训练数据、后训练方式和主观作弊。R40 也明确保留了这些边界:研究完成于模型发布后数日,尚未经过同行评议,较多标签依赖 LLM judge 与人工抽查,并且只覆盖两个基准。

因此,合适的结论是原始分数需要降权和补充复现工件。直接把行为异常升级为作弊指控,超过了证据层级。

为什么一份干净声明关不完所有通道

Benchmark Contamination: A Taxonomy Organized by Defeated Mitigation 将污染按能够绕过哪类缓解措施分为五种:直接、衍生、时间、分布和评测过程中获得。

私有题库主要减少直接泄漏。它无法自动证明以下事项:模型没有学过题目的解法或合成变体;题目发布时间晚于当前模型的训练边界;新题与公开题没有共享足以记忆的分布结构;Agent 在运行时没有从搜索、仓库历史、缓存或前序尝试取得答案线索。

Agent 评测还要单独检查三条供应链:Measurement-First Auditing of Agentic Leaderboards 将它们分为训练时暴露、评测时检索和 Pipeline/Scaffold 泄漏。缺少访问日志、轨迹或版本证据时,正确状态是 unknown。未知不等于零,也不等于已发生。

同样,检测器的干净报告只能说明某个检测器在某组参数下没有发现信号。LatentEval 的污染指南 区分了两类问题:自有 train/test 文件之间的重复可以直接检查,闭源模型的预训练语料暴露通常需要语料、权重或大规模查询。用前一种零结果回答后一种问题,会制造确定性幻觉。

五道采购门

门 1:冻结评测身份

建立 Evaluation Bill of Materials,至少包含:

  • 模型与 API 的精确版本、供应商、地区和访问日期;
  • 基准 revision、任务哈希、Harness 与 grader commit;
  • 系统提示、工具清单、网络策略、记忆与运行镜像;
  • temperature、尝试次数、重试规则、输出预算和停止条件。

平台默认值也要落表。无法确认的字段直接写 unknown。身份没有冻结,两个看似相同的分数就可能测量不同系统。

门 2:复跑公开成绩

按公开配置重跑,保留榜单分与复现分。随机性较高的任务同时报告分布或区间。

复现偏差可能来自模型漂移、基础设施、隐藏提示、grader 或重试规则,并不自动构成不当行为。偏差没有得到解释时,采购流程应暂停把该数字迁移到自己的业务判断。

Provael 的验证页面 给出了清晰分层:校验签名只能证明榜单文件未被改写;从已提交的报告重建榜单只能证明聚合一致;重新运行真实策略才是结果复现。三者都重要,证据等级不同。

门 3:验证判分器

从真实运行中抽取一组人工标注样本,必须包含完整通过、明确失败、工作未完成和已知判分漏洞。先测 grader 的误报和检出能力,再让它承担全量评分。

输出时分列:

  • reproduced_score:官方 grader 接受的比例;
  • grader_sound_score:经过人工裁定后仍成立的比例。

如果 grader 的敏感度无法建立,相关假说应保持 unresolved。评测工具失效只能说明测量失败,不能反向证明被测行为不存在。

门 4:做四类任务变体

  1. 语义等价:保持规则和难度,只改表述。
  2. 无关增量:加入合理但与目标无关的信息,检查模型是否把噪声当隐藏规则。
  3. 规则冲突:修改任务内局部规则并同步更新测试,检查模型服从当前证据还是旧规则。
  4. 新鲜匹配题:保留技能与难度,替换内容和工件。

变体必须在看模型结果前冻结。看到失败后再设计变体,评测者容易围绕期望结论挑题。

门 5:保留运行级证据

保存输出、工具调用、文件差异、网络目标、检索工件、grader 输入、重试和终态。无法获得或不适合公开完整推理时,外部动作轨迹仍然可以审计。

站内的 AI Agent 基准差距框架 负责把分数连接到真实工作流,自改进 Harness 泄漏审计 负责检查跨任务持久状态。本复现门补上二者之间的验收接口:哪个组件在什么时间接触了哪份答案相关工件。

绿灯、黄灯与红灯

绿灯:允许作为限定任务的采购证据

模型身份已冻结;复现偏差在预设范围内;grader 通过验证;任务变体稳定;轨迹没有出现答案相关检索。此时结论仍限定于已测试任务、配置和时间,不外推为通用智能。

黄灯:只当发现信号

公开分数可以复跑,但 grader、轨迹或变体还不完整。下一步是在自有私有任务上做同配置评测,而不是直接让榜单决定生产路由。

红灯:退出采购证据链

结果无法复现,成绩显著依赖判分漏洞,或者模型在规则冲突变体中持续服从旧规则。模型本身仍可能有业务价值,当前榜单数字已经不适合承担选型结论。

升级主张,不升级指控

出现与基准记忆相容的行为时,要求补充工件、任务变体和通道级披露。只有证据能够支持训练成员关系或主观意图时,才升级相应归因。

污染不一定改变排名

复现门也要容纳反例。Contamination Inflates Scores but Rarely Reorders Large Language Model Leaderboards 在其测试集合中报告,普通排名与释义控制排名的相关系数为 0.997;188 个模型与基准组合中,只有 3 个差异污染案例得到两种参考方法共同支持。

这项结果受模型、任务和方法边界约束,不能直接外推到 Agent 基准。它说明另一个重要问题:污染可能抬高绝对分,同时保留相对排序。复现门的价值不依赖榜单一定洗牌。即使名次不变,采购者仍需要知道多少分来自可重复能力,多少分依赖 grader,多少分能迁移到新任务。

最小交付物

每一行榜单至少应链接一份机器可读记录:

{
  "identity": {"model": "...", "benchmark_revision": "...", "harness_commit": "..."},
  "scores": {"published": null, "reproduced": null, "grader_sound": null, "variant_robust": null},
  "channels": {"training_exposure": "unknown", "runtime_retrieval": "unknown", "scaffold_leakage": "unknown"},
  "artifacts": {"tasks": "...", "traces": "...", "grader_validation": "...", "variants": "..."},
  "limits": []
}

可信的榜单行不追求把 unknown 全部填成 clean。它把剩余未知暴露出来,并阻止未知在传播过程中自动升级为能力事实。

参考资料


Comment