Agent 工时可以作为容量信号,但它不是科研进展的单位。
METR 在 2026 年 11 月 20 日的能力更新进一步说明了这条边界。报告把可自动验证的任务,与需要专家判断、难以快速验证的研究任务分开讨论,也记录了评测加固和防止 reward hacking 的工作。对科研组织而言,容量、任务表现、有效性、人工控制和持久成果应当分账。
一项科研计划的五本账
| 账本 | 示例字段 | 回答的问题 |
|---|---|---|
| 容量账 | Agent 会话、任务分配、算力分配 | 有多少自动化工作能力可用 |
| 吞吐账 | 完成运行、代码变更、分析工件 | 有多少工作穿过了流程 |
| 有效性账 | 复现、留出表现、工件完整性 | 哪些产物经得住验证 |
| 人工控制账 | 介入、拒绝、纠正、安全暂停 | 哪些判断仍需人完成 |
| 科研成果账 | 接受结果、持久能力、发布或部署决策 | 科研计划真正改变了什么 |
不要把这些账合成一个生产率分数。容量账里有一条记录但没有有效结果,它仍然只是容量。只有分数而没有代码、数据和环境,它仍然是待复现主张。
保持分母冻结
一份可解释的报告至少可以包含四个比例:
- 容量比:自动化工作量除以明确界定的人工工作量;
- 已验证吞吐:每个研究周期内已接受或可复现的任务单元;
- 介入负担:每个完成任务需要的人工介入,按任务跨度拆分;
- 持久成果率:已接受成果除以已明确范围的研究任务。
每个比例都要冻结分母,并明确处理拒绝和未决任务。这样得到的是测量账本,而不是只保留成功案例的叙事。
新能力证据改变了什么
METR 的更新把任务分成有明确目标的可验证任务,以及依赖人工或量表判断的研究与判断任务。报告还说明,防止 reward hacking、建立稳健评分和邀请专家参与本身都需要工程工作。可执行结论很窄:可验证任务的分数不能替代科研加速证据,因为科研工作可能依赖判断、证据质量和专家复核。
此前 OpenAI 的披露仍可作为容量指标的内部自报案例。Agent 工时和任务分类有参考价值,但算力、工具、组织岗位构成和人工介入都会影响解释。这个数字应进入容量账,而不是成果账。
给研究任务定义状态机
每个任务都应有可审计状态:
- 已提出并完成范围定义;
- 输入冻结并具备执行条件;
- 运行完成;
- 按预先声明的条件检查结果;
- 独立复现或接受反证;
- 接受、拒绝或保留为未决。
状态机保留失败和无结论实验,也能帮助定位瓶颈。容量上升而未决工作堆积,限制因素在验证。已验证吞吐上升而持久成果没有增加,则应检查选题质量以及实验到科研决策的转化。
基准是测量工具,不是组织成果
MLR-Bench、WhatWorkedBench、WorkflowArena 和 METR 任务套件测量的是不同的局部对象。它们可以揭示研究执行、实验理解、工作流编排、时间跨度或判断能力的弱点,却不能单独测量某个实验室的持久科研进展。
正确做法是把基准结果接入它真正支持的账本。基准分数可以更新有效性账,不能自动更新成果账。
每个加速主张都要有证据包
每个加速主张都应能追溯到:
- 任务定义和人工基线;
- Agent 身份、Harness 和工具版本;
- 代码、数据、环境和结果工件;
- 评测规则和成功条件;
- 介入、拒绝、安全暂停和恢复事件;
- 独立复现或明确标记未决;
- 基于结果做出的决策。
证据包能阻止两类口径错误:把内部使用增长写成科研能力,把局部基准分数写成因果生产率提升。
限制
OpenAI 的数字是内部披露。METR 的结果依赖它自己的任务套件、人工估计、量表和覆盖范围。基准存在选择效应,也可能因评测加固或被试策略而改变测量对象。本文提供的是工程综合,不是随机化生产率实验,也不是普遍排名。
可执行的结论很窄:把 Agent 容量当容量,保留有效性和人工介入证据,只有经有效性账和决策账验证的结果才称为科研进展。