Administrator
Published on 2026-11-19 / 4 Visits
0
0

如何测量 AI 加速科研:Agent 工时不等于科研进展

Agent 工时可以作为容量信号,但它不是科研进展的单位。

METR 在 2026 年 11 月 20 日的能力更新进一步说明了这条边界。报告把可自动验证的任务,与需要专家判断、难以快速验证的研究任务分开讨论,也记录了评测加固和防止 reward hacking 的工作。对科研组织而言,容量、任务表现、有效性、人工控制和持久成果应当分账。

一项科研计划的五本账

账本 示例字段 回答的问题
容量账 Agent 会话、任务分配、算力分配 有多少自动化工作能力可用
吞吐账 完成运行、代码变更、分析工件 有多少工作穿过了流程
有效性账 复现、留出表现、工件完整性 哪些产物经得住验证
人工控制账 介入、拒绝、纠正、安全暂停 哪些判断仍需人完成
科研成果账 接受结果、持久能力、发布或部署决策 科研计划真正改变了什么

不要把这些账合成一个生产率分数。容量账里有一条记录但没有有效结果,它仍然只是容量。只有分数而没有代码、数据和环境,它仍然是待复现主张。

保持分母冻结

一份可解释的报告至少可以包含四个比例:

  • 容量比:自动化工作量除以明确界定的人工工作量;
  • 已验证吞吐:每个研究周期内已接受或可复现的任务单元;
  • 介入负担:每个完成任务需要的人工介入,按任务跨度拆分;
  • 持久成果率:已接受成果除以已明确范围的研究任务。

每个比例都要冻结分母,并明确处理拒绝和未决任务。这样得到的是测量账本,而不是只保留成功案例的叙事。

新能力证据改变了什么

METR 的更新把任务分成有明确目标的可验证任务,以及依赖人工或量表判断的研究与判断任务。报告还说明,防止 reward hacking、建立稳健评分和邀请专家参与本身都需要工程工作。可执行结论很窄:可验证任务的分数不能替代科研加速证据,因为科研工作可能依赖判断、证据质量和专家复核。

此前 OpenAI 的披露仍可作为容量指标的内部自报案例。Agent 工时和任务分类有参考价值,但算力、工具、组织岗位构成和人工介入都会影响解释。这个数字应进入容量账,而不是成果账。

给研究任务定义状态机

每个任务都应有可审计状态:

  1. 已提出并完成范围定义;
  2. 输入冻结并具备执行条件;
  3. 运行完成;
  4. 按预先声明的条件检查结果;
  5. 独立复现或接受反证;
  6. 接受、拒绝或保留为未决。

状态机保留失败和无结论实验,也能帮助定位瓶颈。容量上升而未决工作堆积,限制因素在验证。已验证吞吐上升而持久成果没有增加,则应检查选题质量以及实验到科研决策的转化。

基准是测量工具,不是组织成果

MLR-Bench、WhatWorkedBench、WorkflowArena 和 METR 任务套件测量的是不同的局部对象。它们可以揭示研究执行、实验理解、工作流编排、时间跨度或判断能力的弱点,却不能单独测量某个实验室的持久科研进展。

正确做法是把基准结果接入它真正支持的账本。基准分数可以更新有效性账,不能自动更新成果账。

每个加速主张都要有证据包

每个加速主张都应能追溯到:

  1. 任务定义和人工基线;
  2. Agent 身份、Harness 和工具版本;
  3. 代码、数据、环境和结果工件;
  4. 评测规则和成功条件;
  5. 介入、拒绝、安全暂停和恢复事件;
  6. 独立复现或明确标记未决;
  7. 基于结果做出的决策。

证据包能阻止两类口径错误:把内部使用增长写成科研能力,把局部基准分数写成因果生产率提升。

限制

OpenAI 的数字是内部披露。METR 的结果依赖它自己的任务套件、人工估计、量表和覆盖范围。基准存在选择效应,也可能因评测加固或被试策略而改变测量对象。本文提供的是工程综合,不是随机化生产率实验,也不是普遍排名。

可执行的结论很窄:把 Agent 容量当容量,保留有效性和人工介入证据,只有经有效性账和决策账验证的结果才称为科研进展。

参考资料


Comment