Administrator
Published on 2026-11-18 / 7 Visits
0
0

AI 科研需要发现效果账本,而不只是使用量统计

AI 在科研中的使用已经可以被统计。真正困难的是:这些统计究竟能证明什么。

OpenAI 的《Science at the Frontier》完整报告分析了 ChatGPT for Academic Researchers 项目中 1,819 名科学家的 580,186 条科学消息,并补充了一项关于生产力和发现预期的问卷。这些材料足以描绘一个试点队列如何使用 AI,不能直接证明 AI 带来了更多科学发现。

更稳妥的做法,是建立一份发现声明账本。每一条结论都绑定样本、任务、证据工件、验证结果和因果状态。使用量仍然有价值,但它只承担使用量能够支持的那部分叙事。

先拆开五种测量

一、使用频率记录活动,不记录发现

1,819 不是全体科学家,而是使用研究队列中的账户。完整报告把样本限定为:在 2026 年 8 月 20 日至 9 月 22 日的窗口内,最迟在 9 月 2 日前至少发送过一条科学消息的 1,819 个账户。580,186 是被分类为科学或学术工作的消息数。记录单位是 ChatGPT Chat、Work 中的用户消息,或 Codex 的 native turn。研究团队通过隐私保护分类器完成分类,没有读取底层消息和 ChatGPT 回复。完整报告给出了样本构造和消息单位。

这组数字可以支持一句话:在这个试点队列和这个时间窗口内,记录到了这么多科学使用活动。它不支持三种常见的越级表述:580,186 次发现、1,819 名具有代表性的科学家、或者科学产出已经增加。

二、任务类型记录 AI 出现在哪里

报告把消息映射到 10 个科研工作流和 40 个具体任务。阅读与知识获取、科学分析、科研软件与代码开发、写作四类工作流合计占平均科学家科学消息的 85%,其中阅读和写作合计超过一半。OpenAI 的公开摘要还称,68% 的科学家使用 ChatGPT 开发研究想法。公开页面展示了工作流和想法生成结果。

任务占比比总消息数更有解释力,但它仍然是活动指标。阅读占比高,可能意味着文献工作是瓶颈,也可能只是工具更适合检索和整理,或者其他研究工作发生在 ChatGPT 之外。消息分类无法单独告诉我们综述质量是否提高,研究问题是否更好。

三、主观生产力记录感受,不记录因果提升

问卷让参与者估计:如果没有 AI,完成同样数量、同样质量的工作需要多长时间。OpenAI 公开页面把结果概括为约 1.9 倍。报告还显示,约 250 名回答发现时间问题的科学家中,98% 预期 AI 会加快本领域的科学发现。公开摘要给出四舍五入后的结果。 完整报告给出问题、调查窗口和回答口径。

这是真实的研究者感受,值得记录。它仍然来自申请扩展 AI 访问、并选择回答问卷的研究者,属于自报的反事实估计。它不是完成时间、质量或发现结果的随机对照。OpenAI 自己也写明,要判断这些期待是否转化为更快发现,还需要更多研究。研究页面明确保留了这个边界。

四、可复核产出记录结果能否被重放

使用数据和问卷不会自动留下可审计的科研结果。要判断产出是否可复核,至少需要保存:

  • 稳定的 claim_id,以及明确的样本和时间窗口;
  • 工作流、具体任务和人类与 AI 的角色分工;
  • 输入、环境、代码、数据集、笔记、图表或测量工件的版本和 hash;
  • 模型、工具、命令、随机种子和输出 hash;
  • 预先写下的参考实现、留出集、模拟检查或领域验收标准;
  • 独立复核者、复核范围和重放结果。

这与本站科学 Agent 验证栈的原则一致:参考一致、参数检查、模拟真值、数值诊断和真实数据验证分别回答不同问题。文件存在,不等于结果可重放;结果可重放,也不等于它就是重要的科学发现。

五、科学发现效果需要另一套结果证据

发现声明应单独记录研究问题、新颖性检索、科学指标、独立或盲化验证、后续复现测量、失败案例和领域专家对重要性的判断。

指定的 OpenAI 材料没有报告 AI 对实际发现数量、质量或速度的随机对照估计。它们报告使用模式、后续检查行为、主观生产力和发现预期。因此,发现效果的账本状态应该写 unknown,而不是写成零,也不是写成正向结果。

1,819 名科学家到底代表谁

数字很容易被脱离分母引用。报告附录说明,ChatGPT for Academic Researchers 面向符合条件的研究 faculty 和 postdoctoral researchers,要求来自支持的学术机构和国家,完成身份核验,提供近三年相关论文,并属于指定研究领域。初始席位在符合条件的申请者中抽签,申请人还可以邀请同机构同事。这些入口规则决定了谁有机会进入观测池。报告附录记录了项目资格和选择方式。

调查还有第二层边界。调查有 270 份有效完成,251 人同意纳入分析,具体问题的样本还会更小;发现时间问题约有 250 人回答。项目更新页讲的是更大的项目参与和后续扩展,不能拿项目覆盖人数替代使用研究队列。项目更新页把 pilot 和扩展计划分开说明。

严谨的写法是:在这个经过选择的试点队列、这个观察窗口内,被分类的消息显示了什么。只有当总体、抽样和测量设计都支持时,才可以写成全体科学家的行为。

一份可复核的发现声明账本

字段 要回答的问题 最低证据状态
population_window 观察谁、观察何时、资格和排除规则是什么 bounded
usage_unit 一行代表消息、turn、session、任务还是完整研究 observed
workflow_task AI 被用于哪个工作流和任务,怎样分类 classified
human_ai_role 谁提出、细化、执行、检查或修改 observed
self_report 问题原文、回答数和编码方式是什么 reported
artifact_ref 哪个有版本的工件承载这个结论 attached
reproduction_recipe 他人能否用冻结输入重放 replayable
validation_result 参考、留出集、模拟、实验或专家检查是否通过 pass/fail/unknown
independent_reviewer 谁从独立上下文检查过 reviewed
discovery_claim 这是线索、可复现结果、新颖结果还是确认发现 candidate 到 confirmed
causal_status 观察、自报、准实验、随机实验还是未知 必须显式写出
limitations 选择偏差、测量误差、版本变化和外推边界是什么 必填

这个 schema 能阻止分母漂移。项目更新页提到的 20,000 名研究者是项目触达事实;1,819 个账户和 580,186 条消息是使用研究事实;约 250 份回答是一个调查问题的样本。三者都不是科学发现效果的分母。项目更新页和完整报告必须分开读。

五道决策门

Gate 0:先冻结对象

先写清 cohort、资格、窗口、时区、记录单位、分类器版本和排除规则。字段不全时,状态只能是 unbounded observation。

Gate 1:只报告活动

这一层使用 observed、classified、sent、followed up、reported 等动词。暂时不使用 improved、accelerated discovery 或 caused。

Gate 2:隔离主观反馈

保存原问题、回答数、选项编码和同质量反事实。1.9 倍的自报比率可以决定下一轮实测,但不能取代时间日志、盲评质量或控制组。

Gate 3:挂接可重放工件

要求工件引用、输入和环境 hash、运行命令以及验收测试。AI 研究 Agent 的相邻文章已经说明,选中最佳观测配置弱于对未观测行为的重建。科研使用也应把活动记录推进到工件验证,而不是停在赢家叙事。

Gate 4:验证发现声明

补齐新颖性核查、科学指标、独立验证、可行时的复现、失败尝试和领域判断。可重放不自动等于重要,新颖也不自动等于因果。

Gate 5:只有比较设计足够时才讨论因果

因果状态至少需要明确干预、比较组或可信反事实、时间顺序、结果指标、混杂处理和预先写下的分析计划。对指定的 OpenAI 材料,诚实状态是 unknown:它们描述了试点队列的使用和期待,没有随机比较 AI 对科学发现结果的影响。

账本改变了什么

问题从 AI 用了多少,变成这条记录究竟支持哪一种主张。

消息数支持活动主张。任务 taxonomy 支持工作流主张。问卷支持感受主张。有版本的工件和独立检查支持可复核产出主张。经过验证、具备新颖性且与领域问题相关的结果,才支持发现主张。因果主张还需要单独的比较设计。

这样读 OpenAI 的研究,价值反而更清楚。试点给出了一张 AI 进入科研工作的地图,也给出了研究者对收益的判断。账本把下一问写明白:这些活动中,哪些真的留下了可以承受独立科学审查的工件?

测量边界本身,就是研究计划的一部分。把它写进账本。

参考资料


Comment