Mercor 估计，美国劳动者 90% 的工作时间所对应的任务，在其首批 29 项经济相关 AI 基准中只有很少覆盖或完全没有覆盖。这个数字暴露了岗位替代预测里经常缺失的分母：基准分数衡量的是一组被选中的任务；岗位则是一组带有时间权重、物理约束、协作关系和组织语境的任务组合。把排行榜翻译成就业结论之前，至少要先建立任务覆盖地图，并把覆盖率、模型能力与现实部署证据分开。
90% 到底是什么意思
Mercor 的 Benchmark Map 组合了三层数据：
- 美国劳工部 O*NET 30.0 职业体系。本次分析包含 923 个职业和 18797 条任务描述。
- 29 项初始基准。筛选标准包括可公开检查、要求 Agent 实际完成任务、具备经济现实性、覆盖不同职业，以及尚未被前沿模型刷满。
- 每项 O*NET 任务占工作时间的估计值。
当一项 O*NET 任务至少映射到 5 条基准 Prompt 时，Mercor 才把它记为已覆盖。按这个门槛，18797 项任务中有 924 项达到覆盖要求，923 个职业中有 208 个至少包含一项达到要求的任务。再叠加工时权重，团队得出约 90% 的美国工作时间缺少充分基准覆盖。
这个结果重要，但边界比标题更窄。它基于一份经过筛选的 29 项基准清单。Mercor 明确把结论称为暂定结果，并指出不完整清单会把覆盖率向下拉。团队还限制了每个职业族进入清单的基准数量，以扩大职业广度，这也会降低软件工程等热门领域显示出的覆盖深度。
因此，准确表述是：这份以经济任务为目标的初始基准索引，对大部分估计工时缺少充分测量。它没有证明全世界所有 AI benchmark 都恰好漏掉 90%，也没有证明模型做不了那些未覆盖任务。
覆盖、能力与岗位暴露是三张表
劳动力市场讨论常把三个问题压缩成一个分数。
| 层级 | 要回答的问题 | 最小证据 |
|---|---|---|
| 任务覆盖 | 这类工作有没有进入评测 | 基准条目到工作任务体系的映射 |
| 模型能力 | 冻结配置的系统在已覆盖任务上表现如何 | 有效评分器、重复试验、环境与模型版本 |
| 岗位暴露 | 这个职业在现实中会受到多大影响 | 工时权重、任务互补、人工监督、物理与制度约束 |
高分补不了缺失覆盖。未覆盖任务没有分数，而不是零分。反过来，低覆盖也不能证明能力低，它证明的是不确定。
从任务能力走到岗位影响还要再跨一层。某项任务可能技术上可自动化，却很少发生、价值有限、受到法律限制、依赖隐性上下文，或者无法脱离物理执行。模型也可能增强劳动者，而不是把整项任务自动化。Mercor 在限制部分直接承认：现实采用仍以人类使用 AI 为主，当前基准更偏向测量自动化。
站内此前的AI 先重分配任务讨论了真实消息中的任务边界。使用数据说明人们今天愿意委托什么；覆盖地图说明评测今天能看见什么。两者单独都不足以预测就业。
映射本身也有误差
方法页公开了关键流水线。GPT-5.6 Luna 同时读取基准 Prompt 与完整 O*NET 目录，列出所有合理任务路径，再选一个首选映射。领域专家随后复核三个 Mercor APEX 基准中的 1022 条 Prompt，实际完成 1013 条 Prompt 的复核。
在 1763 次专家判断中，专家直接接受首选映射的比例为 76.7%。如果允许专家答案命中模型列出的其他候选任务，一致率升至 85.4%。Benchmark Map 会计入模型列出的全部候选任务，但专家主要复核首选项。APEX-SWE 在这轮专家复核之后才完成映射，没有进入该验证集。
这些事实没有推翻覆盖地图，它们定义了不确定性来源：
- 29 项基准是选择样本，还不是穷尽样本；
- 覆盖结果依赖 LLM 的语义映射；
- 专家复核只覆盖部分基准，重点检查首选项；
- 至少 5 条 Prompt 是政策门槛，不是自然常数；
- 任务工时占比本身也来自模型估算；
- 可在电脑上完成的知识工作，比物理任务和机构专属流程更容易基准化。
相关论文 How Well Does Agent Development Reflect Real-World Work? 使用 43 项基准、72342 个任务与 1016 个职业，也发现 Agent 评测高度偏向编程工作。它为测量盲区这一方向提供了独立支持，但使用的基准集合与职业体系版本不同，因此属于方向交叉验证，而不是对 Mercor 90% 数字的复现。
分母缺失时，岗位预测怎样失真
假设一个模型在金融基准上得分 80%。缺少覆盖地图时，下面四句话很容易被写成同一个结论：
- 模型完成了 80% 的基准条目；
- 模型能完成这些条目所代表的 80% O*NET 任务；
- 模型能承担金融分析师 80% 的工作时间；
- 模型能替代 80% 的岗位。
只有第一句话直接来自分数。第二句需要有效的任务映射与权重。第三句需要真实工时和任务保真度。第四句还要纳入工作流集成、权限、责任、异常处理、需求变化和组织重构。
Mercor 尝试用 ONET 权重修正四个职业的 APEX 分数：先在每个 ONET 任务内部平均 Prompt 得分，再把任务等权聚合。加权与不加权结果相近，但四个职业中，具备足够 APEX Prompt、能够纳入计算的相关 O*NET 任务不到三分之一。
重新加权只能调整已有单元格，无法补齐空白单元格。窄样本内部的精确度，也不会自动带来样本外的代表性。
为企业建立自己的任务覆盖地图
企业无需复制整套美国经济地图，但需要建立本地分母。
1. 以任务盘点工作
从真实工作流出发，而不是从岗位名称出发。记录输入、输出、工具、权限、频率、工时、失败代价，以及是否需要物理执行或隐性协作。
2. 把评测条目映射到任务
每项公开基准或内部测试都要声明代表哪个任务、环境与现实流程有多接近。保留无法映射的条目和没有覆盖的任务。强行映射会隐藏最重要的信息。
3. 分开广度与深度
至少设置两档覆盖门槛。一条 Prompt 只能说明出现过这类任务；五条或更多才可能形成很弱的任务估计。高风险任务还需要更多变体、对抗样本和重复运行。
4. 用业务现实加权
把任务表现与工时、价值、错误成本、人工复核时间和异常频率组合。高频低风险任务与低频不可逆任务不能共用一个平均分。
5. 增加部署证据
离线能力要继续通过权限、实时数据、延迟、成本、政策、恢复和人工接管门禁。站内的AI Agent 评测框架进一步解释了为什么 Harness 本身也是被测系统的一部分。
6. 让未知保持可见
至少保留已测、部分测量、未知三种状态。不要把未知自动换算成零能力，也不要换算成已经安全。未知占比本身就是规划变量与研究 backlog。
一条更稳妥的决策规则
公开基准适合在明确的测试合同下比较系统。把窄任务分数直接当作劳动力市场模型，风险会迅速放大。
任何岗位影响结论都应保留下面这条链：
基准条目 -> 工作任务 -> 工时与价值 -> 系统表现 -> 可部署工作流 -> 岗位影响
链条在哪一段缺失，结论就停在上一段。Mercor 的地图之所以值得关注，正是因为它量化了这条链在起点附近断开的频率。合理回应是把覆盖率提升为与模型分数并列的一等指标。
常见问题
这项研究证明 AI 基准只覆盖了全部工作的 10% 吗？
它估计美国 90% 的工作时间在 Mercor 首批 29 项精选基准中缺少充分覆盖。作者明确称其为暂定估计，未来扩充基准清单后数字会变化。
未覆盖任务代表 AI 做不了吗？
不代表。它只说明现有基准集合没有提供足够证据。真实能力可能高、可能低，也可能仍然未知。
为什么要用 O*NET 任务，而不是岗位名称？
岗位由异质任务组成。任务级映射可以看清职业的哪些部分被测量，避免某项热门任务代表整个岗位。
加权能修复基准偏差吗？
加权可以降低已覆盖任务内部的过度代表问题。对于条目太少或完全没有条目的任务，它无法估算表现。
企业还要测哪些指标？
任务覆盖、环境保真度、重复可靠性、人工复核、权限、异常恢复、延迟、成本和真实业务结果都应分别记录。