Administrator
Published on 2026-11-21 / 4 Visits
0
0

AppSci-Bench:构建 AI Agent 比运行一个更难

多数 Agent 基准测试问的是:一个已经构建好的 Agent 能否完成任务。AppSci-Bench 把问题向前推进了一层:模型能否为真实业务构建出合适的 Agent,再检查自己的改进是否能在新数据和新场景上成立?

两者是不同能力。运行 Agent 是执行问题。构建 Agent 还需要需求澄清、基础设施探索、实现、评测设计、迭代,以及判断这个产物是否足够安全可靠,可以交给业务方。

AppSci-Bench 测量什么

基准把构建者放进一个模拟业务环境。构建者需要访谈用户,探索可用基础设施,实现一个产物 Agent,完成部署,创建内部基准测试,再用它改进产物。最后,独立留出的样本和场景会对产物 Agent 进行评测,这些样本不会直接用于编写内部评测。

七个任务覆盖幻灯片生成、合规审查、客户通话洞察、订单到回款、航空改签、CRM 分析和银行客户支持。论文称前五个领域是新引入的,航空和银行任务改编自 τ-bench 系列。每个任务有自己的成功指标,避免把不同业务问题压成一个通用答案分数。

论文在统一的 AppSci-Agent 框架下评估五个闭源模型和两个开放模型,同时比较部分模型与原生编码 Harness 的组合。核心结果有明确边界:Claude Opus 5 搭配 Claude Code,在三次独立构建的 mean-minimum score 上达到 59.1%。这是该论文任务组合、Harness 和评测协议下的结果,不能当作生产就绪分数,也不能当作普遍模型排行榜。

为什么 mean-minimum score 有价值

AppSci-Bench 使用 MMS@3。对每个留出样本,先取三个独立构建产物中的最低得分,再对任务样本求平均。这样,一个不可用的构建就能暴露可靠性问题,而不会被其他成功构建的平均分掩盖。

它把读者的问题从:

模型能否做出一个看起来很好的 Agent?

改成:

模型能否重复构建出穿过同一外部任务边界的 Agent?

对于工程交付,这是更接近真实风险的问法。失败的构建本身就是交付失败。一个典型表现很高的模型,仍可能有脆弱的构建路径。

最终分数之前的四道门

论文的过程指标和最终分数同样重要。

1. 需求澄清

构建者需要从模拟业务用户那里问出初始提示中没有写出的规则。论文报告 Claude Opus 5 只提取了 65% 的需求评分项,人类基线为 83%。

这首先是规格问题。如果构建者漏掉升级规则、例外处理或审核者需要的证据,产物即使能运行,也可能解决了错误的问题。生产评审应保留需求澄清记录或结构化需求单,不能只保存最终提示词。

2. 基础设施与产物构建

构建者要使用客户环境,交付一个可以部署的产物。七个任务跨越结构化数据、文档、通话、幻灯片和多轮支持交互。这种跨度可以检验构建者是否真的理解环境,而不是只在熟悉的编码沙箱里完成任务。

论文还报告,模型与原生 Harness 的组合可能优于统一的 AppSci Harness。由此得到一个实际要求:Harness 必须作为被测系统的一部分记录。缺少工具接口、上下文交接和边界条件的模型分数,证据是不完整的。

3. 内部评测的代表性

构建者要自己创建评测,并据此改进产物。这里最容易出现自我确认。论文报告,在全部构建中,132 次内部评测有 86 次达到接近满分;相应的留出集表现往往明显更低。

这暴露了一个具体失败模式:内部得分上升,外部得分却保持不变。内部基准只有在代表业务边界时才有用。验收包应包含样本构造、评分代码、失败模式覆盖,以及内部案例与留出案例之间的映射。

4. 安全与答案有效性

一个自信但编造答案的产物,不能算成功的业务 Agent。AppSci-Bench 因此把安全相关指标和任务质量放在一起。合规、客服和财务流程尤其需要答案能够回到可用证据与政策,而不是只看语言是否流畅。

给团队的实际转译

团队可以把论文结构转成自己的验收清单:

边界 应保留的证据 应阻断交付的失败
需求 澄清量表、访谈记录、已解决歧义 业务规则缺失或例外无人负责
环境 服务图、数据契约、权限假设 产物只在猜测的环境中运行
产物 版本化代码、部署结果、接口契约 构建不可复现或不可用
内部评测 样本、评分函数、失败覆盖 内部得分饱和,却没有外部验证
留出行为 冻结测试集、逐例结果、重复构建 一次成功掩盖不稳定的构建路径
安全 溯源检查、拒答与升级案例 面向客户的答案无依据或含编造

这不是要求所有团队原样复现 AppSci-Bench。它提供的是一种让 Agent 构建隐性工作显形的方法。每一道门可以由不同审核者负责,最终结论也能区分证据不完整和产物真正失败。

这个基准没有证明什么

AppSci-Bench 没有测量 Agent 部署后的长期经济效果或组织结果,也没有证明某个模型适合所有业务。任务组合有意保持有限,部分评测使用模型评审。结果还会受到 Harness、提示、环境和留出数据的影响。

它仍然有价值,因为它把结论收窄了。能运行一个 Agent 的模型,不一定能发现需求、构建可靠产物,也不一定能为自己的工作设计有效测试。这些能力应当分开报告。

结论

AppSci-Bench 把 Agent 评测向上游推进了一层。问题不再只是 Agent 能否回答任务,还包括构建者能否把含糊的业务需求变成一个经过测试的产物,并在外部任务边界上保持表现。

对工程和研究负责人,实用规则是:把需求澄清、环境假设、内部评测、留出可靠性和安全证据与最终分数放在一起。只有证据链一起通过,构建者才算通过。

参考资料


Comment