LifeVal 的重要进步很具体:它不只看 Agent 最后说了什么,还检查生成的文件和后端状态差异。模型声称填完表、加入购物车或修改账户状态时,评分器有证据判断动作是否真的发生。
但一项动作发生了,与一项动作应该由 Agent 执行,是两个问题。找托儿、医疗照护、个人财务和政务服务都同时包含资料整理、方案选择、身份授权、外部提交与事后结果。一个总分可以描述任务完成度,无法替用户决定哪一步可以自动执行。
因此,LifeVal 更适合作为个人 Agent 验收栈的第一层。第二层应单独验证权限、后果与恢复能力。
本文核验截至 2026 年 11 月 4 日。LifeVal 的方法和结果来自 OpenAI,任务分布来源同时核对 ATUS 与 MTUS。官网与论文对调查人数存在不同口径,本文保留差异。
最值得复用的是动作证据
LifeVal 最终包含 169 项个性化 Agent 任务,用于评测 GPT-5.2、5.4、5.5、5.6 和 GPT-6 Astra,每次 rollout 最长 8 小时。任务作者提供用户请求、个性化上下文、rubric、可交互环境和初始状态;每项任务至少经过三轮人工质量检查。
主评分器会读取最终回复、生成产物和环境状态 diff,只给实际完成的动作计分。另一评分器检查模型是否直接调用环境内部 API 绕过正常操作,命中后样本记零分。
这套设计给产品团队一个清晰启发:Agent 的完成证据至少包括三件东西。
- 用户真正要求的结果;
- 系统中发生的状态变化;
- 支撑结果的文件、回执或其他产物。
只检查最终回复,Agent 可以把计划写得很完整,却没有执行。只检查状态 diff,又可能看见一项修改,却不知道它是否符合用户意图。LifeVal 把两者放进同一评分上下文,是它比普通问答基准更接近真实工作的原因。
三组数字分别回答什么
LifeVal 的任务分布来自美国时间利用调查 ATUS和多国时间利用研究 MTUS,再叠加一项美国英语愿付价格调查。它们分别回答日常活动有哪些、不同国家的人怎样使用时间,以及人们愿意为假想数字助手提供哪些帮助付费。
技术论文写明:3,837 人完成问卷,1,826 人通过全部五项理解和注意力检查并进入分析。受访者估计自己在 2025 年愿意为一个完美且永不犯错的数字助手支付多少。结果被转换为 148 类活动的采样权重,合计的美国年度愿付价格约为 1.7 万亿美元。
这个数字描述问卷中的任务价值权重。它代表的不是当前市场收入,也不是模型已经创造的价值。时间投入、愿付价格和 Agent 成功率属于三套口径,直接互相替换会产生错误结论。
LifeVal 官网写的是 3,995 名受访者,论文方法部分则是 3,837 人完成、1,826 人进入分析。涉及方法时应采用论文的完整筛选口径,同时保留官网差异,避免把来源矛盾藏进一个看似精确的数字。
上线审批卡需要三个独立结论
个人 Agent 的上线门禁可以压缩成三问。
| 问题 | LifeVal 已提供的证据 | 生产系统仍要补的证据 |
|---|---|---|
| 是否完成 | Rubric、产物、后端状态 diff | 外部系统回执与最终结果 |
| 是否有权 | 任务 prompt 和给定上下文 | 用户授予的动作边界、身份和最终确认 |
| 出错能否收回 | 受控环境可重置 | 取消、更正、冻结、申诉和责任升级路径 |
三项结论应分别保存。任务完成分提高,不自动扩大动作权限;外部提交成功,也不代表现实结果正确;用户允许 Agent 做资料准备,不等于允许它签约、付款或放弃其他选择。
权限还应随动作升级,而不是按整个主题一次性授权。以托儿申请为例:
- 搜集机构、比较距离和整理公开评价,属于信息准备;
- 根据家庭条件生成候选名单,属于个性化建议;
- 填写申请草稿,已经接触身份与家庭信息;
- 提交申请、支付费用或拒绝其他名额,会改变现实选项。
前两步可以高度自动化,第三步需要可检查预览,第四步需要明确确认和外部回执。医疗、金融和政务任务也可以沿同一条动作链拆分,控制强度随后果与可逆性上升。
评分结果里还藏着来源归因问题
OpenAI 的失败分析显示,各代模型中最稳定的失败类型是错误信息或错误建议。个性化分析又把部分 rubric 条件按任务作者标注的单一信息来源分桶:归因于历史对话的条件平均 win rate 为 33.33%,Memory 为 47.8%,additional task context 为 55.8%。
这组数字不能解释为已测得的历史对话检索命中率。研究者继续检查历史对话桶中得分 100% 的条件时,发现所需信息在被审查样本里也能从其他位置获得,或者仅凭对话标题推断。换句话说,高分也没有证明模型真正读出了对话正文。
生产评测因此需要保存证据血缘:一条个性化事实来自 Memory、历史对话、用户当前输入,还是外部检索;Agent 最终引用了哪条证据;这条证据在动作发生时是否仍然有效。缺少血缘时,团队只能看到答案正确,却无法判断系统在上下文变化后还能否复现。
给状态 diff 再接两张回执
LifeVal 的状态 diff 结束于评测环境。现实任务还需要两张回执。
第一张是动作回执,记录 Agent 在哪个系统、以什么身份、向谁提交了什么,价格、条款和关键字段是什么。它解决的是外部系统是否接受动作。
第二张是结果回执,记录真实目标是否实现。表单提交后可能仍然缺材料,付款成功后可能被撤销,预约完成后也可能挂错科室。外部系统返回成功码,只代表动作进入下一状态。
一个可审计流程可以按以下顺序运行:
- 冻结用户目标、约束和禁止动作;
- 生成可撤销的预览;
- 在状态变化前显示身份、接收方、价格和不可逆后果;
- 获得匹配该动作级别的确认;
- 保存动作回执;
- 在约定窗口检查结果回执;
- 结果偏离时启动取消、更正或人工升级。
这条链路延续了产品级 Agent 任务评测的原则:围绕真实用户任务定义成功。区别在于,个人 Agent 还要把行动权和事后恢复写进成功条件。
LifeVal 的公开证据边界
论文对自动评分做过一次人工校准:17 名训练员分别评审 30 项任务中的一次 GPT-5.5 rollout。人工均分为 83.61%,GPT-5.6 评分器为 84.20%,Pearson 相关系数为 0.864。这支持评分器在该样本上的一致性,覆盖范围仍限于一个模型、30 次 rollout 和既定 rubric。
论文也明确写出三项限制:愿付价格调查以美国和英语样本为中心;时间利用数据可能遗漏新任务;依赖浏览的任务会使用没有完全冻结的 Web Cache,因此同一任务跨运行可能变化。
截至本次核验,官网与论文没有提供可下载的完整 169 项评测包和完整逐次 rollout 表。公开材料足以检查方法设计,完整独立复现仍受限。合理的使用方式是借鉴任务结构和证据链,再用自己的用户、权限策略、线上系统与重复运行数据重新验收。
发布前的最小决策单
团队准备上线一项个人 Agent 能力时,可以逐项给出通过、阻断或未知:
- 任务集是否覆盖真实服务人群,而不只覆盖愿付价格较高的美国英语样本;
- 产物、状态 diff、动作回执和结果回执是否能互相对账;
- 个性化事实是否带来源与有效期;
- 每个状态变化是否处在用户授予的权限内;
- 高后果动作是否保留专业判断、明确确认和恢复路径;
- 重复运行、环境更新和评分器变化是否有版本记录。
通用 Agent Benchmark已经说明总分会隐藏工作流失败。LifeVal 把日常任务做得更长程、更个性化、更有状态。上线系统接下来要做的,是让完成、授权和真实结果成为三项同样可核验的结论。