医疗 Computer-Use Agent 最容易让评估失焦的地方,是把一次跑通的演示当成上线凭证。真正需要论证的对象不是模型,也不是门户,而是一个具体动作:它要在什么系统里,针对哪个患者或业务对象,读取或发送哪些数据,改变什么状态,由谁承担责任,出了问题如何停下或恢复。
这篇文章先把公开证据分账,再给出一套可以交给医疗信息化、临床运营、安全和合规团队共同核对的动作账本。OpenAI 的厂商页面、Stanford 的 HealthAdminBench、论文中的合成环境和 FDA 的 CDS 指导各自回答不同问题。把它们相加,可以得到更完整的验收框架;把它们混成一个准确率,则会制造虚假的确定性。
先做四本账
第一本:厂商材料账
OpenAI 的医疗 Computer-Use 页面展示了一个 MRI 事前授权流程。患者消息、就诊记录、物理治疗记录和既往影像用于生成订单草稿、就诊记录草稿、给患者的回复草稿和保险门户中的授权申请材料。页面明确说明演示使用的是合成患者数据。OpenAI 的原文还报告,325 个经过审查的 EHR 任务中,99% 被评为安全;646 次有用性评估中,93% 被评为非常有用或极其有用。
这组数字可以支持一个有限判断:OpenAI 公开了自己的任务设计和评估结果。它不能单独支持另一个更强的判断:某个医疗机构的真实患者流程已经获得临床安全证明。公开页面没有给出完整任务分布、独立复核协议、患者结局关联或跨机构复现,因此应把它作为厂商报告的材料保存。
同一页面还列出 GPT-6 Astra 和 GPT-6 Luna 在 HealthAdminBench 上的可用 rubric points。这个数字与论文的 full-task success、subtask success 不是同一口径,文章后面会单独处理。OpenAI 页面对 CVS Health、Ambience 等合作方的描述则提供了工程控制线索:校验、人类监督、截图、动作记录、暂停、审批和逐步日志。它们是厂商页面中的合作方案例,不自动成为所有机构的通用标准。
第二本:合成 benchmark 账
HealthAdminBench 网站列出 135 个任务、1,698 个子任务和四个 GUI 环境,覆盖事前授权、申诉与拒付管理、耐用医疗设备订单三个行政流程。Stanford 的 benchmark 页面把它定义为通过浏览器观察和动作完成的多维评测。
论文进一步说明,四个环境是模拟环境,患者数据是合成数据。环境努力复现任务逻辑、表单约束和失败模式,但仍然抽象掉 MFA、CAPTCHA、会话过期等部署条件,也不能覆盖真实医院的界面漂移、付款方政策演变和人工恢复行为。论文的环境与限制说明因此是 benchmark 的边界条件,而不是脚注。
这本账的用途是发现流程型失败。论文报告,一个被评估配置的整任务成功率为 36.3%,另一个配置的子任务成功率为 82.8%。两个数字的对象不同,不能用来算一个总准确率,也不能据此声称模型排名。它们共同说明一件更实用的事:单步会填表,不等于能可靠完成跨 EHR、保险门户和传真系统的完整事务。
第三本:临床安全评估账
临床安全评估要记录任务集、审查者、评分规则、风险定义、分母和后续观察。OpenAI 页面中的 99% 是其审查任务的安全评级,属于一组有明确范围的厂商评估。它能进入安全论证,但不能替代真实机构的上线前验证、临床负责人签署、事件监测和后续复盘。
因此,本文把临床安全证据放在动作许可之前,而不是放在动作许可之后。一个模型在静态任务上表现良好,仍需回答:患者身份是否一致,病历是否最新,附件是否完整,保险门户是否接受了正确版本,提交后状态是否真实改变,是否产生了未经批准的通知或订单。
第四本:监管适用性账
FDA 2026 年 1 月的 Clinical Decision Support Software 指导讨论某些 Non-Device CDS 软件功能的四项标准。它们涉及输入是否为特定医疗图像或信号、软件是否展示或分析医疗信息、是否向医疗专业人员提供预防诊断治疗相关支持或建议,以及医疗专业人员能否独立审查建议依据,从而不以主要依赖该建议作出个体患者的临床决定。FDA 指导页面同时说明,该指导代表 FDA 当前思路,属于非约束性文件,满足某种功能边界也不等于机构获得上线许可。
这本账回答的是美国 FDA 设备定义和监管思路的一个功能级问题。它不自动回答 HIPAA 合同、州法、付款方合同、医院隐私政策、临床治理、网络安全、供应商准入或本地审批。具体机构必须针对实际 intended use、输入类型、用户角色和动作后果重新判断。本文不替机构作法律结论。
为什么这些数字不能拼成排行榜
至少有五个数字需要分列记录:OpenAI 报告的 325 个 EHR 任务安全评级,646 次有用性评估,OpenAI 页面上的两个 HealthAdminBench rubric-point 数字,论文中的整任务成功率,以及论文中的子任务成功率。它们的模型、环境、分母、评分者和统计对象都可能不同。
可靠做法是先写清楚数字测量什么,再决定能否比较。这里可以做的判断是:公开证据同时显示了能力进展和端到端不稳定性。这里不能做的判断包括:某模型在所有医疗 Agent 中排名第一,某个分数已经证明临床安全,某个 benchmark 分数已经证明某医院可以上线,或者文章发布后增长已被验证。该主题目前也没有本页面的 GA4/GSC 基线,搜索需求与自然增长保持 unknown。
把权限切到动作上
医疗系统的门户级开关太粗。一个 EHR 可以被用来读取病历、生成未发送草稿、更新内部字段、提交保险申请、发送患者消息和下达影响护理的订单。它们的风险不同。
我建议先给动作建立六个维度:
| 维度 | 较低风险端 | 较高风险端 |
|---|---|---|
| 数据 | 任务所需的最小字段 | 大范围病历、敏感字段或对外传输 |
| 对象 | 稳定患者、就诊或案件 ID | 同名对象、变更后的就诊或未确认目的地 |
| 影响 | 只读或未发送草稿 | 修改记录、提交、通知、订单、付款或权限变化 |
| 可逆性 | 可回滚或不持久化 | 难以撤回、延迟生效或恢复成本高 |
| 临床距离 | 行政整理和资料准备 | 需要临床判断、治疗、用药、分诊或时效性处置 |
| 验证 | 有权威回读 | 只有绿色提示、模型自述或未知终态 |
风险路由至少保留以下六类:
- 自主读取或准备:在白名单系统内读取最小必要数据,或生成未发送草稿。日志要记录来源、时间、身份和数据敏感级别。
- 有界可逆写入:低影响内部字段更新,必须有固定目标、参数、回滚和写后回读,并且在策略中预授权。
- 副作用前临门审批:提交授权、对外传输、发送患者消息、形成覆盖承诺或影响下游系统的动作,审批人要在真正执行前看到精确对象、数据、后果和证据。
- 人工接管:涉及临床判断、患者错配、病历矛盾、身份挑战或安全例外时,交给有权限的人完成必要步骤。
- 拒绝:执行器无法安全约束的动作,例如绕过安全屏障、替人输入私密凭据、执行没有责任人的临床承诺,直接拒绝。
- unknown:页面漂移、批准过期、目标变化、重复提交风险或终态不可读时,结果是未知。未知不是自动继续的理由。
其中最重要的是最后三类。完整分类必须允许证据不足和拒绝,否则系统会把最危险的输入强行包装成已批准。
审批单必须绑定状态
批准一个 Agent 会话的继续运行,控制力很弱。批准应该绑定一张冻结的动作单,至少包含:
- 患者或案件引用、租户、系统和登录角色;
- 稳定目标 ID、动作名称和规范化参数摘要;
- 将读取或传输的字段,以及外部接收方;
- 风险路由、策略版本、批准人、有效期和批准 ID;
- 批准前的页面或业务状态快照;
- 预期终态、禁止出现的附带变化、幂等键和回滚或对账方式。
执行器在最后一步前重新读取患者身份、就诊、付款方、目标对象、待传字段和当前页面状态。任何一项与批准快照不一致,旧审批失效,系统重新分类。页面里的请尽快处理或点击确认是输入,不是授权主体。截图可以证明当时看到了什么,业务终态仍要由源系统状态或可验证回执证明。
人工接管要有交接单
出现以下情况时,Agent 不应只说需要人工处理,而应停止并交出结构化上下文:
- 患者、就诊、会员或目的地无法唯一确认;
- 病历存在冲突、关键资料缺失或需要临床判断;
- 页面要求输入密码、验证码、MFA、敏感新字段或安全例外;
- 政策、页面、表单或目标在审批后发生变化;
- Agent 无法展示即将发送的完整字段;
- 系统无法确认前一次提交是否成功;
- 预期终态没有独立回读。
交接单应告诉人:要做什么、作用于谁、依据哪些记录、记录日期是什么、会发送哪些数据、为什么升级、可能产生什么副作用、如何回滚或对账,以及人只需要执行哪一个边界步骤。Agent 负责保存上下文和证据,人负责临床判断、机构授权和最终责任。
把日志验收成一条账本
动作日志至少要能回答五个问题:
| 环节 | 账本最小字段 | 验收问题 |
|---|---|---|
| 意图 | 原始请求、案件引用、任务范围 | 这是不是用户真正要办的流程? |
| 提议 | 动作、对象、字段、风险路由 | Agent 准备具体做什么? |
| 授权 | 批准人、范围、有效期、策略版本 | 批准的是不是这一个动作? |
| 执行 | 执行身份、结果、截图或门户回执 | 执行器是否尝试了被冻结的动作? |
| 终态 | 权威回读、禁止副作用检查、异常状态 | 目标状态是否真的发生,而且没有多做? |
不要把完整患者数据复制到通用日志。一般日志可以保存受保护证据库的引用和最小案件标识,详细内容按机构的访问、保留和脱敏策略存放。具体保留期限和审计权限必须由机构与适用义务共同确定。
验收规则只有一条:终态无法证明,就记为 unknown。重试前先对账,确认第一次是否已经成功。没有幂等键、没有权威回读、又可能产生外部副作用的动作,应自动提升风险等级或继续由人完成。
上线前的最小闭环
从真实工作流中冻结一组任务,先用草稿或 shadow mode 运行。测试集至少要覆盖错误患者、旧覆盖状态、缺失附件、重复提交、相互冲突的页面指令、页面改版、意外上传、提交状态不可读和明确应该拒绝的任务。
上线前逐项确认:
- 有明确的临床或运营负责人,以及能承担责任的机构角色。
- 患者、案件、系统和角色可以稳定绑定,数据范围遵守最小必要原则。
- 风险路由存在自主、审批、接管、拒绝和 unknown 出口。
- 审批在执行器里强制生效,而不是只写在提示词里。
- 批准后、提交前再次核对状态。
- 写后有权威终态、禁止副作用和异常处理。
- 重试有幂等键或先对账机制。
- 账本可以还原意图、授权、动作、错误和终态。
- 隐私、安全、临床、监管、合同和机构流程分别完成审查。
- 事故和回滚路径不依赖 Agent 自己说已经完成。
这套方法给出的是工程安全论证,不是抽象的临床安全保证。当前公开证据足以支持一个克制的结论:医疗 Computer Use 值得在狭窄、可验证的流程里评估,但真正的执行权属于具体动作、具体对象、具体状态和具体责任机构。
参考资料
- OpenAI:Advancing computer-use agents for healthcare teams
- Stanford HealthAdminBench
- HealthAdminBench 论文
- FDA:Clinical Decision Support Software
- 站内相关文章:ChatGPT Health 的医疗数据信任边界
- 站内相关文章:AI Agent 评测缺口
最后要问的不是 Agent 能不能进入医疗门户,而是这一次、这个对象、这组证据和这条恢复路径,是否允许这个动作现在发生。