Administrator
Published on 2026-11-20 / 10 Visits
0
0

OpenAI Performance Factory:把 Agent 性能回归变成可恢复的工作流

OpenAI 的 Performance Factory 容易被误读成一个自动分析慢请求的 Agent。它更重要的部分是外围工作流:性能告警创建任务,Agent 调查,另一个 Agent 质疑诊断,工程师审核并部署修复,部署完成后再由 Agent 检查性能是否回到基线。

OpenAI 称,Regression Workflow 在三个多月内跟踪了超过 1700 次调查,并为超过 600 个案例找到了根因。这些是 OpenAI 的内部早期结果,不是通用基准。可复用的设计在于任务状态机。性能问题只有在发现、证据、负责人、等待条件和部署后验证能够跨 Agent 上下文保存时,才真正具备可恢复性。

真正的工作单位是任务,不是一次 Agent 调用

一次 Agent 调用只是临时执行上下文。性能回归则是一个跨上下文事件:它可能在告警出现前就开始,需要人做判断,等待部署,还可能在第一次修复后只恢复一部分。

OpenAI 公开介绍了 Performance Factory 的四个部分:

  1. 任务服务保存可配置的工作流和当前状态。
  2. 调度循环在任务就绪时分配 Agent。
  3. Codex 在云端环境中运行,能够访问代码仓库和性能证据。
  4. 订阅机制在评审评论、CI 结果或部署状态变化时唤醒任务。

核心原则是:任务拥有流程,Agent 执行受边界约束的状态转换。新 Agent 读取任务、证据和未完成条件后,就能继续工作,而无需从聊天记录重建全部历史。

把回归建模成可恢复状态机

公开流程可以压缩成一组有明确含义的状态:

detected -> investigating -> root caused -> fix proposed -> review and deploy -> verify recovery -> resolved

每个状态都需要进入条件、离开时的产物和失败转换:

状态 Agent 要做什么 必须留下的产物 安全失败转换
已发现 冻结告警、受影响指标、时间窗口和请求人群 告警快照、任务 ID 标记重复或信号不足
调查中 找到指标首次变化的时间,以及变化发生在哪些请求 时间序列对比、受影响队列 返回缺少遥测
已找根因 把发布、开关、代码、追踪或资源变化与受影响队列连接 带反事实证据的诊断 重新打开调查
已提修复 实现针对诊断的最小改动 补丁、测试、预期指标变化 请求工程师做设计判断
审核与部署 人工检查正确性和取舍后部署 审核身份、部署 ID、回滚指针 等待审核或拒绝补丁
验证恢复 用同一指标和请求队列对比原始基线 部署后对比结果 重新调查或建立残余回归任务

这张表阻止一种常见错误:把看起来合理的解释当成已经解决。诊断是交接产物,不是结案状态。

诊断需要独立的反方

OpenAI 说,早期 Agent 有时会停在第一个看似合理的解释上。后来加入了由独立 Codex 会话执行的对抗性审核。审核者尝试推翻诊断,并检查反事实:如果某次发布导致变慢,未暴露于该发布的相似请求是否保持正常?如果回滚是有效原因,受影响指标是否按预期恢复?

这里应当明确分工:

  • 调查者寻找解释。
  • 审核者寻找解释不完整的证据。
  • 工程师判断剩余不确定性是否足以支持变更。

审核者读取证据和待验证主张,但不继承作者的确定语气。它需要能够重新打开状态,并准确记录仍然未知的部分。目的不是让 Agent 泛化地更怀疑,而是在错误诊断变成错误修复前,低成本地把任务退回调查阶段。

找到根因往往比修好问题容易

公开案例明确说,提出修复比寻找根因更难。一个改动可能缓解观测到的症状,同时制造新问题。缓存可以降低延迟,也会带来数据新鲜度风险。并发调整可能改善性能画像,却增加尾部失败。架构级修复可能正确,但必须由熟悉服务的工程师做取舍。

所以修复阶段需要独立证据合同:

  1. 补丁明确对应哪条诊断。
  2. 测试或合成性能实验定义预期方向和护栏。
  3. 方案列出新风险,尤其是陈旧数据、资源压力和行为变化。
  4. 审核者根据原始证据检查补丁,而不是只看测试变绿。
  5. 工程师拥有合并和部署授权。

这让 Agent 成为可审核变更的生产者。它没有因为能生成补丁,就自动获得生产写权限。

等待应该是正式状态

很多 Agent 系统在等待人工、CI 或部署时继续占用上下文。Performance Factory 的订阅机制提供了更清晰的边界:任务保存使它重新就绪的事件,释放当前 Agent,上游条件满足后再分配新的 Agent。

一个可执行的等待条件至少要写清事件、范围和下一步检查:

wait_for: deployment_id=deploy-1234 and status=complete
resume_with: 对原始请求队列重新比较 p95 延迟
expiry: 24h
fallback: 遥测不可用时重新打开调查

部署完成只是让验证成为可能,并不等于修复有效。工作流仍然要使用正确基线,检查流量构成变化,并判断原始回归是否恢复。

部分恢复也必须显式保留

二元的 resolved 状态会掩盖关键结果。部署后至少有三种情况:

  • 指标回到原始基线,任务可以结案。
  • 指标有所改善但仍低于基线,残余问题应作为新任务保留。
  • 指标没有改善,记录失败的缓解措施并退回调查。

这条规则适用于所有 Agent 运营系统。失败假设、部分修复和新发现的第二个原因,应该在状态上保持可区分。否则下一个 Agent 看到的是干净状态,用户面对的却仍是原问题。

可以复用什么,边界应留在哪里

Performance Factory 给出了一套可迁移的工作合同:

  • 把任务状态持久化在 Agent 上下文之外。
  • 为每次状态转换绑定具体产物和负责人。
  • 对高影响诊断和修复使用独立质疑。
  • 等待外部事件时释放上下文。
  • 部署后用相同指标和请求队列验证恢复。
  • 保留残余回归和失败缓解的可见性。

公开案例没有证明所有服务都能安全交给 Agent 修复,也没有证明调查速度可以迁移到其他组织,更没有主张高风险修复可以无人工合并。OpenAI 仍然把审核和部署放在工程师手中,并把更广泛的自动发布描述为探索方向。

合理的采用方式是从一个遥测稳定的重复性回归类别开始。冻结状态转换,为每个交接保留证据,观察诊断质量、审核重开比例和恢复记录。只有当任务历史说明了 Agent 擅长什么、审核会在哪些地方推翻它、工程师仍需做哪些决定时,才扩大范围。

参考资料


Comment