OpenAI 的 Performance Factory 容易被误读成一个自动分析慢请求的 Agent。它更重要的部分是外围工作流:性能告警创建任务,Agent 调查,另一个 Agent 质疑诊断,工程师审核并部署修复,部署完成后再由 Agent 检查性能是否回到基线。
OpenAI 称,Regression Workflow 在三个多月内跟踪了超过 1700 次调查,并为超过 600 个案例找到了根因。这些是 OpenAI 的内部早期结果,不是通用基准。可复用的设计在于任务状态机。性能问题只有在发现、证据、负责人、等待条件和部署后验证能够跨 Agent 上下文保存时,才真正具备可恢复性。
真正的工作单位是任务,不是一次 Agent 调用
一次 Agent 调用只是临时执行上下文。性能回归则是一个跨上下文事件:它可能在告警出现前就开始,需要人做判断,等待部署,还可能在第一次修复后只恢复一部分。
OpenAI 公开介绍了 Performance Factory 的四个部分:
- 任务服务保存可配置的工作流和当前状态。
- 调度循环在任务就绪时分配 Agent。
- Codex 在云端环境中运行,能够访问代码仓库和性能证据。
- 订阅机制在评审评论、CI 结果或部署状态变化时唤醒任务。
核心原则是:任务拥有流程,Agent 执行受边界约束的状态转换。新 Agent 读取任务、证据和未完成条件后,就能继续工作,而无需从聊天记录重建全部历史。
把回归建模成可恢复状态机
公开流程可以压缩成一组有明确含义的状态:
detected -> investigating -> root caused -> fix proposed -> review and deploy -> verify recovery -> resolved
每个状态都需要进入条件、离开时的产物和失败转换:
| 状态 | Agent 要做什么 | 必须留下的产物 | 安全失败转换 |
|---|---|---|---|
| 已发现 | 冻结告警、受影响指标、时间窗口和请求人群 | 告警快照、任务 ID | 标记重复或信号不足 |
| 调查中 | 找到指标首次变化的时间,以及变化发生在哪些请求 | 时间序列对比、受影响队列 | 返回缺少遥测 |
| 已找根因 | 把发布、开关、代码、追踪或资源变化与受影响队列连接 | 带反事实证据的诊断 | 重新打开调查 |
| 已提修复 | 实现针对诊断的最小改动 | 补丁、测试、预期指标变化 | 请求工程师做设计判断 |
| 审核与部署 | 人工检查正确性和取舍后部署 | 审核身份、部署 ID、回滚指针 | 等待审核或拒绝补丁 |
| 验证恢复 | 用同一指标和请求队列对比原始基线 | 部署后对比结果 | 重新调查或建立残余回归任务 |
这张表阻止一种常见错误:把看起来合理的解释当成已经解决。诊断是交接产物,不是结案状态。
诊断需要独立的反方
OpenAI 说,早期 Agent 有时会停在第一个看似合理的解释上。后来加入了由独立 Codex 会话执行的对抗性审核。审核者尝试推翻诊断,并检查反事实:如果某次发布导致变慢,未暴露于该发布的相似请求是否保持正常?如果回滚是有效原因,受影响指标是否按预期恢复?
这里应当明确分工:
- 调查者寻找解释。
- 审核者寻找解释不完整的证据。
- 工程师判断剩余不确定性是否足以支持变更。
审核者读取证据和待验证主张,但不继承作者的确定语气。它需要能够重新打开状态,并准确记录仍然未知的部分。目的不是让 Agent 泛化地更怀疑,而是在错误诊断变成错误修复前,低成本地把任务退回调查阶段。
找到根因往往比修好问题容易
公开案例明确说,提出修复比寻找根因更难。一个改动可能缓解观测到的症状,同时制造新问题。缓存可以降低延迟,也会带来数据新鲜度风险。并发调整可能改善性能画像,却增加尾部失败。架构级修复可能正确,但必须由熟悉服务的工程师做取舍。
所以修复阶段需要独立证据合同:
- 补丁明确对应哪条诊断。
- 测试或合成性能实验定义预期方向和护栏。
- 方案列出新风险,尤其是陈旧数据、资源压力和行为变化。
- 审核者根据原始证据检查补丁,而不是只看测试变绿。
- 工程师拥有合并和部署授权。
这让 Agent 成为可审核变更的生产者。它没有因为能生成补丁,就自动获得生产写权限。
等待应该是正式状态
很多 Agent 系统在等待人工、CI 或部署时继续占用上下文。Performance Factory 的订阅机制提供了更清晰的边界:任务保存使它重新就绪的事件,释放当前 Agent,上游条件满足后再分配新的 Agent。
一个可执行的等待条件至少要写清事件、范围和下一步检查:
wait_for: deployment_id=deploy-1234 and status=complete
resume_with: 对原始请求队列重新比较 p95 延迟
expiry: 24h
fallback: 遥测不可用时重新打开调查
部署完成只是让验证成为可能,并不等于修复有效。工作流仍然要使用正确基线,检查流量构成变化,并判断原始回归是否恢复。
部分恢复也必须显式保留
二元的 resolved 状态会掩盖关键结果。部署后至少有三种情况:
- 指标回到原始基线,任务可以结案。
- 指标有所改善但仍低于基线,残余问题应作为新任务保留。
- 指标没有改善,记录失败的缓解措施并退回调查。
这条规则适用于所有 Agent 运营系统。失败假设、部分修复和新发现的第二个原因,应该在状态上保持可区分。否则下一个 Agent 看到的是干净状态,用户面对的却仍是原问题。
可以复用什么,边界应留在哪里
Performance Factory 给出了一套可迁移的工作合同:
- 把任务状态持久化在 Agent 上下文之外。
- 为每次状态转换绑定具体产物和负责人。
- 对高影响诊断和修复使用独立质疑。
- 等待外部事件时释放上下文。
- 部署后用相同指标和请求队列验证恢复。
- 保留残余回归和失败缓解的可见性。
公开案例没有证明所有服务都能安全交给 Agent 修复,也没有证明调查速度可以迁移到其他组织,更没有主张高风险修复可以无人工合并。OpenAI 仍然把审核和部署放在工程师手中,并把更广泛的自动发布描述为探索方向。
合理的采用方式是从一个遥测稳定的重复性回归类别开始。冻结状态转换,为每个交接保留证据,观察诊断质量、审核重开比例和恢复记录。只有当任务历史说明了 Agent 擅长什么、审核会在哪些地方推翻它、工程师仍需做哪些决定时,才扩大范围。