监控图上显示 GPU 空闲，只说明某个时间窗口里某项资源没有被占满。它没有证明 CPU、内存、网络、区域和模型兼容性同时满足，也没有证明新增计算能产生业务收益。Meta 最新广告推荐系统给出的关键方法，是把机会容量当成随时会被收回的租约，用结构隔离保护基线服务，再用快慢两层控制回路调节可选工作。
证据核验时间：2026 年 10 月 13 日。Meta 表示系统带来了显著广告主价值，但原文没有公布具体提升、实验周期、机群规模和置信区间。本文使用其架构作为工程案例，不把业务结果视为可外部复现的数据。
闲置容量首先是一个瓶颈识别问题
Meta 工程文章描述了一种常见矛盾：整个推理机群资源紧张，局部仍然有算力空闲。
原因可能来自峰值预留、流量周期、硬件交付与模型上线错位、区域资源比例失衡，以及模型无法迁移到某类加速器。由此可见，可用容量不是一个 GPU 数量，而是一组同时成立的约束：
可用机会容量
= 加速器类型与显存
× CPU、网络与存储
× 区域可用性
× 被收回前的持续时间
× 工作负载可迁移性
其中一项不成立，新增工作就会把瓶颈推到其他环节。GPU 更忙了，端到端吞吐和业务价值仍可能原地不动。
两种弹性杠杆对应两类资源组合
Meta 使用 Rank More Ads 和 Serve Better Models 两个机制。
RMA 增加进入排序阶段的广告候选数量。候选越多，越可能找到相关性更高的广告，但它会同时增加检索、特征处理等 CPU 工作和加速器推理。因此，RMA 需要 CPU 与加速器一起有余量。
SBM 保持候选数量不变，动态增加使用更强模型的请求比例。它对上游 CPU 的影响较小，可以吸收只有加速器空闲的场景。路由器根据请求价值信号，把更强模型优先分配给预期增益更高的请求。
这说明统一利用率目标缺少业务语义。不同工作消耗不同的资源组合，也产生不同的边际价值。调度器应该选择下一单位算力最值得处理的任务，而不是单纯追求设备全忙。
此前两篇 Meta 案例可以构成完整背景：GEM 训练效率分开测量单卡效率与分布式损耗，多阶段广告排序把重计算移出延迟敏感路径。机会容量系统增加了第三层要求：可选工作必须随资源出现和消失，同时保持基线合同不变。
五道生产门禁
门禁一：工作负载必须真的可弹性收缩
合格任务需要满足三个条件：可以快速增减大量工作；算力增加后仍能产生边际质量收益；对上下游服务依赖有限。
推荐候选包括更深排序、更强模型路由、预计算、离线 Embedding 刷新和评测任务。带硬期限、无法检查点恢复、取消后会留下不一致状态的任务，通常不适合。
每类任务至少声明：最小有效配额、扩缩容时间、取消语义、可接受的废弃工作、资源向量、边际价值曲线、最大回收延迟。
门禁二：基线资源必须在结构上独立
Meta 对 SBM 使用物理隔离：基线模型与强模型使用不同路由目标。机会容量减少时，请求返回已经完成容量规划的基线模型。
RMA 使用逻辑隔离：系统根据机会实例设置全局增量候选预算。容量收缩时，先减少额外候选，不允许它们占用基线预留。
可以把这条规则写成验收标准：当机会容量为零时，基线流量仍然拥有完整的资源计划。可选任务拿到的是可撤销租约，不能把基线余量变成自己的固定配额。
门禁三：控制回路必须有快慢两层
RMA 用尾延迟驱动中央 PID 控制器，动态调整候选目标，再由客户端执行。SBM 使用中央覆盖率目标、客户端路由、探索与校准，持续适配不同区域和流量分段。
这类中央回路以分钟为尺度，容量却可能瞬间被收回。Meta 又增加服务端和客户端的毫秒级负载卸载。服务端在瓶颈处丢弃低价值可选工作，客户端观察到过载后立即减少候选或强模型路由。
通用结构是：
慢回路：优化分配与价值
快回路：保护延迟与可靠性
只用中央调度器很难同时完成两项任务。反应太慢会伤害生产，反应过快又容易震荡并浪费稳定容量。
门禁四：衡量边际价值，而非忙碌程度
如果额外计算增加了尾延迟、能源成本或无效预测，高利用率反而是负收益。每个弹性机制都需要因果实验。
推荐系统至少记录增量排序质量、带置信区间的在线业务结果、基线流量 P50/P95/P99 延迟、错误率、卸载率、CPU 与加速器成本、每加速器小时的净增量价值，以及容量回收期间损失的价值。
系统还要保留探索流量。否则，历史路由决定会压缩新观测，最后形成自我证明的分配策略。
门禁五：在真实压力下证明可以撤回
弹性系统的核心测试发生在收缩阶段。主动模拟区域、加速器类型、路由目标或 CPU 配套资源突然消失，观察可选工作多久归零、基线尾延迟变化多少、是否留下积压和脏状态。
Thunder 论文研究的是另一类场景：把分布式训练的空闲间隙用于推理。它使用更细粒度的实时监控和渐进式 Token 分配，因为常规利用率采样会错过安全窗口。Thunder 的性能数字不能套用到 Meta 广告系统，但两者共同验证了一条工程原则：机会资源需要实时反馈、渐进扩张和快速撤回。
上线前检查表
- 按区域和加速器类型建立资源向量清单。
- 为任务声明弹性、取消、依赖和边际价值。
- 强制把机会容量设为零，完成基线压测。
- 给基线与可选工作设置独立预算或路由目标。
- 同时建立慢速优化回路与快速本地保护回路。
- 用在线实验衡量净价值，不只看利用率。
- 演练部分和全部容量被收回。
- 延迟、可靠性或价值未过门禁时自动关闭。
最终问题应该从 GPU 有没有空闲，改成可选任务能否使用波动资源、产生可测量收益，并在资源消失时保持基线服务合同不变。
常见问题
什么是机会型 AI 推理容量
它是暂时可用、随时可能被原工作负载或资源所有者收回的计算资源。持续时间缺少保证，而且常常分散在不同区域、硬件类型和配套资源中。
AI 推理只依赖 GPU 吗
生产推理还依赖 CPU 预处理、内存、网络、存储、模型加载和上下游服务。某块加速器空闲时，其他环节仍可能是瓶颈。
GPU 利用率应该达到多少
不存在通用百分比。目标应该是业务价值和服务等级。利用率需要结合工作阶段、硬件类型、显存压力、批处理方式和尾延迟解释。
哪些任务最适合机会容量
范围可选、能够快速取消、外部依赖少、边际价值可测量的任务最合适，例如更深排序、强模型路由、预计算、离线推理和评测。