将机会性 AI 推理能力转化为更好的广告推荐

📌 One-Sentence Summary

Meta 开发了一套系统，利用空闲推理能力通过两个弹性杠杆：排序更多广告（RMA）和提供更优模型（SBM）来优化广告推荐。

📝 Summary

Meta 解决了“推理能力悖论”，即由于需求、地区和硬件之间的不匹配，导致集群在全球范围内受限，但在局部存在空闲的问题。通过将这些空闲碎片汇聚到一个共享的机池池，他们利用 RMA 增加排序阶段的候选数量，并利用 SBM 将特定请求路由到更强大的模型。该系统设计了物理和逻辑隔离机制，以确保在回收容量时基础服务性能不受影响。

💡 Main Points

推理能力悖论

由于需求与能力在时间和硬件上无法完美对齐，推理集群在特定地区或加速器类型上往往存在空闲容量。

排序更多广告 (RMA) 杠杆

RMA 增加了后期排序模型中评估的候选数量，这需要 CPU 和加速器都有冗余才能有效运行。

提供更优模型 (SBM) 杠杆

SBM 调整路由至更复杂/强大模型的请求比例，在不增加上游 CPU 需求的情况下利用仅限加速器的冗余。

安全隔离策略

Meta 为 SBM 使用物理隔离（独立的路由目标），为 RMA 使用逻辑隔离（全局预算），以确保基础流量永远不会被机会性任务过载。

反馈驱动的控制循环

系统采用 PID 控制器和价值感知信号，根据尾部延迟和容量可用性调整候选量和模型覆盖范围。

💬 Key Quotes

推理集群面临着能力悖论：它们可能在全球范围内受限，同时局部仍存在大量的空闲容量池。

通过让这些原本空闲的容量发挥作用，该系统帮助用户看到更相关的广告，并在无需额外购买容量的情况下提升了广告主的效果。

可选任务绝不能消耗预留给基础服务的容量。

📊 Article Meta

AI Screening： 90

Featured： Yes

Source： Engineering at Meta

Author： Engineering at Meta

Category： 人工智能

Language： 英文

Read Time： 9 min

Word Count： 2208

Tags：

AI 与智能应用 , 推荐系统 , AI基础设施 , 系统设计 , 分布式系统