短视频中的模态错配与原创性归属：Meta 如何用多智能体系统治理上亿视频 — Aditya Gautam

📌 One-Sentence Summary

Aditya Gautam 讲解 Meta 如何在超过 1 亿条短视频中检测模态错配与搬运内容：由审查、感知、检索三个智能体分工协作，配合专用小型 VLM 的完整训练链、覆盖全管线的整体评估，以及时空压缩、缓存与元数据剪枝等优化手段实现规模化治理。

📝 Summary

Aditya Gautam 介绍了 Meta 在短视频场景上面临的两大内容完整性问题：一是模态错配，视频中途突然插入广告、政治内容或其他不该出现的内容；二是不原创内容，AI 工具让复制和改造视频变得容易，损害归属与信用认定，破坏生态平衡并造成用户疲劳。他解释了为什么脏乱、对抗性强、持续漂移且缺少明确基准答案的数据需要多智能体系统：审查智能体负责编排分析，感知智能体用微调后的 VLM 结合语义嵌入与时序变化检测，把视频分解为标签、OCR 结果、自然语言描述等片段级元数据；检索智能体则把主题、嵌入和实体分别写入倒排索引、向量数据库和图数据库，在推理时找出相似片段与作者。随后他详解模型管线：当网页预训练基座与领域不匹配时先在内部数据上重新预训练，再通过指令微调让输出符合政策与 JSON schema 规范，用 DPO 配合 LLM 裁判对照人工审查队列做验证，并借助知识蒸馏与量化，在数十亿帧的规模上低成本部署专用小型 VLM。评估不只看精确率、召回率和 F1，还覆盖检索延迟与召回、配合自适应推理预算的推理质量、鲁棒性与错误定位、token 成本与各环节延迟，以及数据漂移下 LLM 裁判是否仍然可靠。最后他介绍了时空压缩、已处理热门内容的缓存和元数据剪枝三种优化，共同决定哪些视频需要走完整工作流，并以分解问题、自适应优化、重视评估和生产监控四点收尾。

💡 Main Points

审查、感知、检索三智能体分解适合视频完整性治理

审查智能体充当编排网关；感知智能体用时序变化检测取代固定帧率采样，把每条视频分解为片段级嵌入、标签、OCR 和自然语言描述；检索智能体把主题、嵌入和实体分别写入倒排、向量与图数据库，让相似片段和作者在推理时浮出水面。

专用小型 VLM 在规模化场景中替代前沿大模型

在脏乱的内部数据上预训练、面向政策和 JSON schema 输出做指令微调、DPO、知识蒸馏与量化，让系统能在数十亿帧上低成本部署，因为特定领域任务并不需要前沿级的通用能力。

评估必须覆盖整条管线，而不只是最终结论

除二元结果的精确率、召回率和 F1 之外，团队还衡量检索延迟与召回、配合自适应预算的推理质量、鲁棒性与错误发生位置、token 成本与各智能体延迟，以及随着用户生成内容漂移，LLM 裁判是否仍与人工审查队列一致。

优化手段决定哪些视频进入高强度工作流

时空压缩把相似帧合并为单一表示，缓存让已处理过的热门素材不必重复跑完整管线，元数据剪枝则利用创作者历史记录与互动信号，过滤掉不需要走完整多智能体流程的视频。

人工审查形成持续改进闭环

每日生产采样喂给 LLM 裁判，人工审查员检查各智能体的 LLM 调用、MCP 与工具使用轨迹，定位失败来自推理、工具选择还是检索，产出正负样本用于重训，并跟踪数据漂移。

💬 Key Quotes

真实世界的数据是脏乱的。我们面对的是超过 1 亿条视频，其中包含大量热门内容。

如果单个智能体或 LLM 就能解决问题，就没必要用多个智能体。

与其按固定频率采样帧，时序变化检测会识别视频在哪里发生变化，并把相似的帧压缩成一两帧代表帧。

我们不需要一个能解决编程问题的模型；我们需要一个能解决特定领域问题的模型。

好的评估至关重要，它是整个系统的基石。

📊 Article Meta

AI Screening： 90

Featured： Yes

Source： AI Engineer

Author： AI Engineer

Category： 人工智能

Language： 英文

Read Time： 9 min

Word Count： 2156

Tags：

AI 与智能应用 , 视觉语言模型 , Agent编排 , 视频 , Meta

Play Full Video