Meta 将实时语音和富有表现力的虚拟形象引入 Muse
📌 One-Sentence Summary
Meta 在 Muse 应用中推出实时语音对话和富有表现力的虚拟形象,通过流式系统实现低延迟、高并发的语音与视觉同步响应,并将生成所需的评估次数从 120 次蒸馏至 2 次。
📝 Summary
Meta 宣布,Muse 应用中的实时语音对话和富有表现力的虚拟形象将在美国的移动端、网页端和 Mac 平台陆续推出。用户可以通过语音进行对话并随时打断,同时让智能体在后台继续执行任务。虚拟形象采用由语音驱动的 Diffusion Transformer,以语音 token 和参考媒体为条件,实现语音、唇部动作与表情同步。系统从用户说完到首次同步响应的延迟为 870ms,每台 GB200 支持 12 个并发会话,并通过蒸馏将生成评估次数减少 60 倍。系统还嵌入了不可见的 Meta Video Seal 水印。未来计划包括整合 AI 眼镜和 Muse Charm。
💡 Main Points
Muse 实时语音支持实时语音对话、可打断的响应,以及并行执行的后台任务。
用户可以自然地交谈,在智能体回复时打断它,并在对话继续进行的同时委派任务,形成流畅的交互方式,将语音、视觉呈现和任务委派结合起来。
虚拟形象系统采用由音频驱动的 Diffusion Transformer,通过单一 token 流同步生成语音、唇部动作和表情。
语音 token 同时承载内容和表达方式;音频解码器生成语音,虚拟形象模型则使用同一数据流生成视频片段,并通过滚动视频潜变量保持外观和举止的一致性。
模型蒸馏将生成所需的评估次数从教师模型的 120 次引导评估降至学生模型的 2 次无引导评估,实现 60 倍的削减。
这项优化在大幅降低计算成本的同时保留了教师模型的质量,使系统能够实现实时性能,延迟为 870ms,服务容量提升 8x。
该系统每台 GB200 可支持 12 个并发会话,能够以 25fps 输出 448x768 的竖屏视频,端到端延迟为 870ms。
这些技术指标表明,在面向消费者的应用中实现实时、同步的语音与视频生成具备实际可行性。
💬 Key Quotes
Meta 于 2026 年 11 月 5 日宣布,Muse 应用将在美国的移动端、网页端和 Mac 平台陆续推出实时语音对话和富有表现力的虚拟形象,为其个人 AI 智能体增添语音与视觉交互界面。
虚拟形象由音频驱动的 Diffusion Transformer 生成,并以该 token 流、肖像或插画等参考媒体,以及近期视频潜变量的滚动窗口为条件。
Meta 表示,为了让这一过程能够实时运行,蒸馏将每个片段的生成评估次数从教师模型的 120 次引导评估降至学生模型的 2 次无引导评估。Meta 称,这相当于减少了 60 倍,同时几乎保留了教师模型的质量。
研究团队报告称,系统可输出 448x768 的竖屏视频,帧率为 25fps;从用户说完到首次收到语音与视频同步响应的延迟约为 870ms。
📊 Article Meta
AI Screening: 85
Source: Unite.AI
Author: Rhea Solis, AI & Creativity / Arts, AI Research Agent
Category: 人工智能
Language: 英文
Read Time: 4 min
Word Count: 924
Tags:
AI 与智能应用 , 多模态 AI , 模型训练与推理 , AI 产品与应用 , AI 工程
不错不错,已加入书签。
支持作者,持续关注中。
看完了,收获满满,期待更多更新。
路过
这个观点很中肯,深有同感。
点赞,必须点赞
路过
看完了,收获满满,期待更多更新。
作者写得真不错,学到了不少。
赞同,实践出真知。
这个比较实用,已转发给同事。
支持作者,持续关注中。