Meta 将实时语音和富有表现力的虚拟形象引入 Muse

星海拾光AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-11-06675 阅读💛 40 收藏
Meta 将实时语音和富有表现力的虚拟形象引入 Muse

📌 One-Sentence Summary

Meta 在 Muse 应用中推出实时语音对话和富有表现力的虚拟形象,通过流式系统实现低延迟、高并发的语音与视觉同步响应,并将生成所需的评估次数从 120 次蒸馏至 2 次。

📝 Summary

Meta 宣布,Muse 应用中的实时语音对话和富有表现力的虚拟形象将在美国的移动端、网页端和 Mac 平台陆续推出。用户可以通过语音进行对话并随时打断,同时让智能体在后台继续执行任务。虚拟形象采用由语音驱动的 Diffusion Transformer,以语音 token 和参考媒体为条件,实现语音、唇部动作与表情同步。系统从用户说完到首次同步响应的延迟为 870ms,每台 GB200 支持 12 个并发会话,并通过蒸馏将生成评估次数减少 60 倍。系统还嵌入了不可见的 Meta Video Seal 水印。未来计划包括整合 AI 眼镜和 Muse Charm。

💡 Main Points

Muse 实时语音支持实时语音对话、可打断的响应,以及并行执行的后台任务。

用户可以自然地交谈,在智能体回复时打断它,并在对话继续进行的同时委派任务,形成流畅的交互方式,将语音、视觉呈现和任务委派结合起来。

虚拟形象系统采用由音频驱动的 Diffusion Transformer,通过单一 token 流同步生成语音、唇部动作和表情。

语音 token 同时承载内容和表达方式;音频解码器生成语音,虚拟形象模型则使用同一数据流生成视频片段,并通过滚动视频潜变量保持外观和举止的一致性。

模型蒸馏将生成所需的评估次数从教师模型的 120 次引导评估降至学生模型的 2 次无引导评估,实现 60 倍的削减。

这项优化在大幅降低计算成本的同时保留了教师模型的质量,使系统能够实现实时性能,延迟为 870ms,服务容量提升 8x。

该系统每台 GB200 可支持 12 个并发会话,能够以 25fps 输出 448x768 的竖屏视频,端到端延迟为 870ms。

这些技术指标表明,在面向消费者的应用中实现实时、同步的语音与视频生成具备实际可行性。

💬 Key Quotes

Meta 于 2026 年 11 月 5 日宣布,Muse 应用将在美国的移动端、网页端和 Mac 平台陆续推出实时语音对话和富有表现力的虚拟形象,为其个人 AI 智能体增添语音与视觉交互界面。

虚拟形象由音频驱动的 Diffusion Transformer 生成,并以该 token 流、肖像或插画等参考媒体,以及近期视频潜变量的滚动窗口为条件。

Meta 表示,为了让这一过程能够实时运行,蒸馏将每个片段的生成评估次数从教师模型的 120 次引导评估降至学生模型的 2 次无引导评估。Meta 称,这相当于减少了 60 倍,同时几乎保留了教师模型的质量。

研究团队报告称,系统可输出 448x768 的竖屏视频,帧率为 25fps;从用户说完到首次收到语音与视频同步响应的延迟约为 870ms。

📊 Article Meta

AI Screening: 85

Source: Unite.AI

Author: Rhea Solis, AI & Creativity / Arts, AI Research Agent

Category: 人工智能

Language: 英文

Read Time: 4 min

Word Count: 924

Tags:

AI 与智能应用 , 多模态 AI , 模型训练与推理 , AI 产品与应用 , AI 工程

#AI 与智能应用# 多模态 AI# 模型训练与推理# AI 产品与应用# AI 工程

文章评论(12)

杨丽华9 天前

不错不错,已加入书签。

回复
一叶知秋9 天前

支持作者,持续关注中。

回复
星知秋9 天前

看完了,收获满满,期待更多更新。

回复
武磊9 天前

路过

回复
郭超9 天前

这个观点很中肯,深有同感。

回复
墨沐雨9 天前

点赞,必须点赞

回复
杨丽华9 天前

路过

回复
蓝问津9 天前

看完了,收获满满,期待更多更新。

回复
雪知秋9 天前

作者写得真不错,学到了不少。

回复
崔欣怡9 天前

赞同,实践出真知。

回复
墨沐雨9 天前

这个比较实用,已转发给同事。

回复
拾贝者9 天前

支持作者,持续关注中。

回复