深入了解 Phonon TTS:推出高品质端侧语音,基准测试表现领先
📌 One-Sentence Summary
Phonon TTS 是一款开放权重文本转语音模型,可在端侧生成高品质语音,支持 5 种语言,并在 Hugging Face Open TTS Leaderboard 的清晰度和速度排名中领先,同时支持自定义声音克隆。
📝 Summary
Phonon TTS 是一款面向端侧部署的开放权重文本转语音模型,无需云服务器或网络连接。模型提供两种规格(31M 和 40M 参数),支持英语、法语、德语、西班牙语和葡萄牙语,并内置 100 多种声音。Phonon 在基准测试中表现出色,在德语和西班牙语清晰度方面排名第一,并在 CPU 流式速度方面领先,首音频延迟最低可达 28ms。Phonon 基于 Pocket TTS 的技术脉络构建,采用流匹配技术,突破了模型大小与音频质量之间的传统权衡。它支持通过预计算的说话人潜变量克隆自定义声音,并从 Transformers v5.21 起以模块化模型形式集成其中。配套的 ptts 推理框架支持 10 多种后端,包括 CPU、GPU 和 NPU,可部署在手机、笔记本电脑和浏览器等设备上。开发者已将 Phonon 用于从离线移动体验到基于浏览器的 AI 集成等多种应用;该模型在推出后的前两周下载量超过 200,000 次。
💡 Main Points
无需依赖云端的端侧语音
Phonon 完全在用户设备上运行,无需服务器或网络连接。文本留在本地,有助于保护隐私,也能用于没有信号的移动设备等离线场景。
清晰度与速度方面的基准测试领先
Phonon 在 Hugging Face Open TTS Leaderboard 的德语和西班牙语清晰度排名中位居第一,并在 CPU 流式速度方面领先,首音频延迟最低可达 28ms,表现优于规模大至其 100 倍的模型。
流匹配架构兼顾小体积与高品质
Phonon 延续 Pocket TTS 的技术路线,采用流匹配技术自回归生成音频潜变量。这种方法让仅有 31M 参数的紧凑模型也能生成高品质音频,打破了模型规模与音频保真度之间的传统权衡。
支持自定义声音克隆与模块化集成
Phonon 通过预计算的说话人潜变量支持创建自定义声音,并以模块化模型的形式集成到 Transformers 中。它与 Pocket TTS 的差异仅涉及 200 行代码,便于开发者采用和扩展。
ptts 框架提供广泛的硬件支持
ptts 推理框架支持 10 多种后端,包括 CPU(Intel、Arm、WebAssembly)、GPU(CUDA、Vulkan、Metal、WebGPU)和 NPU(Apple Core ML、Snapdragon),可部署在从手机到单板计算机等多种设备上。
💬 Key Quotes
Phonon 则直接在你自己的设备上运行。文本留在设备本地,即使没有网络,语音也能正常工作。
Phonon 31m 可以说英语,采用 Apache 2.0 许可,因此你可以自由地基于它进行开发,包括将其用于商业产品。
在清晰度方面,Phonon 的德语和西班牙语排名第一,在我们评测的每种语言中都位居前三,表现可与规模大至其 100 倍的模型比肩。
速度是 Phonon 真正大放异彩的地方:这些模型在 CPU 流式基准测试的首音频延迟指标上名列前茅。
声音不是一段录音,而是一个说话人潜变量张量。Phonon 从不通过其仅附带解码器的音频分词器直接编码音频;声音都是预先计算好的。
📊 Article Meta
AI Screening: 90
Featured: Yes
Source: Hugging Face - Blog
Author: Olesia Krizhevich, Laurent Mazare, Eric Bezzam, Eustache Le Bihan
Category: 人工智能
Language: 英文
Read Time: 6 min
Word Count: 1330
Tags:
AI 与智能应用 , AI 语音 , 多模态 AI , 模型训练与推理 , AI 产品与应用
整理得太全面了,省了我不少时间。
收藏了,以后慢慢研究。
有没有更详细的教程,期待后续。
楼主辛苦了,内容很有参考价值。
不错不错,已加入书签。
这个比较实用,已转发给同事。
看完了,收获满满,期待更多更新。
这个比较实用,已转发给同事。
赞同,实践出真知。
看完了,收获满满,期待更多更新。
实测过类似工具,作者说的基本属实。
支持作者,持续关注中。