Google AI Edge Gallery 中的设备端语音识别与语音合成

📌 One-Sentence Summary
Google 宣布在 Google AI Edge Gallery 中推出设备端自动语音识别(ASR)和文本转语音(TTS)功能,通过 Android 版 ML Kit 以及面向跨平台应用的 MediaPipe Tasks/LiteRT,实现离线语音交互、流式转录和低延迟语音合成。
📝 Summary
Google 在 Google AI Edge Gallery 中推出设备端 ASR 和 TTS 功能,让开发者能够为移动端和跨平台应用构建离线语音界面。此次发布包含 ML Kit 的 Android 系统语音模型,支持 100+ 种语言的转录,速度可达实时的 10 倍;基于扩散模型的 TTS 合成速度则可达实时的 50 倍。跨平台支持通过 MediaPipe Tasks 和 LiteRT 提供,涵盖 Parakeet-TDT 0.6B 等开放权重 ASR 模型,以及 PocketTTS 100M 等 TTS 模型。这些轻量模型可与 Gemini Nano、Gemma 4 等设备端小语言模型(SLM)无缝集成,支持 XR Language Teacher 展示应用中的实时视觉定位和双语 TTS 语码切换,以及支持语音交互的 AI Chat 和与句子同步的语音播放。
💡 Main Points
设备端 ASR 和 TTS 支持离线语音交互
这些新功能让开发者能够构建支持流式实时转录和自然语音回复的应用,且完全离线运行,从而解决手机和可穿戴设备面临的网络连接限制。
ML Kit 为 Android 提供高性能语音模型
ML Kit 由 Google 最新的设备端语音模型驱动,可支持 100+ 种语言的多语言转录,速度达到实时的 10 倍,在 FLEURS 上的 WER 为 8.0-9.0%;TTS 约 100ms 即可开始播放,合成速度达到实时的 50 倍。
MediaPipe Tasks 和 LiteRT 支持跨平台语音功能
针对 iOS、macOS、Windows、Linux 和 Web,MediaPipe Tasks 提供开箱即用的 ASR 和 TTS API,并支持 Parakeet-TDT 0.6B 和 PocketTTS 100M 等开放权重模型。模型打包为 .litertlm 格式,便于部署。
与设备端 SLM 集成,支持多模态语音应用
轻量语音模型可与 Gemini Nano 和 Gemma 4 配合,构建 XR Language Teacher 等应用。该应用可进行实时视觉定位和流式语音输入,为用户提供实时语言辅导,并支持双语 TTS 语码切换。
💬 Key Quotes
语音往往是人们在手机和可穿戴设备上与 AI 交互时最自然的方式。
近期紧凑型语音架构取得的进展,使准确的多语言 ASR 和富有表现力的 TTS 模型能够完全在设备端运行;它们占用的内存很小、延迟低,而且完全离线。
将这些轻量语音模型与 Gemini Nano 和 Gemma 4 等设备端小语言模型(SLM)结合后,开发者便能构建这样的应用:用户说话时,应用实时转录语音,并在本地合成自然的语音回复。
我们最新的设备端 ASR 技术实现了极其准确的多语言识别,支持 100+ 种语言(在 FLEURS 上的词错误率达到 8.0% to 9.0%),同时转录速度比实时音频快 10 倍(转录 3 seconds 的语音约需 300 ms)。
转向共享运行时模型尤其值得关注,因为它既解决了 AI 应用普遍存在的「臃肿」问题,又保持了较高的执行速度。
📊 Article Meta
AI Screening: 88
Source: Google Developers Blog
Author: Google AI Edge Team, Android ML Team
Category: 人工智能
Language: 英文
Read Time: 7 min
Word Count: 1748
Tags:
AI 与智能应用 , 移动开发 , 机器学习 , 模型训练与推理 , AI 工程
这个观点很中肯,深有同感。
看标题就点进来了,内容果然没让人失望。
楼主辛苦了,内容很有参考价值。
点赞,必须点赞
整理得太全面了,省了我不少时间。
写得挺用心的,支持一下。
点赞,必须点赞
看完了,收获满满,期待更多更新。
整理得太全面了,省了我不少时间。
看完了,收获满满,期待更多更新。
赞同,实践出真知。
收藏了,以后慢慢研究。