推出 AnySpeechRecognizer 与 AnyDecisionModel:面向 Apple 平台的语音与决策开放模型

📌 One-Sentence Summary
Hugging Face 推出 AnySpeechRecognizer 和 AnyDecisionModel 两个 Swift 包,为 Apple 平台带来开放的端侧语音识别与概率化决策能力,并通过统一 API 支持多种模型引擎。
📝 Summary
文章宣布了两个面向 Apple 平台的全新 Swift 包。AnySpeechRecognizer 封装了 Apple 的 SpeechAnalyzer API,但允许开发者从多个开放语音引擎中选择——包括 NVIDIA 的 Parakeet 系列(支持 25 种欧洲语言)和阿里巴巴的 Qwen3-ASR(支持 30 种语言及 22 种中文方言)——全部通过 Core ML 在本地运行。它还借助 NVIDIA 的 Streaming Sortformer 增加了说话人分离功能,最多可追踪四位说话人。在 LibriSpeech 上的基准测试显示,Parakeet 模型的词错误率最低可达 1.43%(文件)和 1.45%(实时),优于 Apple 内置的转写器。AnyDecisionModel 提供 Swift API,用于处理是/否、多选和评分量表类决策,它直接从模型 logits 读取概率,而非解析生成的文本。它支持六种后端:MLX、带训练决策头的 MLX(例如 Cloudflare 的 Clef)、Core AI、llama.cpp、Jev 和 Ollama。其功能包括校准、旋转去偏和置信度评分。一个名为 Emoji Magnet 的演示应用展示了实时决策推理。两个包均从 Hugging Face Hub 下载模型,并要求 Swift 6.2+、macOS 26/iOS 26+ 以及 Apple Silicon。
💡 Main Points
AnySpeechRecognizer 提供了 Apple Speech 框架的即插即用替代方案,并支持可插拔的开放模型引擎
该包镜像了 Apple 的 SpeechAnalyzer API(SpeechTranscriber、SpeechDetector、AssetInventory),但允许开发者将默认的 Apple 引擎替换为 NVIDIA 的 Parakeet 模型(多语言版、纯英文版或后训练 Ultra 版)或阿里巴巴的 Qwen3-ASR,这些模型均已转换为 Core ML 并托管在 Hugging Face Hub 上。这让应用能够在不改变应用逻辑的情况下控制语言覆盖范围、准确率和许可条款。
通过 NVIDIA 的 Streaming Sortformer 增加说话人分离功能,实现带说话人归属的转写
Apple 的 Speech 框架缺少说话人分离功能。AnySpeechRecognizer 增加了一个 SpeakerDiarizer 模块,在 Core ML 上运行 Sortformer v2 或 v2.1,与转写器并行工作,最多可追踪四位同时说话的说话人。SpeakerTimeline 将带时间戳的词语与说话人标签对齐,生成包含说话人轮次的对话转写——这是 Apple 当前 API 之外的能力。
AnyDecisionModel 从语言模型中提取带概率的结构化决策,而非生成文本
AnyDecisionModel 不通过提示 LLM 并解析其输出来做决策,而是为每个允许的答案(是/否、A–Z、0–9)构建带单 token 标签的提示词,并在一次前向传播中读取模型的下一个 token 概率。这会产出带每个选项概率和置信度的类型化结果(Choice、Score)。它支持通过 MLX、llama.cpp、Jev、Ollama 使用通用 LLM,也支持像 Cloudflare 的 Clef 这样的专用决策头模型,后者可在一次传播中返回多个问题的联合概率。
校准与去偏功能解决了模型概率中的过度自信和位置偏差问题
原始 LLM 概率往往校准不佳。该包提供了在留出数据上拟合的温度缩放和是/否偏差校准,以及旋转去偏——通过对答案选项的所有排列取概率平均值来中和位置偏差。基于熵的置信度评分帮助调用方设定决策阈值,不过文章提醒,置信度衡量的是集中程度,而非正确性。
两个包均强调端侧执行、开放权重和 Hugging Face Hub 集成
模型按需从 Hub 下载(固定到带校验和的特定修订版本),并通过 Core ML、MLX 或 llama.cpp 在 Apple Silicon 上本地运行。Parakeet 模型每个约 600 MB,外加一个 590 MB 的实时编码器;Qwen3-ASR 范围为 0.9–2.4 GB;Sortformer 约 250 MB。这些包使用 Swift package traits 来保持依赖最小化,Core ML 转换可通过已发布的工作流复现。
💬 Key Quotes
语言模型能做很多事。它们能写作、总结、翻译和调用工具。但它们只是机器学习能力的一小部分。
只有来自法国 Décision 地区的才算决策模型;否则,它只是闪亮的零样本分类。
语言模型的原始概率往往过度自信。本地后端接受一个 Calibration,它对每个答案应用温度,并对是/否答案应用偏差。
Parakeet 从文件转写一小时音频约需 20 到 40 秒,实时转写约需 1.5 到 2.5 分钟,Core ML 编译模型后内存占用约 100 MB。
📊 Article Meta
AI Screening: 88
Source: Hugging Face - Blog
Author: Mattt
Category: 人工智能
Language: 英文
Read Time: 11 min
Word Count: 2502
Tags:
AI 与智能应用 , 开放权重模型 , 本地与端侧 AI , 移动开发 , 编程语言
有没有更详细的教程,期待后续。
赞同,实践出真知。
路过
很有价值的分享,感谢整理。
作者写得真不错,学到了不少。
这个观点很中肯,深有同感。
实测过类似工具,作者说的基本属实。
这个观点很中肯,深有同感。
思路清晰,干货满满。
支持作者,持续关注中。
讲解得很细致,新手也能看懂。
写得挺用心的,支持一下。