推出 AnySpeechRecognizer 与 AnyDecisionModel:面向 Apple 平台的语音与决策开放模型

邱宇AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-10-2946 阅读💛 221 收藏
推出 AnySpeechRecognizer 与 AnyDecisionModel:面向 Apple 平台的语音与决策开放模型

📌 One-Sentence Summary

Hugging Face 推出 AnySpeechRecognizer 和 AnyDecisionModel 两个 Swift 包,为 Apple 平台带来开放的端侧语音识别与概率化决策能力,并通过统一 API 支持多种模型引擎。

📝 Summary

文章宣布了两个面向 Apple 平台的全新 Swift 包。AnySpeechRecognizer 封装了 Apple 的 SpeechAnalyzer API,但允许开发者从多个开放语音引擎中选择——包括 NVIDIA 的 Parakeet 系列(支持 25 种欧洲语言)和阿里巴巴的 Qwen3-ASR(支持 30 种语言及 22 种中文方言)——全部通过 Core ML 在本地运行。它还借助 NVIDIA 的 Streaming Sortformer 增加了说话人分离功能,最多可追踪四位说话人。在 LibriSpeech 上的基准测试显示,Parakeet 模型的词错误率最低可达 1.43%(文件)和 1.45%(实时),优于 Apple 内置的转写器。AnyDecisionModel 提供 Swift API,用于处理是/否、多选和评分量表类决策,它直接从模型 logits 读取概率,而非解析生成的文本。它支持六种后端:MLX、带训练决策头的 MLX(例如 Cloudflare 的 Clef)、Core AI、llama.cpp、Jev 和 Ollama。其功能包括校准、旋转去偏和置信度评分。一个名为 Emoji Magnet 的演示应用展示了实时决策推理。两个包均从 Hugging Face Hub 下载模型,并要求 Swift 6.2+、macOS 26/iOS 26+ 以及 Apple Silicon。

💡 Main Points

AnySpeechRecognizer 提供了 Apple Speech 框架的即插即用替代方案,并支持可插拔的开放模型引擎

该包镜像了 Apple 的 SpeechAnalyzer API(SpeechTranscriber、SpeechDetector、AssetInventory),但允许开发者将默认的 Apple 引擎替换为 NVIDIA 的 Parakeet 模型(多语言版、纯英文版或后训练 Ultra 版)或阿里巴巴的 Qwen3-ASR,这些模型均已转换为 Core ML 并托管在 Hugging Face Hub 上。这让应用能够在不改变应用逻辑的情况下控制语言覆盖范围、准确率和许可条款。

通过 NVIDIA 的 Streaming Sortformer 增加说话人分离功能,实现带说话人归属的转写

Apple 的 Speech 框架缺少说话人分离功能。AnySpeechRecognizer 增加了一个 SpeakerDiarizer 模块,在 Core ML 上运行 Sortformer v2 或 v2.1,与转写器并行工作,最多可追踪四位同时说话的说话人。SpeakerTimeline 将带时间戳的词语与说话人标签对齐,生成包含说话人轮次的对话转写——这是 Apple 当前 API 之外的能力。

AnyDecisionModel 从语言模型中提取带概率的结构化决策,而非生成文本

AnyDecisionModel 不通过提示 LLM 并解析其输出来做决策,而是为每个允许的答案(是/否、A–Z、0–9)构建带单 token 标签的提示词,并在一次前向传播中读取模型的下一个 token 概率。这会产出带每个选项概率和置信度的类型化结果(Choice、Score)。它支持通过 MLX、llama.cpp、Jev、Ollama 使用通用 LLM,也支持像 Cloudflare 的 Clef 这样的专用决策头模型,后者可在一次传播中返回多个问题的联合概率。

校准与去偏功能解决了模型概率中的过度自信和位置偏差问题

原始 LLM 概率往往校准不佳。该包提供了在留出数据上拟合的温度缩放和是/否偏差校准,以及旋转去偏——通过对答案选项的所有排列取概率平均值来中和位置偏差。基于熵的置信度评分帮助调用方设定决策阈值,不过文章提醒,置信度衡量的是集中程度,而非正确性。

两个包均强调端侧执行、开放权重和 Hugging Face Hub 集成

模型按需从 Hub 下载(固定到带校验和的特定修订版本),并通过 Core ML、MLX 或 llama.cpp 在 Apple Silicon 上本地运行。Parakeet 模型每个约 600 MB,外加一个 590 MB 的实时编码器;Qwen3-ASR 范围为 0.9–2.4 GB;Sortformer 约 250 MB。这些包使用 Swift package traits 来保持依赖最小化,Core ML 转换可通过已发布的工作流复现。

💬 Key Quotes

语言模型能做很多事。它们能写作、总结、翻译和调用工具。但它们只是机器学习能力的一小部分。

只有来自法国 Décision 地区的才算决策模型;否则,它只是闪亮的零样本分类。

语言模型的原始概率往往过度自信。本地后端接受一个 Calibration,它对每个答案应用温度,并对是/否答案应用偏差。

Parakeet 从文件转写一小时音频约需 20 到 40 秒,实时转写约需 1.5 到 2.5 分钟,Core ML 编译模型后内存占用约 100 MB。

📊 Article Meta

AI Screening: 88

Source: Hugging Face - Blog

Author: Mattt

Category: 人工智能

Language: 英文

Read Time: 11 min

Word Count: 2502

Tags:

AI 与智能应用 , 开放权重模型 , 本地与端侧 AI , 移动开发 , 编程语言

#AI 与智能应用# 开放权重模型# 本地与端侧 AI# 移动开发# 编程语言

文章评论(12)

暮临风17 天前

有没有更详细的教程,期待后续。

回复
龙文博17 天前

赞同,实践出真知。

回复
龙文博17 天前

路过

回复
松听风17 天前

很有价值的分享,感谢整理。

回复
邱文博17 天前

作者写得真不错,学到了不少。

回复
曹浩17 天前

这个观点很中肯,深有同感。

回复
曹浩17 天前

实测过类似工具,作者说的基本属实。

回复
风倚栏17 天前

这个观点很中肯,深有同感。

回复
星知秋17 天前

思路清晰,干货满满。

回复
陈皮话梅糖17 天前

支持作者,持续关注中。

回复
星寻梦17 天前

讲解得很细致,新手也能看懂。

回复
青柠微凉17 天前

写得挺用心的,支持一下。

回复