使用 ExecuTorch 在 Arm® 边缘设备上优化流式语音识别

星海拾光AI 前沿📡 BestBlogs·AI高分精选⭐ 902026-10-28868 阅读💛 194 收藏
使用 ExecuTorch 在 Arm® 边缘设备上优化流式语音识别

📌 One-Sentence Summary

Arm 工程师展示了 ExecuTorch 结合 SME2 加速如何在边缘设备上实现高效的流式语音识别,并提供了通过选择分块大小与精度来平衡准确率与延迟的实用指南。

📝 Summary

本案例研究在 Google Pixel 11 上使用 ExecuTorch、XNNPACK 和 Arm KleidiAI 内核评估 Nemotron 3.5 流式 ASR。作者在四种分块大小(80–1,120 ms)和三种精度(FP32、FP16、INT8 QC8W)下测量词错误率,发现更长的分块能提升最终转录准确率,FP16 与 FP32 相当,而 QC8W 仅增加 0.2–0.3% 的 WER。启用 SME2 后,FP16 处理时间下降 2.12 倍(9.79→4.61 s),QC8W 下降 1.61 倍(5.20→3.24 s),实时因子分别达到 0.19 和 0.13。ETDump 性能分析显示 GEMM 是主要加速来源,而数据搬运成为新的瓶颈。Arm Streamline 确认了 SME2 内核的选择(SME 利用率为 38–54%)。文章为开发者提供了一个实用框架,可根据准确率目标或延迟预算联合选择分块大小与精度。

💡 Main Points

流式 ASR 必须在部署时的分块大小下评估,而非依赖批量准确率

批量准确率无法预测流式质量;Qwen3-ASR-1.7B 在使用 2.4 秒分块评估时 WER 上升了 77%。更长的分块能提升最终转录准确率(FP16 的 WER 从 80 ms 到 1,120 ms 由 15.2% 降至 11.5%),但会增加响应延迟。

ExecuTorch 通过 XNNPACK 和 KleidiAI 将 PyTorch 模型连接到优化的 Arm CPU 内核

导出流水线将符合条件的算子委托给 XNNPACK,后者为 Arm CPU 选择 KleidiAI 微内核。SME2 扩展了矩阵乘法的指令集,启用后可为 FP16 和 INT8 QC8W 的 GEMM 运算提供 SME2 优化路径。

SME2 为边缘设备上的流式 ASR 带来显著的处理余量

在 Pixel 11 的中核 CPU 上,SME2 使整段录音的处理时间在 FP16 下缩短 2.12 倍,在 QC8W 下缩短 1.61 倍,实时因子分别达到 0.19 和 0.13。这为持续转录期间的其他 CPU 工作和热管理留出了容量。

通过 ETDump 和 Arm Streamline 进行性能分析,揭示 GEMM 是主要加速来源,数据搬运是下一个瓶颈

ETDump 显示 GEMM 时间从 8.2→3.1 s(FP16)和 4.1→2.0 s(QC8W)下降,但其占总时间的比例从 84%→67% 和 78%→62% 下降。数据搬运的相对占比从约 8%→17% 增长,限制了进一步加速,并指明了优化目标。

开发者应根据应用需求联合选择分块大小与精度

对于 13% 的 WER 上限,FP16 和 QC8W 在 320、560 和 1,120 ms 分块下均符合要求。对于 800 ms 的延迟预算,320 ms 和 560 ms 配置同时满足两项约束。文章提供了一个将主机端 WER 与设备端延迟估算配对的实用决策框架。

💬 Key Quotes

强大的批量准确率并不一定能延续到流式场景中。

更长的分块能提升最终转录准确率。

FP16 基本与 FP32 相当,在每个分块大小下差异均小于 0.03 个百分点。

SME2 大幅缩短了处理时间:FP16 从 9.79 秒降至 4.61 秒(快 2.12 倍),QC8W 从 5.20 秒降至 3.24 秒(快 1.61 倍)。

GEMM 驱动了大部分加速。

联合选择分块大小与精度。

📊 Article Meta

AI Screening: 90

Source: PyTorch

Author: Josiah Davis, Principal AI Engineer, Arm and Kshitij Sisodia, Principal Software Engineer, Arm

Category: 人工智能

Language: 英文

Read Time: 8 min

Word Count: 1975

Tags:

AI 与智能应用 , 模型训练与推理 , 性能优化 , 本地与端侧 AI , AI 工程

#AI 与智能应用# 模型训练与推理# 性能优化# 本地与端侧 AI# AI 工程

文章评论(12)

龙文博19 天前

这个比较实用,已转发给同事。

回复
松听风19 天前

点赞,必须点赞

回复
星知秋19 天前

赞同,实践出真知。

回复
雪知秋19 天前

点赞,必须点赞

回复
林拾贝19 天前

这个观点很中肯,深有同感。

回复
空向阳19 天前

楼主辛苦了,内容很有参考价值。

回复
山问津19 天前

看标题就点进来了,内容果然没让人失望。

回复
风拾光19 天前

赞同,实践出真知。

回复
逐光而行19 天前

思路清晰,干货满满。

回复
蓝临风19 天前

点赞,必须点赞

回复
蓝问津19 天前

看标题就点进来了,内容果然没让人失望。

回复
月沐雨19 天前

看标题就点进来了,内容果然没让人失望。

回复