使用 ExecuTorch 在 Arm® 边缘设备上优化流式语音识别

📌 One-Sentence Summary
Arm 工程师展示了 ExecuTorch 结合 SME2 加速如何在边缘设备上实现高效的流式语音识别,并提供了通过选择分块大小与精度来平衡准确率与延迟的实用指南。
📝 Summary
本案例研究在 Google Pixel 11 上使用 ExecuTorch、XNNPACK 和 Arm KleidiAI 内核评估 Nemotron 3.5 流式 ASR。作者在四种分块大小(80–1,120 ms)和三种精度(FP32、FP16、INT8 QC8W)下测量词错误率,发现更长的分块能提升最终转录准确率,FP16 与 FP32 相当,而 QC8W 仅增加 0.2–0.3% 的 WER。启用 SME2 后,FP16 处理时间下降 2.12 倍(9.79→4.61 s),QC8W 下降 1.61 倍(5.20→3.24 s),实时因子分别达到 0.19 和 0.13。ETDump 性能分析显示 GEMM 是主要加速来源,而数据搬运成为新的瓶颈。Arm Streamline 确认了 SME2 内核的选择(SME 利用率为 38–54%)。文章为开发者提供了一个实用框架,可根据准确率目标或延迟预算联合选择分块大小与精度。
💡 Main Points
流式 ASR 必须在部署时的分块大小下评估,而非依赖批量准确率
批量准确率无法预测流式质量;Qwen3-ASR-1.7B 在使用 2.4 秒分块评估时 WER 上升了 77%。更长的分块能提升最终转录准确率(FP16 的 WER 从 80 ms 到 1,120 ms 由 15.2% 降至 11.5%),但会增加响应延迟。
ExecuTorch 通过 XNNPACK 和 KleidiAI 将 PyTorch 模型连接到优化的 Arm CPU 内核
导出流水线将符合条件的算子委托给 XNNPACK,后者为 Arm CPU 选择 KleidiAI 微内核。SME2 扩展了矩阵乘法的指令集,启用后可为 FP16 和 INT8 QC8W 的 GEMM 运算提供 SME2 优化路径。
SME2 为边缘设备上的流式 ASR 带来显著的处理余量
在 Pixel 11 的中核 CPU 上,SME2 使整段录音的处理时间在 FP16 下缩短 2.12 倍,在 QC8W 下缩短 1.61 倍,实时因子分别达到 0.19 和 0.13。这为持续转录期间的其他 CPU 工作和热管理留出了容量。
通过 ETDump 和 Arm Streamline 进行性能分析,揭示 GEMM 是主要加速来源,数据搬运是下一个瓶颈
ETDump 显示 GEMM 时间从 8.2→3.1 s(FP16)和 4.1→2.0 s(QC8W)下降,但其占总时间的比例从 84%→67% 和 78%→62% 下降。数据搬运的相对占比从约 8%→17% 增长,限制了进一步加速,并指明了优化目标。
开发者应根据应用需求联合选择分块大小与精度
对于 13% 的 WER 上限,FP16 和 QC8W 在 320、560 和 1,120 ms 分块下均符合要求。对于 800 ms 的延迟预算,320 ms 和 560 ms 配置同时满足两项约束。文章提供了一个将主机端 WER 与设备端延迟估算配对的实用决策框架。
💬 Key Quotes
强大的批量准确率并不一定能延续到流式场景中。
更长的分块能提升最终转录准确率。
FP16 基本与 FP32 相当,在每个分块大小下差异均小于 0.03 个百分点。
SME2 大幅缩短了处理时间:FP16 从 9.79 秒降至 4.61 秒(快 2.12 倍),QC8W 从 5.20 秒降至 3.24 秒(快 1.61 倍)。
GEMM 驱动了大部分加速。
联合选择分块大小与精度。
📊 Article Meta
AI Screening: 90
Source: PyTorch
Author: Josiah Davis, Principal AI Engineer, Arm and Kshitij Sisodia, Principal Software Engineer, Arm
Category: 人工智能
Language: 英文
Read Time: 8 min
Word Count: 1975
Tags:
AI 与智能应用 , 模型训练与推理 , 性能优化 , 本地与端侧 AI , AI 工程
这个比较实用,已转发给同事。
点赞,必须点赞
赞同,实践出真知。
点赞,必须点赞
这个观点很中肯,深有同感。
楼主辛苦了,内容很有参考价值。
看标题就点进来了,内容果然没让人失望。
赞同,实践出真知。
思路清晰,干货满满。
点赞,必须点赞
看标题就点进来了,内容果然没让人失望。
看标题就点进来了,内容果然没让人失望。