将 NVIDIA Nemotron 微调用于沙特方言，并为其他语言铺平道路

📌 One-Sentence Summary

NVIDIA 展示了如何将 Nemotron 3.5 ASR 微调以适配沙特那吉迪和海贾兹方言，通过最小的数据编排、回放混合和分桶批处理，将 WER 从 55% 降至 30%，同时保持英语和阿拉伯语的性能。

📝 Summary

这篇 NVIDIA 技术文章详细介绍了如何使用 NeMo 框架将 Nemotron 3.5 ASR（一款覆盖 40 种语言地区的多语言流式模型）适配沙特阿拉伯方言。该工作流程分为五个阶段：在不丢弃困难语音（保留 125，490 条语音中的 103，559 条，即 82.5%）的情况下构建低资源语料库，从单一数据集开始并监控其行为；然后应用三种有效的调整：将目标范围缩小到那吉迪和海贾兹，添加占 10% 的 FLEURS 回放流（其中 7% 为英语，3% 为阿拉伯语）以减轻灾性遗忘，以及启用基于时长的分桶策略。在两块 GPU 上训练 12，000 步后，SADA 那吉迪+海贾兹方言的 WER 从 55.05% 降至 29.96%，CER 从 31.63% 降至 12.18%，同时 FLEURS 英语的 WER 略有提高，从 11.04% 降至 10.42%。文章还比较了不同的适配深度（顶部 6 层、顶部 8 层、全部 24 层编码层），表明在拥有 134 小时的目标语音时，完全微调取得最佳效果，并展示了在推理阶段通过更大的注意力上下文和 MALSD 束搜索带来的准确度提升（最多可提升 2.71 个百分点），代价是增加了延迟。最后提供了将该方法应用于其他语言以及结合说话人分离的指导。

💡 Main Points

将多语言 ASR 模型微调以适配特定方言，需要的数据编排应移除结构性错误的数据，而非硬 accents 或嘈杂语音。

该流水线会过滤时长在 0.5–30 秒之外的音频片段、包含不合理字符率的转录文本以及 SADA 中的「غيرواضح」标注标记，最终保留 125，490 条语音中的 103，559 条（82.5%）。作者警告，默认的质量阈值可能是错误的：UTMOS 截止值为 3.0 会导致几乎所有内容被拒绝，因此他们首先运行了仅评分模式，并设置了语料库特定的截止值（UTMOS ≥ 1.25，SIGMOS 噪声 ≥ 1.5）。

回放混合和基于时长的分桶是带来大多数性能提升的关键调整，但两者都存在非直观的配置陷阱。

需要将占 10% 的 FLEURS 回放流（7% 英语，3% 阿拉伯语）与 90% 的沙特语音一起声明为 weighted input_cfg，而非简单拼接文件，因为滑动窗口的随机洗牌可能直到训练后期才会接触到追加的数据行。启用基于时长的分桶需要设置 use_bucketing=True；仅设置 num_buckets 是一个静默无效的操作。结合将目标范围缩小到那吉迪和海贾兹方言，这些调整在 12，000 步的训练过程中将 SADA 那吉迪+海贾兹方言的 WER 从 55.05% 降至 29.96%。

专注于两个方言并未降低其他语言的性能；英语和阿拉伯语的保持效果实际上略有提升。

FLEURS 英语的 WER 从 11.04% 降至 10.42%，FLEURS 阿拉伯语的 WER 从 12.67% 降至 11.41%，而完整 SADA 的 WER 从 58.84% 降至 35.61%。作者认为这是由于回放混合在适配过程中保持模型对旧任务的关注所致。

适配深度是数据量的决定因素：在拥有 134 小时的目标语音时，更新全部 24 层编码层优于部分冻结。

顶部 6 层的 WER 达到 33.42%，顶部 8 层达到 32.32%，而完全微调在那吉迪+海贾兹测试集上达到 29.96%。作者强调，这是关于其数据量的发现，而非普遍规则 —— 当语料库较少或内存成为主要约束时，冻结部分层将成为更明智的选择。

推理阶段的设置可以在不重新训练的情况下提升准确度，但代价是增加延迟，而非训练成本。

将注意力上下文从 [56， 3] 调整为 [56， 13]，在增加约 800 毫秒缓冲的情况下，将 WER 降低 1.31 个绝对百分点；MALSD 束搜索（beam-8）结合 [56， 13] 则达到 27.25% 的 WER（下降 2.71 个百分点）。作者指出，这种方法适合批量转录（如呼叫录音存档），但可能不适用于实时字幕显示，并且这些结论仅限于 MALSD，未评估 MAES 和 NGPU-LM 融合方法。

💬 Key Quotes

自动语音识别必须处理人们实际说话的方式，而不仅仅是主导预训练数据的语言和风格。

我们的目标是删除结构性错误的示例，而非因为基模型在这些示例上表现不佳而删除困难 accents 或嘈杂语音。

请注意，仅设置 num_buckets 不起任何作用；use_bucketing 默认为 False，因此在未开启标志的情况下设置分桶数量是一个静默无效的操作，看起来已配置但实际上什么都不做。

正确的设置应由部署场景决定，而非准确率数值。

这是一个关于当前数据量的发现，而非普遍规则。

📊 Article Meta

AI Screening： 88

Source： NVIDIA Technical Blog

Author： Elizabeth Goodman

Category： 人工智能

Language： 英文

Read Time： 11 min

Word Count： 2548

Tags：

AI 与智能应用 , 模型训练与推理 , 多模态 AI , AI 工程 , 性能优化