扩展印度语言预训练：2.8 万亿 token 与开放数据生成流水线

📌 One-Sentence Summary

NVIDIA 与 AI4Bharat 发布 Nemotron-pretraining-Indic-v1，一个覆盖 22 种印度语言、约 2.8 万亿 token 的合成语料库，同时开源了用于翻译、质量评估与修复的 GPU 加速流水线。

📝 Summary

NVIDIA、IIT Madras 及其 AI4Bharat 实验室推出 Nemotron-pretraining-Indic-v1，这是一个约 2.8 万亿 token、覆盖 22 种印度语言的语料库，由 15 个 Nemotron-CC-v2 英文子集构建而成。此次发布包含一套开放的 GPU 加速生成流水线，涵盖提示词、LLM 工作流与质量检查。语料库包含 2，601.0 亿原生文字 token 和 224.6 亿罗马化 token，覆盖 34 种语言-文字配置。整个流程采用两套工作流：一套十二语言流水线，包含文档级翻译、受 MQM 启发的质量评估以及基于反馈的修复；另一套十语言流水线，使用 Bodhan AI 的 Indic Translate，并针对 Santali 和 Manipuri 进行文字特定处理。使用 100 亿印度语言 token 对 Nemotron 3.5 Super VL 进行持续预训练后，在五项印度语言基准上的得分提升了 4.98 至 9.82 个百分点。文章还详细介绍了如何加载语料库、调整配方，并坦承了自动化质量评估等局限性以及对自然印度语言文本的需求。

💡 Main Points

一个覆盖 22 种语言、2.8 万亿 token 的合成印度语言语料库随开放生成流水线一同发布。

Nemotron-pretraining-Indic-v1 包含 2，601.0 亿原生文字 token 和 224.6 亿罗马化 token，覆盖 34 种语言-文字配置，由 15 个 Nemotron-CC-v2 英文子集构建而成。开放配方包含提示词、LLM 工作流与质量检查，允许开发者将其适配到自己的源材料上。

两套不同的工作流针对不同语言组处理翻译、质量评估与修复。

十二语言工作流使用 Gemma-4-31B-it 进行文档级翻译和受 MQM 启发的评估，保留得分至少 75/100 的输出，并修复得分较低的内容，共恢复 438.4 亿 token。十语言工作流使用 Bodhan AI 的 Indic Translate，并对 Santali（重叠窗口）和 Manipuri（从孟加拉文字到 Meitei Mayek）进行特殊处理。

使用 100 亿印度语言 token 进行持续预训练，提升了五项印度语言任务的基准得分。

Nemotron 3.5 Super VL 的印度语言持续预训练阶段从十二语言子集和自然印度语言文本中增加了 100 亿 token（占训练预算的 10%）。在 MILU、Indic MMLU-Pro、Indic ARC-Challenge、Indic ARC-Easy 和 Indic GSM8K 上的得分提升了 4.98 至 9.82 个百分点，不过该对比是阶段级别的，并未单独分离出合成语料库的贡献。

发布的模型展现出更广泛的印度语言能力，但在指令遵循方面略有下降。

Nemotron 3.5 Super VL 在六项任务基准中的五项上得分更高，并在 IndiVibe 的全部四个维度（有用性、流畅度、语言与文字保真度、冗长度）上均有提升，但 IFEval 1.5 下降了 2.04 分。

此次发布包含实用指南，并坦承了局限性。

文章提供了加载语料库的代码，建议在固定 token 预算下比较混合数据并跟踪各语言结果，并指出质量评估主要是自动化的，保留的文本仍可能包含错误，且翻译不能替代自然印度语言文本。

💬 Key Quotes

我们很高兴推出 Nemotron-pretraining-Indic-v1，约 2.8 万亿 token，覆盖 22 种印度语言，即将与用于创建它的开放、GPU 加速数据生成流水线一同发布。

印度语言技术落后于英语，因为「我们没有足够的印度语言数据」。

这一过程在原生文字和罗马化数据中恢复了 438.4 亿 token，已计入语料库总量。

翻译拓宽了对源材料的获取途径，但并不能替代原本以印度语言撰写的文本，也无法保证覆盖本地知识与文化。

📊 Article Meta

AI Screening： 90

Featured： Yes

Source： Hugging Face - Blog

Author： Will Jennings, Kiran Praveen, Sriharsha Niverty, Raviraj Joshi, Markus Kliegl, Yev Meyer, Utkarsh Vaidya

Category： 人工智能

Language： 英文

Read Time： 9 min

Word Count： 2209

Tags：

AI 与智能应用 , 模型训练与推理 , 多模态 AI , 开放权重模型 , 机器翻译