从零开始在仅执行推理的 NPU 上进行预训练：VKORE-46M-NPU

📌 One-Sentence Summary

VIDRAFT 成功地在仅执行推理的 NPU 上从零开始预训练了一款 4600 万参数的语言模型，证明了反向传播和优化更新可以在原来被认为不适合训练的硬件上执行。

📝 Summary

该文章报告了一项关于硬件利用率的重要突破：在推理专用 NPU 上成功进行了语言模型预训练。实验内容是：在 NPU 和 GPU 上，使用完全相同的条件训练 VKORE-46M-NPU 模型，结果显示两者的损失轨迹相关性高达 0.99。这高相关性证实了 NPU 能够执行所需的反向传播和梯度更新，从而有效弥合了该类硬件在推理和训练能力之间的鸿沟。

💡 Main Points

由于缺乏对反向传播和动态图表的支持，推理专用 NPU 通常被认为不适合用于训练。

传统的推理专用 NPU 经过优化，用于具有低精度和恒定权重的静态前向传递。它们缺乏反向传播所需的必要基础设施，例如已保存的激活值和优化器状态，而这些是训练所必需的。

VIDRAFT 证明了一个 4600 万参数的模型可以从零开始在 NPU 上进行训练，其损失轨迹与 GPU 参考结果相匹配。

通过在 NPU 和 GPU 上运行相同的训练计划，VIDRAFT 表明 NPU 能够执行必要的计算。损失曲线之间 0.99 的相关性表明，NPU 的反向传播和优化更新在数值上与 GPU 的结果等同。

这一能力允许将整个模型生命周期（预训练、微调和推理）整合到单一的、经济高效的硬件平台上。

有了在 NPU 上训练的能力，公司可以在单一类型的硬件上完成整个模型开发流程，从而降低成本并简化部署流程。这为在无需昂贵、高功耗 GPU 服务器的情况下进行现场训练提供了可能。

💬 Key Quotes

最有说服力的是这种方法。同样的模型在 32 芯片的 NPU 上和在 GPU 上，在完全相同的初始化、数据和时间表下，从零开始进行了训练。

📊 Article Meta

AI Screening： 90

Source： DEV Community: machinelearning

Author： AI OpenFree

Category： 人工智能

Language： 英文

Read Time： 3 min

Word Count： 545

Tags：

AI 与智能应用 , AI 硬件与芯片 , NPU , 模型训练 , 推理