从零开始在推理专用 NPU 上训练 LLM——无需 GPU

📌 One-Sentence Summary

VIDRAFT 成功在推理专用 NPU 上预训练了具有 4600 万参数的语言模型 VKORE-46M-NPU，其损失轨迹与 GPU 基准的相关性达到 0.99，这表明在未为训练设计好的硬件上实现反向传播是可行的。

📝 Summary

该实验证实，推理专用 NPU 可以被重新用于完整模型预训练。通过在 NPU 硬件之上实施自定义软件抽象，VIDRAFT 实现了标准的反向传播操作，从而构建了一个与 GPU 训练模型性能相当的模型。这开启了利用现有硬件进行 AI 开发的新可能性。

💡 Main Points

推理专用 NPU 可以执行反向传播

VKORE-46M-NPU 的成功训练证明，通过正确的软件实现，可以克服推理专用硬件的计算限制，从而进行完整模型预训练。

高保真度等于 GPU 训练

损失轨迹相关性为 0.99 表明，基于 NPU 的训练过程在数学上等同于标准的 GPU 训练，确保了即使硬件更改，模型质量也不会受损。

需要自定义软件

由于标准训练框架不支持推理专用 NPU，因此必须开发一个自定义层（VKORE）来弥合硬件架构与所需训练算法之间的差距。

💬 Key Quotes

该模型基于公共数据集训练而成，能够生成短篇英文故事。

📊 Article Meta

AI Screening： 88

Source： DEV Community: machinelearning

Author： AI OpenFree

Category： 人工智能

Language： 英文

Read Time： 4 min

Word Count： 815

Tags：

AI 与智能应用 , AI 硬件与芯片 , 模型训练与推理 , 性能优化 , 大语言模型