仅通过推理 NPU 从头开始进行预训练：发布 VKORE-46M-NPU

📌 One-Sentence Summary

Vidraft 成功地使用仅用于推理的 NPU 从头训练了一个小型语言模型，该模型的损失轨迹与 GPU 基准线的相关性达到 0.99，这与业界认为该硬件缺乏必要反向传播能力的观点相矛盾。

📝 Summary

该实验表明，一个 32 芯片的推理专用 NPU 可以执行模型训练所需的所有复杂计算，包括反向传播和优化器更新。得到的模型 VKORE-46M-NPU 具有与在 GPU 上训练的模型相同的性能特征，证明了此前认为阻碍训练的硬件限制并不是不可克服的。

💡 Main Points

仅用于推理的 NPU 可以执行反向传播

VKORE-46M-NPU 的成功训练证明，即使没有专门的训练路径，仅用于推理的 NPU 硬件架构也足以处理模型优化所需的数学运算。

与 GPU 基准线的相关性高

NPU 训练模型的损失轨迹与 GPU 训练模型的损失轨迹几乎相同（相关性为 0.99），表明训练过程是稳定的，无论硬件类型如何，都能产生一致的结果。

分布式训练的可能性

这一能力使得模型训练能够在低功率、低成本的硬件上进行，从而让各组织机构可以本地进行敏感数据分析，而无需依赖昂贵、集中的 GPU 服务器。

💬 Key Quotes

两种硬件平台的损失轨迹相关性为 0.99，表明学习动态几乎完全相同。

📊 Article Meta

AI Screening： 90

Source： DEV Community: machinelearning

Author： Vidraft_lab

Category： 人工智能

Language： 英文

Read Time： 2 min

Word Count： 401

Tags：

AI 与智能应用 , AI 硬件与芯片 , 模型训练与推理 , AI 工程 , NVIDIA