TorchNeuron:在 AWS Trainium 上运行 HF 模型从未如此简单
📌 One-Sentence Summary
Hugging Face 宣布原生集成 TorchNeuron。这款全新的 PyTorch 后端通过支持即时执行和原生分布式 API,简化了在 AWS Trainium 上运行和训练 Transformers 与 Diffusers 模型的流程。
📝 Summary
Hugging Face 已集成面向 AWS Trainium 的 PyTorch 插件 TorchNeuron,逐步摆脱以编译器为核心的 optimum-neuron 方案。借助这项集成,Trainium 可以作为原生 PyTorch 设备使用,并支持即时模式、`torch.compile` 以及 FSDP 和张量并行(TP)等分布式原语。因此,Transformers、Diffusers、Accelerate、PEFT 和 TRL 等 HF 库现在无需使用 Neuron 专用分支,只用标准脚本即可在 Trainium 上运行。这项更新大幅提升了文本生成架构的开箱即用支持率,从 46% 增至 89%,并简化了推理和监督微调流程,同时保留与硬件无关的检查点,方便在 HF Hub 上共享。
💡 Main Points
从 optimum-neuron 转向 TorchNeuron 原生后端。
以往的工作流程依赖 PyTorch XLA(通过 optimum-neuron 使用),需要采用「像编译器一样思考」的方式处理惰性张量和静态形状。TorchNeuron 直接集成到 PyTorch 中,将「neuron」作为原生设备提供,并支持即时执行。
推理支持的模型架构大幅增加。
Transformers 原生支持的架构现已覆盖使用最广泛的 100 种文本生成架构中的 89%,远高于 Optimum Neuron v0.4.5 支持的 46%。
通过标准 HF 库简化训练流程。
现在可以在 Trainium 上使用标准 TRL、PEFT 和 Accelerate 脚本进行训练。张量并行(TP)和 FSDP 等并行方式通过 `model_init_kwargs` 中的 `DistributedConfig` 配置,无需专用的 Neuron 训练器或模型分支。
扩展对多模态模型和自定义内核的支持。
Diffusers 流水线(例如 FLUX、Qwen-Image)现在支持在 Neuron 上进行张量并行。此外,Neuron Kernel Interface(NKI)允许开发者将自定义优化内核分享到 HF Hub,以进一步提升速度。
💬 Key Quotes
TorchNeuron 改变了这一局面。它直接集成到 PyTorch 中,将 neuron 作为原生设备提供,并支持即时执行、PyTorch 自带的分布式原语(DTensor、FSDP2)以及 torch.compile。
从现在起,我们建议 Neuron 用户直接使用这些库,而不再通过 Optimum Neuron。
使用最广泛的 100 种文本生成模型架构中,有 89% 开箱即用即可获得支持;相比之下,Optimum Neuron v0.4.5 的支持率为 46%。
脚本中的任何内容都不依赖 Trainium:同一份代码可以在任何硬件上运行。
📊 Article Meta
AI Screening: 86
Source: Hugging Face - Blog
Author: Régis Pierrard, Simon Pagezy, Michael Benayoun, Jingya Huang, Alvaro Moran, David Corvoysier, Jeff Boudier
Category: 软件编程
Language: 英文
Read Time: 6 min
Word Count: 1408
Tags:
编程与工程 , 模型训练与推理 , 开放权重模型 , 云原生 / DevOps , Hugging Face
看标题就点进来了,内容果然没让人失望。
整理得太全面了,省了我不少时间。
很有价值的分享,感谢整理。
有没有更详细的教程,期待后续。
这个观点很中肯,深有同感。
实话,说的不明不白
楼主辛苦了,内容很有参考价值。
思路清晰,干货满满。
有没有更详细的教程,期待后续。
不错不错,已加入书签。
实测过类似工具,作者说的基本属实。
实测过类似工具,作者说的基本属实。