TorchNeuron:在 AWS Trainium 上运行 HF 模型从未如此简单

AI小蝌蚪AI 前沿📡 BestBlogs·AI高分精选⭐ 862026-10-20590 阅读💛 107 收藏
TorchNeuron:在 AWS Trainium 上运行 HF 模型从未如此简单

📌 One-Sentence Summary

Hugging Face 宣布原生集成 TorchNeuron。这款全新的 PyTorch 后端通过支持即时执行和原生分布式 API,简化了在 AWS Trainium 上运行和训练 Transformers 与 Diffusers 模型的流程。

📝 Summary

Hugging Face 已集成面向 AWS Trainium 的 PyTorch 插件 TorchNeuron,逐步摆脱以编译器为核心的 optimum-neuron 方案。借助这项集成,Trainium 可以作为原生 PyTorch 设备使用,并支持即时模式、`torch.compile` 以及 FSDP 和张量并行(TP)等分布式原语。因此,Transformers、Diffusers、Accelerate、PEFT 和 TRL 等 HF 库现在无需使用 Neuron 专用分支,只用标准脚本即可在 Trainium 上运行。这项更新大幅提升了文本生成架构的开箱即用支持率,从 46% 增至 89%,并简化了推理和监督微调流程,同时保留与硬件无关的检查点,方便在 HF Hub 上共享。

💡 Main Points

从 optimum-neuron 转向 TorchNeuron 原生后端。

以往的工作流程依赖 PyTorch XLA(通过 optimum-neuron 使用),需要采用「像编译器一样思考」的方式处理惰性张量和静态形状。TorchNeuron 直接集成到 PyTorch 中,将「neuron」作为原生设备提供,并支持即时执行。

推理支持的模型架构大幅增加。

Transformers 原生支持的架构现已覆盖使用最广泛的 100 种文本生成架构中的 89%,远高于 Optimum Neuron v0.4.5 支持的 46%。

通过标准 HF 库简化训练流程。

现在可以在 Trainium 上使用标准 TRL、PEFT 和 Accelerate 脚本进行训练。张量并行(TP)和 FSDP 等并行方式通过 `model_init_kwargs` 中的 `DistributedConfig` 配置,无需专用的 Neuron 训练器或模型分支。

扩展对多模态模型和自定义内核的支持。

Diffusers 流水线(例如 FLUX、Qwen-Image)现在支持在 Neuron 上进行张量并行。此外,Neuron Kernel Interface(NKI)允许开发者将自定义优化内核分享到 HF Hub,以进一步提升速度。

💬 Key Quotes

TorchNeuron 改变了这一局面。它直接集成到 PyTorch 中,将 neuron 作为原生设备提供,并支持即时执行、PyTorch 自带的分布式原语(DTensor、FSDP2)以及 torch.compile。

从现在起,我们建议 Neuron 用户直接使用这些库,而不再通过 Optimum Neuron。

使用最广泛的 100 种文本生成模型架构中,有 89% 开箱即用即可获得支持;相比之下,Optimum Neuron v0.4.5 的支持率为 46%。

脚本中的任何内容都不依赖 Trainium:同一份代码可以在任何硬件上运行。

📊 Article Meta

AI Screening: 86

Source: Hugging Face - Blog

Author: Régis Pierrard, Simon Pagezy, Michael Benayoun, Jingya Huang, Alvaro Moran, David Corvoysier, Jeff Boudier

Category: 软件编程

Language: 英文

Read Time: 6 min

Word Count: 1408

Tags:

编程与工程 , 模型训练与推理 , 开放权重模型 , 云原生 / DevOps , Hugging Face

#编程与工程# 模型训练与推理# 开放权重模型# 云原生 / DevOps# Hugging Face

文章评论(12)

雪影27 天前

看标题就点进来了,内容果然没让人失望。

回复
星知秋27 天前

整理得太全面了,省了我不少时间。

回复
星知秋27 天前

很有价值的分享,感谢整理。

回复
蓝问津27 天前

有没有更详细的教程,期待后续。

回复
林观澜27 天前

这个观点很中肯,深有同感。

回复
蓝光27 天前

实话,说的不明不白

回复
墨沐雨27 天前

楼主辛苦了,内容很有参考价值。

回复
星寻梦26 天前

思路清晰,干货满满。

回复
漾漾其华26 天前

有没有更详细的教程,期待后续。

回复
龙文博26 天前

不错不错,已加入书签。

回复
蓝归舟26 天前

实测过类似工具,作者说的基本属实。

回复
星寻梦26 天前

实测过类似工具,作者说的基本属实。

回复