AWS 发布 TorchNeuron:Trainium 的原生 PyTorch 后端

星海拾光AI 前沿📡 BestBlogs·AI高分精选⭐ 862026-10-20560 阅读💛 11 收藏
AWS 发布 TorchNeuron:Trainium 的原生 PyTorch 后端

📌 One-Sentence Summary

AWS 宣布推出 TorchNeuron,这是面向 Trainium 的原生 PyTorch 后端,研究人员和工程师只需进行最少的代码修改,即可在 Trainium 上运行 PyTorch 工作负载。

📝 Summary

AWS 发布了开源的原生 PyTorch 后端 TorchNeuron,开发者只需更改一个设备设置(例如,使用 .to(「neuron」) 或 torch.compile(..., backend=「neuron」)),即可在 AWS Trainium AI 加速器上运行现有的 PyTorch 模型。该库同时支持 eager 执行和 torch.compile,并引入自适应 eager 模式,还提供用于开发自定义内核的 Neuron Kernel Interface(NKI)。TorchNeuron 与完整的 PyTorch 生态系统集成,包括分布式训练(DDP、FSDP、张量并行、流水线并行)、混合精度,以及通过 Neuron Explorer 进行性能分析。AWS 表示,该库经过了广泛测试:已在 Trainium 上运行 100k 个 Hugging Face 模型和超过 150k 项 PyTorch 上游测试,在算子方面实现了较高的兼容性。公告还介绍了 Cartesia、Deepgram 和 Hugging Face 等合作伙伴的采用情况,展现了原生 PyTorch 支持为 Trainium 上的大规模训练与推理带来的实际价值。

💡 Main Points

TorchNeuron 为 Trainium 提供原生 PyTorch 后端,用户只需进行少量代码修改即可运行模型。

通过 PrivateUse1 扩展点注册 Trainium 设备后,标准 PyTorch API(torch.nn、torch.tensor、torch.autocast、torch.distributed、torch.profiler)即可开箱即用,让研究人员无需离开 PyTorch 生态系统,就能进行实验和迭代。

TorchNeuron 同时支持 eager 执行和 torch.compile,并提供自适应 eager 模式以缩短启动延迟。

eager 模式会将操作直接分派到 Trainium;torch.compile 则会捕获模型计算图,并通过 Neuron 的 MLIR 后端进行编译,从而支持高性能生产推理。

TorchNeuron 提供用于开发自定义内核的 Neuron Kernel Interface(NKI),并包含 FlashAttention 和 MoE 分块内核等开源高性能内核。

开发者可以对新算子进行原型开发,或使用 NKI 内核替换标准 ATen 算子,从而精细控制 Trainium 上的性能。

该库与完整的 PyTorch 生态系统集成,支持分布式训练(DDP、FSDP、张量并行、流水线并行)、混合精度,以及通过 Neuron Explorer 进行性能分析。

这使大规模训练和推理工作负载能够在 Trainium 上运行,同时沿用适用于其他加速器的代码和工具。

AWS 表示,该库经过了广泛测试:在 Trainium 上运行了 100k 个 Hugging Face 模型和 154k 项 PyTorch 上游测试,在算子兼容性方面表现出色,同时也发现了有待改进的领域。

这些测试覆盖情况证明了该库的稳健性,并为后续改进指明方向,例如增加对稀疏张量和高级索引的支持。

💬 Key Quotes

「PyTorch 的愿景很明确:开发者应在不同硬件平台上获得一致的体验。对 AWS Trainium 的原生支持扩展了这一选择,使研究人员和工程师能够使用他们已熟悉的 eager 执行和分布式 API 进行实验和迭代。团队可以利用 Trainium 的能力,而无需重新构建工作流或离开 PyTorch 生态系统。」

「TorchNeuron 通过 PrivateUse1(PyTorch 用于自定义硬件的官方扩展点)注册 Trainium,因此标准 API 可按原样工作:torch.nn、torch.tensor、torch.autocast、torch.distributed 和 torch.profiler 均在 neuron 设备上运行。」

📊 Article Meta

AI Screening: 86

Source: AIHOT — 精选

Author: noreply@aihot.news (PyTorch:Blog)

Category: 人工智能

Language: 英文

Read Time: 28 min

Word Count: 6941

Tags:

AI 与智能应用 , AI 硬件与芯片 , 模型训练与推理 , AI 编程 , 开源项目

#AI 与智能应用# AI 硬件与芯片# 模型训练与推理# AI 编程# 开源项目

文章评论(12)

雪影26 天前

整理得太全面了,省了我不少时间。

回复
崔欣怡27 天前

实测过类似工具,作者说的基本属实。

回复
青柠微凉27 天前

支持作者,持续关注中。

回复
一叶知秋26 天前

点赞,必须点赞

回复
雪知秋26 天前

不错不错,已加入书签。

回复
南山客26 天前

写得挺用心的,支持一下。

回复
蓝临风26 天前

整理得太全面了,省了我不少时间。

回复
一叶知秋26 天前

这篇文章分析得很透彻,收藏了!

回复
林观澜26 天前

整理得太全面了,省了我不少时间。

回复
晨沐雨26 天前

赞同,实践出真知。

回复
竹听风26 天前

收藏了,以后慢慢研究。

回复
空向阳26 天前

收藏了,以后慢慢研究。

回复