AWS 发布 TorchNeuron:Trainium 的原生 PyTorch 后端

📌 One-Sentence Summary
AWS 宣布推出 TorchNeuron,这是面向 Trainium 的原生 PyTorch 后端,研究人员和工程师只需进行最少的代码修改,即可在 Trainium 上运行 PyTorch 工作负载。
📝 Summary
AWS 发布了开源的原生 PyTorch 后端 TorchNeuron,开发者只需更改一个设备设置(例如,使用 .to(「neuron」) 或 torch.compile(..., backend=「neuron」)),即可在 AWS Trainium AI 加速器上运行现有的 PyTorch 模型。该库同时支持 eager 执行和 torch.compile,并引入自适应 eager 模式,还提供用于开发自定义内核的 Neuron Kernel Interface(NKI)。TorchNeuron 与完整的 PyTorch 生态系统集成,包括分布式训练(DDP、FSDP、张量并行、流水线并行)、混合精度,以及通过 Neuron Explorer 进行性能分析。AWS 表示,该库经过了广泛测试:已在 Trainium 上运行 100k 个 Hugging Face 模型和超过 150k 项 PyTorch 上游测试,在算子方面实现了较高的兼容性。公告还介绍了 Cartesia、Deepgram 和 Hugging Face 等合作伙伴的采用情况,展现了原生 PyTorch 支持为 Trainium 上的大规模训练与推理带来的实际价值。
💡 Main Points
TorchNeuron 为 Trainium 提供原生 PyTorch 后端,用户只需进行少量代码修改即可运行模型。
通过 PrivateUse1 扩展点注册 Trainium 设备后,标准 PyTorch API(torch.nn、torch.tensor、torch.autocast、torch.distributed、torch.profiler)即可开箱即用,让研究人员无需离开 PyTorch 生态系统,就能进行实验和迭代。
TorchNeuron 同时支持 eager 执行和 torch.compile,并提供自适应 eager 模式以缩短启动延迟。
eager 模式会将操作直接分派到 Trainium;torch.compile 则会捕获模型计算图,并通过 Neuron 的 MLIR 后端进行编译,从而支持高性能生产推理。
TorchNeuron 提供用于开发自定义内核的 Neuron Kernel Interface(NKI),并包含 FlashAttention 和 MoE 分块内核等开源高性能内核。
开发者可以对新算子进行原型开发,或使用 NKI 内核替换标准 ATen 算子,从而精细控制 Trainium 上的性能。
该库与完整的 PyTorch 生态系统集成,支持分布式训练(DDP、FSDP、张量并行、流水线并行)、混合精度,以及通过 Neuron Explorer 进行性能分析。
这使大规模训练和推理工作负载能够在 Trainium 上运行,同时沿用适用于其他加速器的代码和工具。
AWS 表示,该库经过了广泛测试:在 Trainium 上运行了 100k 个 Hugging Face 模型和 154k 项 PyTorch 上游测试,在算子兼容性方面表现出色,同时也发现了有待改进的领域。
这些测试覆盖情况证明了该库的稳健性,并为后续改进指明方向,例如增加对稀疏张量和高级索引的支持。
💬 Key Quotes
「PyTorch 的愿景很明确:开发者应在不同硬件平台上获得一致的体验。对 AWS Trainium 的原生支持扩展了这一选择,使研究人员和工程师能够使用他们已熟悉的 eager 执行和分布式 API 进行实验和迭代。团队可以利用 Trainium 的能力,而无需重新构建工作流或离开 PyTorch 生态系统。」
「TorchNeuron 通过 PrivateUse1(PyTorch 用于自定义硬件的官方扩展点)注册 Trainium,因此标准 API 可按原样工作:torch.nn、torch.tensor、torch.autocast、torch.distributed 和 torch.profiler 均在 neuron 设备上运行。」
📊 Article Meta
AI Screening: 86
Source: AIHOT — 精选
Author: noreply@aihot.news (PyTorch:Blog)
Category: 人工智能
Language: 英文
Read Time: 28 min
Word Count: 6941
Tags:
AI 与智能应用 , AI 硬件与芯片 , 模型训练与推理 , AI 编程 , 开源项目
整理得太全面了,省了我不少时间。
实测过类似工具,作者说的基本属实。
支持作者,持续关注中。
点赞,必须点赞
不错不错,已加入书签。
写得挺用心的,支持一下。
整理得太全面了,省了我不少时间。
这篇文章分析得很透彻,收藏了!
整理得太全面了,省了我不少时间。
赞同,实践出真知。
收藏了,以后慢慢研究。
收藏了,以后慢慢研究。