为 IBM Spyre 加速器扩展 Inductor

📌 One-Sentence Summary

IBM 介绍了如何通过扩展 Inductor 后端将 Spyre AI 加速器集成到 PyTorch 中，专注于面向能效推理的数据流优化编译。

📝 Summary

本文描述了 IBM Spyre 加速器软件栈从自定义框架（sendnn）向 PyTorch Inductor 的转变。与 GPU 不同，Spyre 是一种 75W 的数据流架构，使用本地暂存内存（scratchpads）而非共享缓存。作者解释了他们如何解决三个特定的硬件挑战：张量“粘滞”（固定大小块）、手动暂存内存管理以及静态核心分配。他们还引入了一种协同优化方法，通过平衡工作划分与暂存内存分配来最大限度地减少内存流量。

💡 Main Points

迁移至 Inductor 后端

通过从自定义的 'sendnn' 栈迁移到 PyTorch 的 Inductor，IBM 在利用现有 torch.compile 生态系统的同时，实现了体积缩小 7 倍的编译器。

处理“粘滞”而非元素

Spyre 以固定的 128 字节块（fp16 下 64 个值）而非单个元素移动数据，这要求编译器处理复杂的索引和“粘滞化”操作以保持兼容性。

显式暂存内存管理

由于 Spyre 缺乏硬件共享缓存，编译器必须显式调度全局设备内存与本地 2MB 暂存内存之间的每次数据移动，以避免内存瓶颈。

静态核心分配

Spyre 作为没有运行时调度器的静态数据流机器运行，这意味着跨核心的工作划分必须完全在编译时确定。

工作划分与分配的协同方式

为了防止相邻操作需要不同数据布局导致的“工作划分不匹配”，团队正转向一种求解器，该求解器能够同时优化核心拆分和暂存内存布局。

💬 Key Quotes

IBM 将 Spyre 设计为针对企业级工作负载的纯净 AI 加速器，优先考虑能效比。

Inductor 证明是这项工作的理想基底，其结果是一个比所取代的编译器小约 7 倍的编译器。

Spyre 上的负载通常是受限于内存的而非受限于计算的。

📊 Article Meta

AI Screening： 91

Featured： Yes

Source： PyTorch

Author： Dave Grove, Olivier Tardieu, IBM Spyre Team

Category： 人工智能

Language： 英文

Read Time： 15 min

Word Count： 3580

Tags：

AI 与智能应用 , AI 硬件与芯片 , AI基础设施 , LLM 推理优化 , 后端开发