从 KTIR 到 SpyreCode:面向 IBM Spyre 的 MLIR 数据流后端

📌 One-Sentence Summary
本文详细介绍了 torch-spyre 如何通过 KTIR 接口和数据流调度后端,将 Inductor 的决策转换为可执行的硬件指令,从而在 IBM Spyre 加速器上高效运行内核。
📝 Summary
本文阐述了后端编译器在 Spyre 软件栈中的作用,具体介绍了它如何读取 Kernel Tile IR(KTIR)并生成可执行代码。文章讲解了该加速器的数据并行抽象、KTIR 和 spyreop 方言定义的具体操作,以及数据流调度如何将高级指令转换为由加载、计算和存储操作组成的流水线。文章还介绍了 Spyre 内建指令的集成,以及如何处理分布式内存视图,以优化数据驻留与传输。
💡 Main Points
KTIR 是前端(Inductor)与后端编译器之间的契约,描述了加速器的数据并行视图:每个计算 tile 都能访问全局内存视图。
该 IR 具备足够的表达能力,既能处理由 Inductor 自动生成的映射,也能支持手写内核。它允许显式定义内存视图、访问 tile 和数据传输操作,确保后端能够准确理解前端对任务划分和数据放置所作的决策。
后端的主要职责是进行数据流调度,构建操作流水线,以高效执行内核。
调度器从简单的加载—计算—存储流水线开始,再通过迭代逐步加入双缓冲和多实例执行等功能。整个过程以一系列易读的 MLIR 重写表示,从而优化数据在加速器各个解耦执行引擎中的流动。
Spyre 内建指令通过 spyreop 方言提供,使内核代码能够直接调用硬件专用操作。
系统不依赖模式识别来查找特定硬件指令,而是通过 spyreop 方言显式提供 GELU 和 LayerNorm 等操作。这些内建指令被视为标准 MLIR 操作,可以与其他计算融合,并在编译过程中降级为硬件指令。
分布式内存视图能够高效处理分布在多个核心片上暂存区中的张量。
系统将各核心的内存视图合并为一个逻辑张量,使中间数据能够在多项操作之间驻留于片上暂存区。这样,各核心便可直接访问彼此的数据,无需将数据溢写到速度较慢的设备内存中,从而显著提升需要共享数据的操作的性能。
💬 Key Quotes
KTIR 以一种刻意简化的硬件模型为基础:一组核心,每个核心都有一个计算引擎和自己的片上暂存区;这些核心通过片上互连相连,而互连也连接到一个或多个片外存储器。
最重要的一点是,每个计算 tile 都能全局访问所有内存,包括自己的暂存区、其他所有核心的暂存区以及设备内存。
后端的工作是在这种映射内进行数据流调度。它不关心任务是如何划分的,只关心如何让任务运行起来。
调度器从最简单的合法流水线开始,逐步进行变换和优化;其中每一步都体现为易读的 MLIR 重写。
调度器的输出以 DataflowIR 表示,这是一种 MLIR 中间表示。Spyre 的设备专用阶段会使用它生成 SpyreCode;SpyreCode 包含符号化的 SpyreBinary 和一份任务计划。Spyre 运行时会预先准备该计划,并在后续多次启动时使用,每次启动时填入张量地址和形状。
📊 Article Meta
AI Screening: 90
Featured: Yes
Source: PyTorch
Author: Swagath Venkataramani, Bardia Mahjour, Prasanth Chatarasi, Alberto Mannari, Viji Srinivasan, and the IBM Spyre Team
Category: 人工智能
Language: 英文
Read Time: 27 min
Word Count: 6725
Tags:
AI 与智能应用 , 模型训练与推理 , 性能优化 , 开源项目 , 开源
写得挺用心的,支持一下。
收藏了,以后慢慢研究。
实测过类似工具,作者说的基本属实。
支持作者,持续关注中。
这篇文章分析得很透彻,收藏了!
思路清晰,干货满满。
楼主辛苦了,内容很有参考价值。
讲解得很细致,新手也能看懂。
作者写得真不错,学到了不少。
实话,说的不明不白
刚好最近在找这方面的资料,太及时了。
楼主辛苦了,内容很有参考价值。