从 KTIR 到 SpyreCode:面向 IBM Spyre 的 MLIR 数据流后端

AI小蝌蚪行业资讯📡 BestBlogs·全站精选⭐ 902026-10-21430 阅读💛 67 收藏
从 KTIR 到 SpyreCode:面向 IBM Spyre 的 MLIR 数据流后端

📌 One-Sentence Summary

本文详细介绍了 torch-spyre 如何通过 KTIR 接口和数据流调度后端,将 Inductor 的决策转换为可执行的硬件指令,从而在 IBM Spyre 加速器上高效运行内核。

📝 Summary

本文阐述了后端编译器在 Spyre 软件栈中的作用,具体介绍了它如何读取 Kernel Tile IR(KTIR)并生成可执行代码。文章讲解了该加速器的数据并行抽象、KTIR 和 spyreop 方言定义的具体操作,以及数据流调度如何将高级指令转换为由加载、计算和存储操作组成的流水线。文章还介绍了 Spyre 内建指令的集成,以及如何处理分布式内存视图,以优化数据驻留与传输。

💡 Main Points

KTIR 是前端(Inductor)与后端编译器之间的契约,描述了加速器的数据并行视图:每个计算 tile 都能访问全局内存视图。

该 IR 具备足够的表达能力,既能处理由 Inductor 自动生成的映射,也能支持手写内核。它允许显式定义内存视图、访问 tile 和数据传输操作,确保后端能够准确理解前端对任务划分和数据放置所作的决策。

后端的主要职责是进行数据流调度,构建操作流水线,以高效执行内核。

调度器从简单的加载—计算—存储流水线开始,再通过迭代逐步加入双缓冲和多实例执行等功能。整个过程以一系列易读的 MLIR 重写表示,从而优化数据在加速器各个解耦执行引擎中的流动。

Spyre 内建指令通过 spyreop 方言提供,使内核代码能够直接调用硬件专用操作。

系统不依赖模式识别来查找特定硬件指令,而是通过 spyreop 方言显式提供 GELU 和 LayerNorm 等操作。这些内建指令被视为标准 MLIR 操作,可以与其他计算融合,并在编译过程中降级为硬件指令。

分布式内存视图能够高效处理分布在多个核心片上暂存区中的张量。

系统将各核心的内存视图合并为一个逻辑张量,使中间数据能够在多项操作之间驻留于片上暂存区。这样,各核心便可直接访问彼此的数据,无需将数据溢写到速度较慢的设备内存中,从而显著提升需要共享数据的操作的性能。

💬 Key Quotes

KTIR 以一种刻意简化的硬件模型为基础:一组核心,每个核心都有一个计算引擎和自己的片上暂存区;这些核心通过片上互连相连,而互连也连接到一个或多个片外存储器。

最重要的一点是,每个计算 tile 都能全局访问所有内存,包括自己的暂存区、其他所有核心的暂存区以及设备内存。

后端的工作是在这种映射内进行数据流调度。它不关心任务是如何划分的,只关心如何让任务运行起来。

调度器从最简单的合法流水线开始,逐步进行变换和优化;其中每一步都体现为易读的 MLIR 重写。

调度器的输出以 DataflowIR 表示,这是一种 MLIR 中间表示。Spyre 的设备专用阶段会使用它生成 SpyreCode;SpyreCode 包含符号化的 SpyreBinary 和一份任务计划。Spyre 运行时会预先准备该计划,并在后续多次启动时使用,每次启动时填入张量地址和形状。

📊 Article Meta

AI Screening: 90

Featured: Yes

Source: PyTorch

Author: Swagath Venkataramani, Bardia Mahjour, Prasanth Chatarasi, Alberto Mannari, Viji Srinivasan, and the IBM Spyre Team

Category: 人工智能

Language: 英文

Read Time: 27 min

Word Count: 6725

Tags:

AI 与智能应用 , 模型训练与推理 , 性能优化 , 开源项目 , 开源

#AI 与智能应用# 模型训练与推理# 性能优化# 开源项目# 开源

文章评论(12)

石佳琪25 天前

写得挺用心的,支持一下。

回复
星知秋25 天前

收藏了,以后慢慢研究。

回复
蓝问津25 天前

实测过类似工具,作者说的基本属实。

回复
星知秋25 天前

支持作者,持续关注中。

回复
星寻梦25 天前

这篇文章分析得很透彻,收藏了!

回复
漾漾其华25 天前

思路清晰,干货满满。

回复
风拾光25 天前

楼主辛苦了,内容很有参考价值。

回复
星寻梦25 天前

讲解得很细致,新手也能看懂。

回复
崔欣怡25 天前

作者写得真不错,学到了不少。

回复
空向阳25 天前

实话,说的不明不白

回复
龙文博25 天前

刚好最近在找这方面的资料,太及时了。

回复
松听风25 天前

楼主辛苦了,内容很有参考价值。

回复