Zyphra ZYFA:AMD MI355X 上的 FP8 FlashAttention,最高快 1.76x

王者归来已是老翁AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-11-07271 阅读💛 79 收藏
Zyphra ZYFA:AMD MI355X 上的 FP8 FlashAttention,最高快 1.76x

📌 One-Sentence Summary

Zyphra 发布 ZYFA,这是面向 AMD MI355X GPU 的开源 FP8/BF16 FlashAttention 内核库;与 AITER 相比,速度最高提升 1.76x,FP8 误差降低 62-78%。

📝 Summary

Zyphra 发布 ZYFA(Zyphra FlashAttention on AMD),这是一个为 AMD Instinct MI355X GPU 实现 FP8 和 BF16 因果前向注意力的内核库。在真实模型激活数据上,该库的吞吐量比 AITER 提升 1.16-1.76x;在 head dimension 为 128 时,FP8 误差比 AITER 低 62-78%。在 32K tokens 下,ZYFA 的 FP8 性能达到 2,672 TFLOP/s,相当于数据手册峰值的 53%;AITER 则为 39%。该系统采用三种技术:Lean P(用乘加运算替代指数运算)、双波乒乓调度和分块缩放。由于时钟频率不同,实际性能表现也会有所差异:在 Mistral-7B 上,ZYFA 的运行频率为 1,628 MHz,AITER 为 2,108 MHz。该代码以 Apache 2.0 协议开源。

💡 Main Points

在真实模型激活数据上,ZYFA 比 AITER 快 1.16-1.76x

在基于真实激活数据的 FP8 内核测试中,与 AMD 默认内核库 AITER 相比,ZYFA 的吞吐量分别提升 1.16x(Mistral-7B)、1.17x(Qwen3-8B)和 1.76x(DeepSeek-V2-Lite)。

head dimension 为 128 时,FP8 误差比 AITER 低 62-78%

与 fp64 注意力结果相比,ZYFA 的 FP8 误差在 Mistral-7B 上为 AITER 的 0.22x,在 Qwen3-8B 上为 0.38x。相较于 fp64,ZYFA 的 KL 散度为 3.4×10⁻³,AITER 则为 5.9×10⁻³。

三种优化技术带来了性能提升

Lean P 用 1 次乘加运算替代指数运算;双波乒乓调度让矩阵单元在 86% 的周期内保持繁忙;分块缩放结合取整后的行和,则利用 CDNA4 的缩放矩阵指令实现高效计算。

在 MI355X 上,性能瓶颈在 softmax,而非矩阵运算

FP8 矩阵运算需要 1,024 个周期,而 softmax 需要 896 个向量周期,因此两者需要近乎完美地重叠执行。AITER 的矩阵流水线有 31.7% 的周期处于空闲状态,ZYFA 的调度正是针对这一问题进行优化。

时钟频率差异会影响真实模型上的性能提升

在 Mistral-7B 上,由于操作数的位模式不同,ZYFA 的运行频率为 1,628 MHz,低于 AITER 的 2,108 MHz;但总体而言,ZYFA 仍然使用了更少的周期。

💬 Key Quotes

「ZYFA 是 Zyphra 面向长上下文预填充的 FP8 注意力引擎,代码以 Apache 2.0 协议开源。」

「在真实模型激活数据上,ZYFA 的 FP8 内核比 AMD 默认内核库 AITER 快 1.16-1.76x。」

「head dimension 为 128 时,ZYFA 的 FP8 误差比 AITER 低 62-78%。」

「在 32K tokens 下,ZYFA 的 FP8 性能达到 2,672 TFLOP/s,相当于 FP8 数据手册峰值的 53%。」

「ZYFA 使用 3 种技术:Lean P、双波乒乓调度和分块缩放。」

📊 Article Meta

AI Screening: 85

Source: MarkTechPost

Author: Michal Sutter

Category: 人工智能

Language: 英文

Read Time: 5 min

Word Count: 1008

Tags:

AI 与智能应用 , 性能优化 , 模型训练与推理 , AI Agent , LLM 推理优化

#AI 与智能应用# 性能优化# 模型训练与推理# AI Agent# LLM 推理优化

文章评论(12)

星寻梦8 天前

整理得太全面了,省了我不少时间。

回复
邱文博8 天前

刚好最近在找这方面的资料,太及时了。

回复
晨沐雨8 天前

收藏了,以后慢慢研究。

回复
一叶知秋9 天前

支持作者,持续关注中。

回复
竹听风8 天前

实测过类似工具,作者说的基本属实。

回复
墨向阳8 天前

有没有更详细的教程,期待后续。

回复
邱文博8 天前

路过

回复
暮拾贝8 天前

实测过类似工具,作者说的基本属实。

回复
星寻梦8 天前

整理得太全面了,省了我不少时间。

回复
曹浩8 天前

整理得太全面了,省了我不少时间。

回复
白向阳8 天前

作者写得真不错,学到了不少。

回复
山问津8 天前

内容翔实,正好需要,先收藏再看。

回复