Zyphra ZYFA:AMD MI355X 上的 FP8 FlashAttention,最高快 1.76x

📌 One-Sentence Summary
Zyphra 发布 ZYFA,这是面向 AMD MI355X GPU 的开源 FP8/BF16 FlashAttention 内核库;与 AITER 相比,速度最高提升 1.76x,FP8 误差降低 62-78%。
📝 Summary
Zyphra 发布 ZYFA(Zyphra FlashAttention on AMD),这是一个为 AMD Instinct MI355X GPU 实现 FP8 和 BF16 因果前向注意力的内核库。在真实模型激活数据上,该库的吞吐量比 AITER 提升 1.16-1.76x;在 head dimension 为 128 时,FP8 误差比 AITER 低 62-78%。在 32K tokens 下,ZYFA 的 FP8 性能达到 2,672 TFLOP/s,相当于数据手册峰值的 53%;AITER 则为 39%。该系统采用三种技术:Lean P(用乘加运算替代指数运算)、双波乒乓调度和分块缩放。由于时钟频率不同,实际性能表现也会有所差异:在 Mistral-7B 上,ZYFA 的运行频率为 1,628 MHz,AITER 为 2,108 MHz。该代码以 Apache 2.0 协议开源。
💡 Main Points
在真实模型激活数据上,ZYFA 比 AITER 快 1.16-1.76x
在基于真实激活数据的 FP8 内核测试中,与 AMD 默认内核库 AITER 相比,ZYFA 的吞吐量分别提升 1.16x(Mistral-7B)、1.17x(Qwen3-8B)和 1.76x(DeepSeek-V2-Lite)。
head dimension 为 128 时,FP8 误差比 AITER 低 62-78%
与 fp64 注意力结果相比,ZYFA 的 FP8 误差在 Mistral-7B 上为 AITER 的 0.22x,在 Qwen3-8B 上为 0.38x。相较于 fp64,ZYFA 的 KL 散度为 3.4×10⁻³,AITER 则为 5.9×10⁻³。
三种优化技术带来了性能提升
Lean P 用 1 次乘加运算替代指数运算;双波乒乓调度让矩阵单元在 86% 的周期内保持繁忙;分块缩放结合取整后的行和,则利用 CDNA4 的缩放矩阵指令实现高效计算。
在 MI355X 上,性能瓶颈在 softmax,而非矩阵运算
FP8 矩阵运算需要 1,024 个周期,而 softmax 需要 896 个向量周期,因此两者需要近乎完美地重叠执行。AITER 的矩阵流水线有 31.7% 的周期处于空闲状态,ZYFA 的调度正是针对这一问题进行优化。
时钟频率差异会影响真实模型上的性能提升
在 Mistral-7B 上,由于操作数的位模式不同,ZYFA 的运行频率为 1,628 MHz,低于 AITER 的 2,108 MHz;但总体而言,ZYFA 仍然使用了更少的周期。
💬 Key Quotes
「ZYFA 是 Zyphra 面向长上下文预填充的 FP8 注意力引擎,代码以 Apache 2.0 协议开源。」
「在真实模型激活数据上,ZYFA 的 FP8 内核比 AMD 默认内核库 AITER 快 1.16-1.76x。」
「head dimension 为 128 时,ZYFA 的 FP8 误差比 AITER 低 62-78%。」
「在 32K tokens 下,ZYFA 的 FP8 性能达到 2,672 TFLOP/s,相当于 FP8 数据手册峰值的 53%。」
「ZYFA 使用 3 种技术:Lean P、双波乒乓调度和分块缩放。」
📊 Article Meta
AI Screening: 85
Source: MarkTechPost
Author: Michal Sutter
Category: 人工智能
Language: 英文
Read Time: 5 min
Word Count: 1008
Tags:
AI 与智能应用 , 性能优化 , 模型训练与推理 , AI Agent , LLM 推理优化
整理得太全面了,省了我不少时间。
刚好最近在找这方面的资料,太及时了。
收藏了,以后慢慢研究。
支持作者,持续关注中。
实测过类似工具,作者说的基本属实。
有没有更详细的教程,期待后续。
路过
实测过类似工具,作者说的基本属实。
整理得太全面了,省了我不少时间。
整理得太全面了,省了我不少时间。
作者写得真不错,学到了不少。
内容翔实,正好需要,先收藏再看。