在 TPU 上加速视频扩散模型的时空注意力

📌 One-Sentence Summary

Google 研究人员通过在 TPU 上实现稀疏时空注意力，优化了视频扩散模型并实现了显著的生成速度提升。

📝 Summary

本文技术文章详述了在 TPU 上使用 MaxText 框架复现和优化视频扩散模型的工程挑战。作者发现，随着分辨率增加，序列长度随之增长，自注意力机制成为视频生成的主要瓶颈。通过识别不同的注意力头专门负责空间或时间模式，他们开发了一种稀疏注意力策略（SVG）。报告重点强调了关键的硬件级优化，例如跳过空分块、通过分块专门化避免分块内掩码，以及对齐注意力掩码以匹配硬件执行模式，最终为 720p 视频生成实现了 1.28 倍的端到端加速。

💡 Main Points

自注意力是视频扩散中的主要瓶颈

随着分辨率增加，序列长度呈平方级增长，导致自注意力延迟从 720p 时占层时间的 55.5% 上升到 1440p 的 88.2%。

头专门化实现了有效的稀疏性

不同的注意力头表现出规律的几何结构；空间头关注局部帧补丁，而时间头跟踪跨帧运动，从而允许结构化的稀疏掩码。

逻辑稀疏性不等同于物理加速

为了在 TPU 上获得实际速度，必须将理论掩码转换为硬件友好的操作，例如跳过空分块并使用专门路径避免在访问的分块内进行逐元素掩码。

布局变换对内存效率至关重要

将 Token 从帧优先顺序转换为时间优先顺序，可以将跨帧的空间标记分组到连续内存中，从而允许分块稀疏内核进行高效遍历。

💬 Key Quotes

逻辑稀疏性并非物理稀疏性

TPU 上高效的稀疏注意力取决于硬件能规避多少工作，而不仅仅是掩码删除了多少注意力对。

全注意力机制随序列长度呈平方级扩展。

📊 Article Meta

AI Screening： 90

Featured： Yes

Source： Google Developers Blog

Author： Ravisri Valluri, Sagar Chapara, Rishabh Manoj

Category： 人工智能

Language： 英文

Read Time： 11 min

Word Count： 2597

Tags：

AI 与智能应用 , AI 工程 , 性能优化 , 机器学习 , AI 硬件与芯片