UlaCache:面向稀疏 LLM 服务的统一逻辑寻址

📌 One-Sentence Summary
UlaCache 为稀疏 LLM 服务中的 KV 缓存管理引入统一逻辑寻址系统,通过并行驱逐与传输机制,实现跨 GPU 与 CPU 存储的高效内存分配与检索。
📝 Summary
UlaCache 提出了一种面向稀疏注意力 LLM 推理的新型 KV 缓存管理系统。它实现了一个统一逻辑地址空间,覆盖 GPU KV 池与可选的 CPU 内存,使逻辑引用独立于物理位置而保持稳定。该系统通过通用的分配与稀疏访问接口,同时支持数据并行(DP)与张量并行(TP)注意力。在分布式存储方面,本地 GPU 缓冲区在解码步骤间保留选定的 KV 条目,从而最小化传输。启用 CPU 存储时,并行分桶 LRU(PB-LRU)管理共享 GPU 池,并行更新最近使用元数据并选择驱逐对象。在投机解码下,UlaCache 在 B300 GPU 上相比最先进基线实现最高 2.51 倍的吞吐加速。
💡 Main Points
统一逻辑寻址
UlaCache 使用覆盖 GPU KV 池与可选 CPU 内存的统一逻辑地址空间,使推理引擎能够独立于物理位置分配和选择 KV 条目,从而简化稀疏注意力场景下的内存管理。
并行分桶 LRU 驱逐
PB-LRU 算法管理跨请求共享的 GPU 池,并行更新最近使用元数据并选择驱逐对象,在启用 CPU 存储以支持大规模 KV 缓存时提升效率。
高效内存传输
本地 GPU 缓冲区在解码步骤间保留选定的 KV 条目,因此只有缺失条目需要在 GPU 与 CPU 之间传输,相比朴素方法减少了内存流量。
在启用投机解码的情况下,UlaCache 相比最先进基线在 H200 上实现峰值解码吞吐加速 1.16 倍(DP)与 1.70 倍(TP),在 B300 上实现 1.73 倍(DP)与 2.51 倍(TP)。
💬 Key Quotes
我们提出 UlaCache,一个围绕统一逻辑地址空间构建的 KV 缓存管理系统,该地址空间覆盖 GPU KV 池与可选的 CPU 内存。
稳定的逻辑引用使推理引擎能够独立于物理位置分配和选择 KV。
在 CPU 与 GPU 内存预算匹配且启用投机解码的情况下,UlaCache 在 H200 上实现峰值解码吞吐加速 1.16 倍(DP)与 1.70 倍(TP),在 B300 上实现 1.73 倍(DP)与 2.51 倍(TP)。
📊 Article Meta
AI Screening: 88
Source: Hacker News - Newest: "LLM"
Author: wslh
Category: 人工智能
Language: 英文
Read Time: 2 min
Word Count: 323
Tags:
AI 与智能应用 , LLM 推理优化 , 大语言模型 (LLM) , 系统设计 , KV Cache优化
很有价值的分享,感谢整理。
看完了,收获满满,期待更多更新。
支持作者,持续关注中。
很有价值的分享,感谢整理。
作者写得真不错,学到了不少。
作者写得真不错,学到了不少。
不错不错,已加入书签。
赞同,实践出真知。
讲解得很细致,新手也能看懂。
楼主辛苦了,内容很有参考价值。
写得挺用心的,支持一下。
不错不错,已加入书签。