UlaCache:面向稀疏 LLM 服务的统一逻辑寻址

星海拾光AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-11-02257 阅读💛 175 收藏
UlaCache:面向稀疏 LLM 服务的统一逻辑寻址

📌 One-Sentence Summary

UlaCache 为稀疏 LLM 服务中的 KV 缓存管理引入统一逻辑寻址系统,通过并行驱逐与传输机制,实现跨 GPU 与 CPU 存储的高效内存分配与检索。

📝 Summary

UlaCache 提出了一种面向稀疏注意力 LLM 推理的新型 KV 缓存管理系统。它实现了一个统一逻辑地址空间,覆盖 GPU KV 池与可选的 CPU 内存,使逻辑引用独立于物理位置而保持稳定。该系统通过通用的分配与稀疏访问接口,同时支持数据并行(DP)与张量并行(TP)注意力。在分布式存储方面,本地 GPU 缓冲区在解码步骤间保留选定的 KV 条目,从而最小化传输。启用 CPU 存储时,并行分桶 LRU(PB-LRU)管理共享 GPU 池,并行更新最近使用元数据并选择驱逐对象。在投机解码下,UlaCache 在 B300 GPU 上相比最先进基线实现最高 2.51 倍的吞吐加速。

💡 Main Points

统一逻辑寻址

UlaCache 使用覆盖 GPU KV 池与可选 CPU 内存的统一逻辑地址空间,使推理引擎能够独立于物理位置分配和选择 KV 条目,从而简化稀疏注意力场景下的内存管理。

并行分桶 LRU 驱逐

PB-LRU 算法管理跨请求共享的 GPU 池,并行更新最近使用元数据并选择驱逐对象,在启用 CPU 存储以支持大规模 KV 缓存时提升效率。

高效内存传输

本地 GPU 缓冲区在解码步骤间保留选定的 KV 条目,因此只有缺失条目需要在 GPU 与 CPU 之间传输,相比朴素方法减少了内存流量。

在启用投机解码的情况下,UlaCache 相比最先进基线在 H200 上实现峰值解码吞吐加速 1.16 倍(DP)与 1.70 倍(TP),在 B300 上实现 1.73 倍(DP)与 2.51 倍(TP)。

💬 Key Quotes

我们提出 UlaCache,一个围绕统一逻辑地址空间构建的 KV 缓存管理系统,该地址空间覆盖 GPU KV 池与可选的 CPU 内存。

稳定的逻辑引用使推理引擎能够独立于物理位置分配和选择 KV。

在 CPU 与 GPU 内存预算匹配且启用投机解码的情况下,UlaCache 在 H200 上实现峰值解码吞吐加速 1.16 倍(DP)与 1.70 倍(TP),在 B300 上实现 1.73 倍(DP)与 2.51 倍(TP)。

📊 Article Meta

AI Screening: 88

Source: Hacker News - Newest: "LLM"

Author: wslh

Category: 人工智能

Language: 英文

Read Time: 2 min

Word Count: 323

Tags:

AI 与智能应用 , LLM 推理优化 , 大语言模型 (LLM) , 系统设计 , KV Cache优化

#AI 与智能应用# LLM 推理优化# 大语言模型 (LLM)# 系统设计# KV Cache优化

文章评论(12)

蓝临风13 天前

很有价值的分享,感谢整理。

回复
石佳琪13 天前

看完了,收获满满,期待更多更新。

回复
山问津13 天前

支持作者,持续关注中。

回复
逐光而行13 天前

很有价值的分享,感谢整理。

回复
青柠微凉13 天前

作者写得真不错,学到了不少。

回复
风倚栏13 天前

作者写得真不错,学到了不少。

回复
杨丽华13 天前

不错不错,已加入书签。

回复
林拾贝13 天前

赞同,实践出真知。

回复
星观澜13 天前

讲解得很细致,新手也能看懂。

回复
一个橘子13 天前

楼主辛苦了,内容很有参考价值。

回复
山问津13 天前

写得挺用心的,支持一下。

回复
林拾贝13 天前

不错不错,已加入书签。

回复