SGLang 中的统一记忆:为每种 Token 生命周期提供一个内存区

AI小蝌蚪行业资讯📡 BestBlogs·全站精选⭐ 922026-11-13463 阅读💛 276 收藏
SGLang 中的统一记忆:为每种 Token 生命周期提供一个内存区

📌 One-Sentence Summary

SGLang 推出统一内存系统,将全注意力 KV、滑动窗口 KV 和循环状态整合到单个 GPU 内存区中,取消固定内存分区,并通过支持压缩的动态分配,适配多种服务场景下的混合模型。

📝 Summary

本文介绍了 SGLang 的统一内存架构:它以单个可动态扩展的 GPU 内存区,取代传统的固定分区内存池。该系统管理 3 种不同的状态类型——全注意力 KV、滑动窗口 KV 和循环状态;它们的内存需求各不相同,且彼此独立地增长。通过采用按需分配模型和延迟压缩机制,内存区允许有界和无界状态利用可用空间增长,无需手动调优。该设计引入了按 Token 划分的条目布局,将所有层的 KV 行打包在一起,从而支持高效的推测解码,并适配 Kimi K3.1 的 DSA 层等复杂混合模型。统一分配器协调流水线并行、PD 解耦和 Radix 缓存等所有服务功能;页面生命周期管理系统则通过虚拟 ID 映射和状态跟踪(存活、待处理、已腾空、已设屏障),确保 GPU 操作执行期间能够安全回收内存。

💡 Main Points

统一内存区消除了不同状态类型之间的固定分区

传统 SGLang 会为全注意力 KV、滑动窗口 KV 和循环状态分别分配内存池,并在启动时设定固定比例。新的统一内存区使用单个 GPU 内存区域:有界状态从低端向上增长,全 KV 从高端向下增长;通过延迟压缩,系统可在中间形成共享空闲区域,供任意状态类型动态使用。

按 Token 划分的条目布局将所有层的 KV 行打包到单次分配中

统一内存不再为每一层维护独立缓冲区,而是将一个 Token 的所有层的 K 行和 V 行打包到同一个条目中,使分配、驱逐和整页移动都能同时作用于所有层。即使草稿 KV 与目标 KV 使用不同数据类型,这种布局也能让推测解码中的草稿 KV 与目标 KV 共用相同的分配生命周期;它还支持 Kimi K3.1 的 DSA 层,其中索引器键与 MLA KV 融合在一起。

三级内存区布局规划确保能够满足内存需求

当现有空洞无法满足请求的内存需求时,分配器会尝试 3 个层次的重排:就地复用空洞、压缩两端区域以释放内部空洞,以及在压缩后的两端之间迁移浮动区域。这样既能确保内存移动量仅达到满足实际需求所必需的程度,也能尽可能让固定页面保持原位。

通过 4 种状态管理页面生命周期,确保执行中的操作安全

页面会在存活、待处理、已腾空和已设屏障 4 种状态间转换,以协调内存操作与正在运行的 GPU 工作。逻辑释放会立即计入容量,而物理复用则要等执行中的前向计算完成。系统采用虚拟 ID 映射,因此页面移动时无需重写请求行;源页面保护机制则可避免仍被旧操作读取的页面遭到过早覆盖。

与所有主要服务功能端到端集成

统一内存系统可与重叠调度、Radix 缓存、HiCache、预填充与解码解耦、推测解码、流水线并行、解码上下文并行和数据并行注意力无缝协作。整个服务栈从请求接纳到解码侧预分配,都由单一分配器和共享需求模型统一驱动容量决策。

💬 Key Quotes

统一内存用一个内存区取代分区。全 KV 占据高端并向下增长;有界状态占据低端并向上增长。延迟压缩会将存活数据向这两端移动,因此空闲字节会汇聚成中间的一整块区域;在某种状态需要使用之前,这块区域不属于任何子内存池。

每种状态类型都保留自己的页面或槽位大小,并且可以选择任意 --page-size。一个状态槽位可能比一个 KV 页面大很多,因此,若简单地共享内存,空闲容量可能会被困在无法利用的空隙中。统一内存会通过压缩迁移存活分配,彻底回收已释放的页面,并在需要的位置腾出容量。

规则是:逻辑释放立即生效,物理复用则需要等待。尚未处理的前向计算所涉及的页面被释放后,会进入待处理状态,无论该前向计算是否仍可能读取它、写入它,或两者兼有。只有在该前向计算完成处理或其事件得到等待之后,这些页面才会成为普通空闲区域。

一套内存系统,3 个接口:模型如何声明自身状态;任何组件如何询问内存是否足够;以及如何记录任何触碰页面的组件。

📊 Article Meta

AI Screening: 92

Featured: Yes

Source: LMSYS Blog

Author: Cheng Wan, Caihua Li, Yonghao Zhuang, Seokwoo Song, Shuwen Wang, Lianmin Zheng

Category: 人工智能

Language: 英文

Read Time: 15 min

Word Count: 3700

Tags:

AI 与智能应用 , 模型训练与推理 , 性能优化 , LLM 推理优化 , AI 硬件与芯片

#AI 与智能应用# 模型训练与推理# 性能优化# LLM 推理优化# AI 硬件与芯片

文章评论(12)

蓝光2 天前

整理得太全面了,省了我不少时间。

回复
蓝光2 天前

整理得太全面了,省了我不少时间。

回复
陈皮话梅糖3 天前

收藏了,以后慢慢研究。

回复
林拾贝3 天前

思路清晰,干货满满。

回复
拾贝者2 天前

讲解得很细致,新手也能看懂。

回复
墨沐雨2 天前

赞同,实践出真知。

回复
杨丽华2 天前

有没有更详细的教程,期待后续。

回复
蓝归舟2 天前

这个比较实用,已转发给同事。

回复
青柠微凉2 天前

看完了,收获满满,期待更多更新。

回复
杨丽华2 天前

实测过类似工具,作者说的基本属实。

回复
风倚栏2 天前

思路清晰,干货满满。

回复
陈皮话梅糖2 天前

这篇文章分析得很透彻,收藏了!

回复