SGLang 中的统一记忆:为每种 Token 生命周期提供一个内存区
📌 One-Sentence Summary
SGLang 推出统一内存系统,将全注意力 KV、滑动窗口 KV 和循环状态整合到单个 GPU 内存区中,取消固定内存分区,并通过支持压缩的动态分配,适配多种服务场景下的混合模型。
📝 Summary
本文介绍了 SGLang 的统一内存架构:它以单个可动态扩展的 GPU 内存区,取代传统的固定分区内存池。该系统管理 3 种不同的状态类型——全注意力 KV、滑动窗口 KV 和循环状态;它们的内存需求各不相同,且彼此独立地增长。通过采用按需分配模型和延迟压缩机制,内存区允许有界和无界状态利用可用空间增长,无需手动调优。该设计引入了按 Token 划分的条目布局,将所有层的 KV 行打包在一起,从而支持高效的推测解码,并适配 Kimi K3.1 的 DSA 层等复杂混合模型。统一分配器协调流水线并行、PD 解耦和 Radix 缓存等所有服务功能;页面生命周期管理系统则通过虚拟 ID 映射和状态跟踪(存活、待处理、已腾空、已设屏障),确保 GPU 操作执行期间能够安全回收内存。
💡 Main Points
统一内存区消除了不同状态类型之间的固定分区
传统 SGLang 会为全注意力 KV、滑动窗口 KV 和循环状态分别分配内存池,并在启动时设定固定比例。新的统一内存区使用单个 GPU 内存区域:有界状态从低端向上增长,全 KV 从高端向下增长;通过延迟压缩,系统可在中间形成共享空闲区域,供任意状态类型动态使用。
按 Token 划分的条目布局将所有层的 KV 行打包到单次分配中
统一内存不再为每一层维护独立缓冲区,而是将一个 Token 的所有层的 K 行和 V 行打包到同一个条目中,使分配、驱逐和整页移动都能同时作用于所有层。即使草稿 KV 与目标 KV 使用不同数据类型,这种布局也能让推测解码中的草稿 KV 与目标 KV 共用相同的分配生命周期;它还支持 Kimi K3.1 的 DSA 层,其中索引器键与 MLA KV 融合在一起。
三级内存区布局规划确保能够满足内存需求
当现有空洞无法满足请求的内存需求时,分配器会尝试 3 个层次的重排:就地复用空洞、压缩两端区域以释放内部空洞,以及在压缩后的两端之间迁移浮动区域。这样既能确保内存移动量仅达到满足实际需求所必需的程度,也能尽可能让固定页面保持原位。
通过 4 种状态管理页面生命周期,确保执行中的操作安全
页面会在存活、待处理、已腾空和已设屏障 4 种状态间转换,以协调内存操作与正在运行的 GPU 工作。逻辑释放会立即计入容量,而物理复用则要等执行中的前向计算完成。系统采用虚拟 ID 映射,因此页面移动时无需重写请求行;源页面保护机制则可避免仍被旧操作读取的页面遭到过早覆盖。
与所有主要服务功能端到端集成
统一内存系统可与重叠调度、Radix 缓存、HiCache、预填充与解码解耦、推测解码、流水线并行、解码上下文并行和数据并行注意力无缝协作。整个服务栈从请求接纳到解码侧预分配,都由单一分配器和共享需求模型统一驱动容量决策。
💬 Key Quotes
统一内存用一个内存区取代分区。全 KV 占据高端并向下增长;有界状态占据低端并向上增长。延迟压缩会将存活数据向这两端移动,因此空闲字节会汇聚成中间的一整块区域;在某种状态需要使用之前,这块区域不属于任何子内存池。
每种状态类型都保留自己的页面或槽位大小,并且可以选择任意 --page-size。一个状态槽位可能比一个 KV 页面大很多,因此,若简单地共享内存,空闲容量可能会被困在无法利用的空隙中。统一内存会通过压缩迁移存活分配,彻底回收已释放的页面,并在需要的位置腾出容量。
规则是:逻辑释放立即生效,物理复用则需要等待。尚未处理的前向计算所涉及的页面被释放后,会进入待处理状态,无论该前向计算是否仍可能读取它、写入它,或两者兼有。只有在该前向计算完成处理或其事件得到等待之后,这些页面才会成为普通空闲区域。
一套内存系统,3 个接口:模型如何声明自身状态;任何组件如何询问内存是否足够;以及如何记录任何触碰页面的组件。
📊 Article Meta
AI Screening: 92
Featured: Yes
Source: LMSYS Blog
Author: Cheng Wan, Caihua Li, Yonghao Zhuang, Seokwoo Song, Shuwen Wang, Lianmin Zheng
Category: 人工智能
Language: 英文
Read Time: 15 min
Word Count: 3700
Tags:
AI 与智能应用 , 模型训练与推理 , 性能优化 , LLM 推理优化 , AI 硬件与芯片
整理得太全面了,省了我不少时间。
整理得太全面了,省了我不少时间。
收藏了,以后慢慢研究。
思路清晰,干货满满。
讲解得很细致,新手也能看懂。
赞同,实践出真知。
有没有更详细的教程,期待后续。
这个比较实用,已转发给同事。
看完了,收获满满,期待更多更新。
实测过类似工具,作者说的基本属实。
思路清晰,干货满满。
这篇文章分析得很透彻,收藏了!