KV 缓存的计算:Llama 3.1 8B 仅存储 128K 个 Token 就需要 16 GiB

📌 One-Sentence Summary
本文解释了 Llama 3.1 8B 的 KV 缓存内存需求:存储 128K 个 Token 的序列需要 16 GiB 缓存内存,此外还需为模型权重预留空间,并介绍了应对这一限制的实用方案。
📝 Summary
本文详细推导了 Transformer 模型的 KV 缓存内存需求,并具体说明 Llama 3.1 8B 使用 bf16 时每个 Token 需要 128 KiB,因此存储 128K 个 Token 的序列需要 16 GiB。文章解释了为什么 vLLM 在 24 GB GPU 上设置 max_model_len=131072 时会拒绝启动,并提出 4 种实用方案:降低 max_model_len、使用 fp8 KV 缓存、量化权重,或提高 gpu_memory_utilization。文章还通过对比说明,与 Llama 2 7B 相比,分组查询注意力(GQA)将每个 Token 的缓存需求从 512 KiB 降至 128 KiB,并进一步分析了更大型的模型,例如存储 128K 个 Token 需要 40 GiB 的 Llama 3.1 70B。最后,文章给出并发预算的实用规则,并说明长上下文推理对延迟的影响。
💡 Main Points
Transformer 模型的 KV 缓存内存需求计算
计算公式 2 × 层数 × KV 头数 × 头维度 × 每个值占用的字节数得出,Llama 3.1 8B 使用 bf16 时每个 Token 需要 128 KiB,也就是说,存储 128K 个 Token 需要恰好 16 GiB 的缓存内存,此外还需约 16 GB 的模型权重空间。
vLLM 的内存校验可避免运行时故障
vLLM 会在启动时检查可用的 KV 缓存容量是否至少能容纳一个长度为 max_model_len 的序列,从而避免在凌晨 3am 收到长文档时发生故障。
分组查询注意力显著降低缓存需求
Llama 3.1 8B 使用 GQA,KV 头数为 8,而 Llama 2 7B 为 32。这使每个 Token 的缓存需求从 512 KiB 降至 128 KiB,让长上下文推理的内存效率提升 4 倍。
管理 KV 缓存限制的 4 种实用方案
文章建议:根据实际使用需求降低 max_model_len;使用 fp8 KV 缓存以将内存需求减半;量化权重以释放缓存空间;或谨慎提高 gpu_memory_utilization。
KV 缓存大小直接影响并发量和延迟
并发量取决于 KV Token 池除以每个请求的 Token 数量。长序列会导致解码受内存带宽限制,而缓存会使每一步需要传输的数据量翻倍,从而造成延迟骤增。
💬 Key Quotes
每个 Token 的 KV 缓存大小 = 2 × 层数 × KV 头数 × 头维度 × 每个值占用的字节数。
128K 个 Token × 128 KiB = 一个完整长度序列需要 16 GiB,此外还需约 16 GB 的权重空间。
vLLM 会在启动时检查:如果扣除权重占用后剩余的 KV 内存无法容纳一个长度为 max_model_len 的序列,就会拒绝运行。
并发量 = KV Token 池 ÷ 每个请求的 Token 数量。
每个 Token 的字节数 = 2 × 层数 × kv_heads × head_dim × dtype_bytes
📊 Article Meta
AI Screening: 88
Source: DEV Community: machinelearning
Author: jidonglab
Category: 人工智能
Language: 英文
Read Time: 7 min
Word Count: 1648
Tags:
AI 与智能应用 , AI 硬件与芯片 , AI 工程 , 模型训练与推理 , LLM 推理优化
这篇文章分析得很透彻,收藏了!
收藏了,以后慢慢研究。
看标题就点进来了,内容果然没让人失望。
不错不错,已加入书签。
整理得太全面了,省了我不少时间。
内容翔实,正好需要,先收藏再看。
有没有更详细的教程,期待后续。
路过
支持作者,持续关注中。
写得挺用心的,支持一下。
刚好最近在找这方面的资料,太及时了。
思路清晰,干货满满。