KV 缓存的计算:Llama 3.1 8B 仅存储 128K 个 Token 就需要 16 GiB

王者归来已是老翁AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-11-12377 阅读💛 65 收藏
KV 缓存的计算:Llama 3.1 8B 仅存储 128K 个 Token 就需要 16 GiB

📌 One-Sentence Summary

本文解释了 Llama 3.1 8B 的 KV 缓存内存需求:存储 128K 个 Token 的序列需要 16 GiB 缓存内存,此外还需为模型权重预留空间,并介绍了应对这一限制的实用方案。

📝 Summary

本文详细推导了 Transformer 模型的 KV 缓存内存需求,并具体说明 Llama 3.1 8B 使用 bf16 时每个 Token 需要 128 KiB,因此存储 128K 个 Token 的序列需要 16 GiB。文章解释了为什么 vLLM 在 24 GB GPU 上设置 max_model_len=131072 时会拒绝启动,并提出 4 种实用方案:降低 max_model_len、使用 fp8 KV 缓存、量化权重,或提高 gpu_memory_utilization。文章还通过对比说明,与 Llama 2 7B 相比,分组查询注意力(GQA)将每个 Token 的缓存需求从 512 KiB 降至 128 KiB,并进一步分析了更大型的模型,例如存储 128K 个 Token 需要 40 GiB 的 Llama 3.1 70B。最后,文章给出并发预算的实用规则,并说明长上下文推理对延迟的影响。

💡 Main Points

Transformer 模型的 KV 缓存内存需求计算

计算公式 2 × 层数 × KV 头数 × 头维度 × 每个值占用的字节数得出,Llama 3.1 8B 使用 bf16 时每个 Token 需要 128 KiB,也就是说,存储 128K 个 Token 需要恰好 16 GiB 的缓存内存,此外还需约 16 GB 的模型权重空间。

vLLM 的内存校验可避免运行时故障

vLLM 会在启动时检查可用的 KV 缓存容量是否至少能容纳一个长度为 max_model_len 的序列,从而避免在凌晨 3am 收到长文档时发生故障。

分组查询注意力显著降低缓存需求

Llama 3.1 8B 使用 GQA,KV 头数为 8,而 Llama 2 7B 为 32。这使每个 Token 的缓存需求从 512 KiB 降至 128 KiB,让长上下文推理的内存效率提升 4 倍。

管理 KV 缓存限制的 4 种实用方案

文章建议:根据实际使用需求降低 max_model_len;使用 fp8 KV 缓存以将内存需求减半;量化权重以释放缓存空间;或谨慎提高 gpu_memory_utilization。

KV 缓存大小直接影响并发量和延迟

并发量取决于 KV Token 池除以每个请求的 Token 数量。长序列会导致解码受内存带宽限制,而缓存会使每一步需要传输的数据量翻倍,从而造成延迟骤增。

💬 Key Quotes

每个 Token 的 KV 缓存大小 = 2 × 层数 × KV 头数 × 头维度 × 每个值占用的字节数。

128K 个 Token × 128 KiB = 一个完整长度序列需要 16 GiB,此外还需约 16 GB 的权重空间。

vLLM 会在启动时检查:如果扣除权重占用后剩余的 KV 内存无法容纳一个长度为 max_model_len 的序列,就会拒绝运行。

并发量 = KV Token 池 ÷ 每个请求的 Token 数量。

每个 Token 的字节数 = 2 × 层数 × kv_heads × head_dim × dtype_bytes

📊 Article Meta

AI Screening: 88

Source: DEV Community: machinelearning

Author: jidonglab

Category: 人工智能

Language: 英文

Read Time: 7 min

Word Count: 1648

Tags:

AI 与智能应用 , AI 硬件与芯片 , AI 工程 , 模型训练与推理 , LLM 推理优化

#AI 与智能应用# AI 硬件与芯片# AI 工程# 模型训练与推理# LLM 推理优化

文章评论(12)

竹听风3 天前

这篇文章分析得很透彻,收藏了!

回复
蓝归舟3 天前

收藏了,以后慢慢研究。

回复
石佳琪3 天前

看标题就点进来了,内容果然没让人失望。

回复
武磊3 天前

不错不错,已加入书签。

回复
空向阳3 天前

整理得太全面了,省了我不少时间。

回复
暮临风3 天前

内容翔实,正好需要,先收藏再看。

回复
南山客3 天前

有没有更详细的教程,期待后续。

回复
暮临风3 天前

路过

回复
星寻梦3 天前

支持作者,持续关注中。

回复
林拾贝3 天前

写得挺用心的,支持一下。

回复
龙文博3 天前

刚好最近在找这方面的资料,太及时了。

回复
雪知秋3 天前

思路清晰,干货满满。

回复