如何计算 LLM 需要多少显存?

📌 One-Sentence Summary
要确定部署 LLM 所需的显存,将模型权重占用的内存(参数量 × 每个参数的字节数)与 KV 缓存占用的内存(2 × 层数 × 键值头数 × 头维度 × 字节数 × 并发处理的 token 数)相加,再除以 GPU 显存利用率(通常为 0.92)。
📝 Summary
LLM 所需的总显存主要由两部分组成:固定的模型权重和动态的 KV 缓存。权重占用的内存,等于参数量乘以所用精度对应的字节数(例如,FP16 每个参数占 2 字节)。KV 缓存的大小取决于层数、键值头数、头维度,以及同时处理的 token 数量。最终所需的 GPU 显存,是这两部分之和除以推理引擎使用的显存比例(通常为 92%)。
💡 Main Points
LLM 的显存需求等于模型权重与 KV 缓存占用之和,再除以 GPU 显存利用率。
公式 `所需 GPU 显存 =(权重 + KV 缓存)/ 0.92` 展示了显存消耗的构成。权重是由模型大小和精度决定的固定开销,而 KV 缓存则是可变开销,会随处理的 token 数量增加。0.92 这一系数反映了推理引擎通常只使用 92% 的可用 GPU 显存。
KV 缓存的大小取决于模型架构和正在处理的 token 数量。
缓存大小的计算公式为 `2 × 层数 × kv_heads × head_dim × 字节数 × token 数`。这意味着所需内存会随同时处理的 token 数量线性增长(例如,32 个请求,每个请求包含 8,192 个 token)。计算时必须使用正确的键值头数量(通常少于查询头数量),以免高估缓存大小。
量化可以大幅降低模型权重所需的显存。
降低模型权重的精度(例如,从 FP16 降至 INT4),可以将内存占用减少 4 到 8 倍。不过,KV 缓存通常仍保持较高精度(FP16),因此量化主要影响静态的权重内存,而非动态的缓存内存。
💬 Key Quotes
选定精度后,权重占用的内存就是固定的。KV 缓存则会随着同时保留的每个请求中的每个 token 而增长。
0.92 指的是 vLLM 默认通过 `--gpu-memory-utilization` 申请使用的 GPU 显存比例;剩余部分用于 CUDA 上下文以及显卡上的其他开销。
「在途 token」指提示词与生成的 token 数量之和,再对所有并发请求求和。32 个聊天请求,每个包含 8,192 个 token,总计就是 262,144 个在途 token。
📊 Article Meta
AI Screening: 88
Source: DEV Community: machinelearning
Author: Viswaretas Kotra
Category: 人工智能
Language: 英文
Read Time: 9 min
Word Count: 2161
Tags:
AI 与智能应用 , 大语言模型 (LLM) , AI 硬件与芯片 , KV Cache优化 , LLM
楼主辛苦了,内容很有参考价值。
路过
支持作者,持续关注中。
整理得太全面了,省了我不少时间。
看完了,收获满满,期待更多更新。
这个比较实用,已转发给同事。
很有价值的分享,感谢整理。
这篇文章分析得很透彻,收藏了!
收藏了,以后慢慢研究。
这个比较实用,已转发给同事。
收藏了,以后慢慢研究。
思路清晰,干货满满。