如何计算 LLM 需要多少显存?

空逐月AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-11-15402 阅读💛 200 收藏
如何计算 LLM 需要多少显存?

📌 One-Sentence Summary

要确定部署 LLM 所需的显存,将模型权重占用的内存(参数量 × 每个参数的字节数)与 KV 缓存占用的内存(2 × 层数 × 键值头数 × 头维度 × 字节数 × 并发处理的 token 数)相加,再除以 GPU 显存利用率(通常为 0.92)。

📝 Summary

LLM 所需的总显存主要由两部分组成:固定的模型权重和动态的 KV 缓存。权重占用的内存,等于参数量乘以所用精度对应的字节数(例如,FP16 每个参数占 2 字节)。KV 缓存的大小取决于层数、键值头数、头维度,以及同时处理的 token 数量。最终所需的 GPU 显存,是这两部分之和除以推理引擎使用的显存比例(通常为 92%)。

💡 Main Points

LLM 的显存需求等于模型权重与 KV 缓存占用之和,再除以 GPU 显存利用率。

公式 `所需 GPU 显存 =(权重 + KV 缓存)/ 0.92` 展示了显存消耗的构成。权重是由模型大小和精度决定的固定开销,而 KV 缓存则是可变开销,会随处理的 token 数量增加。0.92 这一系数反映了推理引擎通常只使用 92% 的可用 GPU 显存。

KV 缓存的大小取决于模型架构和正在处理的 token 数量。

缓存大小的计算公式为 `2 × 层数 × kv_heads × head_dim × 字节数 × token 数`。这意味着所需内存会随同时处理的 token 数量线性增长(例如,32 个请求,每个请求包含 8,192 个 token)。计算时必须使用正确的键值头数量(通常少于查询头数量),以免高估缓存大小。

量化可以大幅降低模型权重所需的显存。

降低模型权重的精度(例如,从 FP16 降至 INT4),可以将内存占用减少 4 到 8 倍。不过,KV 缓存通常仍保持较高精度(FP16),因此量化主要影响静态的权重内存,而非动态的缓存内存。

💬 Key Quotes

选定精度后,权重占用的内存就是固定的。KV 缓存则会随着同时保留的每个请求中的每个 token 而增长。

0.92 指的是 vLLM 默认通过 `--gpu-memory-utilization` 申请使用的 GPU 显存比例;剩余部分用于 CUDA 上下文以及显卡上的其他开销。

「在途 token」指提示词与生成的 token 数量之和,再对所有并发请求求和。32 个聊天请求,每个包含 8,192 个 token,总计就是 262,144 个在途 token。

📊 Article Meta

AI Screening: 88

Source: DEV Community: machinelearning

Author: Viswaretas Kotra

Category: 人工智能

Language: 英文

Read Time: 9 min

Word Count: 2161

Tags:

AI 与智能应用 , 大语言模型 (LLM) , AI 硬件与芯片 , KV Cache优化 , LLM

#AI 与智能应用# 大语言模型 (LLM)# AI 硬件与芯片# KV Cache优化# LLM

文章评论(12)

石佳琪22 小时前

楼主辛苦了,内容很有参考价值。

回复
星寻梦22 小时前

路过

回复
云逐月23 小时前

支持作者,持续关注中。

回复
风倚栏23 小时前

整理得太全面了,省了我不少时间。

回复
雪知秋23 小时前

看完了,收获满满,期待更多更新。

回复
月沐雨22 小时前

这个比较实用,已转发给同事。

回复
星知秋22 小时前

很有价值的分享,感谢整理。

回复
武磊22 小时前

这篇文章分析得很透彻,收藏了!

回复
风倚栏19 小时前

收藏了,以后慢慢研究。

回复
空向阳21 小时前

这个比较实用,已转发给同事。

回复
杨丽华20 小时前

收藏了,以后慢慢研究。

回复
青柠微凉18 小时前

思路清晰,干货满满。

回复