连续批处理在零方差场景下带来 1.00×,在类聊天流量下达到 2.91×

📌 One-Sentence Summary
本文通过实证评估 vLLM 的连续批处理调度器,结果表明,在类聊天流量下,相较于静态和动态批处理,吞吐量最高提升 2.91×;零方差对照实验则证实,收益来自调度方式,而非硬件或引擎变化。
📝 Summary
本文通过实证研究,比较了 vLLM 中用于 LLM 推理服务的三种批处理策略:静态、动态和连续。作者在单台 DGX Spark 上使用 Qwen2.5-7B-Instruct,并保持引擎、内存管理器和硬件不变,从而将调度器作为唯一变量。零方差对照组(const128)验证了实验设置:当所有请求同时完成时,测得的比值为 1.00×。结果显示,连续批处理在类聊天流量下(CV=0.94 的 cap512 跟踪数据)可实现 2.91× 的吞吐量,且输出长度差异越大,收益越明显。研究还厘清了不同厂商的术语差异(Triton 的动态批处理与 vLLM 的连续批处理并不相同),并为推理服务器的选择提供了实用参考。
💡 Main Points
在输出长度差异较大的类聊天流量下,连续批处理可将吞吐量提升 2.91×;但如果所有请求同时完成,则不会带来收益。
调度器的价值取决于请求完成时间的差异:当输出在不同时间完成时,空出的槽位会立即补入新请求,从而最大限度地利用 GPU。const128 对照组(CV=0.00)测得的比值为 1.00×,证实实验有效隔离了调度带来的影响。
Prefill 和 decode 阶段的扩展特性截然不同:prefill 受计算能力限制,而 decode 无论批次大小如何,都会重新读取全部模型权重。
批次大小从 1 增至 32 时,吞吐量提升了 26.7×,而耗时仅相差 4%(从 78.05ms 降至 74.77ms)。这说明 decode 的成本主要来自读取权重,而非逐序列计算,因此复用槽位对提升效率至关重要。
不同厂商对批处理策略的术语定义差异显著:Triton 的「动态批处理」与 vLLM 的「连续批处理」在执行模式上并不相同。
Triton 在请求级别进行批处理,并根据超时条件触发执行;vLLM 则在迭代级别进行调度,每个 decode 步骤结束后都会补入新请求。TensorRT-LLM 明确提供了三种策略(STATIC_BATCH、GUARANTEED_NO_EVICT、MAX_UTILIZATION),有助于厘清设计空间。
通过 PagedAttention 进行内存管理,是连续批处理有效运行的关键,因为连续分配 KV-cache 会造成内存碎片问题。
PagedAttention 将 KV-cache 管理为更小的块,使释放的内存能够高效复用。这种内存管理技术与连续调度相结合,可使部分部署达到 23× 的吞吐量提升;不过,作者单独测得调度器的贡献为 2.91×。
💬 Key Quotes
「23× 的连续批处理提升说法,将引擎、内存管理器和调度器的贡献合并在了一起。在单 GPU 上分别测量后,调度器本身带来的提升为 2.91×。」
「可以把一个批次想象成会议室。如果人们陆续离开,连续批处理就会在座位空出来时立即安排新的人坐下。如果所有人同时离开,就没有座位需要补上。」
「我原以为这 3 种策略的结果会趋于一致,实际确实如此。静态批处理的重复测试波动为 0.30%,连续批处理为 0.42%;两者都在我预先设定的 5% 容差范围内。」
「最让我有信心的是对照实验。这个对照很重要,因为如果每个请求都同时完成,连续批处理就不应带来任何收益。测得的结果是 1.00×,完全符合预期。」
📊 Article Meta
AI Screening: 88
Source: Towards Data Science
Author: Nhu Hoang
Category: 人工智能
Language: 英文
Read Time: 18 min
Word Count: 4320
Tags:
AI 与智能应用 , 性能优化 , AI 工程 , LLM 推理优化 , 数据工程
收藏了,以后慢慢研究。
点赞,必须点赞
很有价值的分享,感谢整理。
看完了,收获满满,期待更多更新。
作者写得真不错,学到了不少。
看完了,收获满满,期待更多更新。
赞同,实践出真知。
内容翔实,正好需要,先收藏再看。
整理得太全面了,省了我不少时间。
实测过类似工具,作者说的基本属实。
讲解得很细致,新手也能看懂。
实话,说的不明不白