连续批处理在零方差场景下带来 1.00×,在类聊天流量下达到 2.91×

AI小蝌蚪AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-11-10824 阅读💛 94 收藏
连续批处理在零方差场景下带来 1.00×,在类聊天流量下达到 2.91×

📌 One-Sentence Summary

本文通过实证评估 vLLM 的连续批处理调度器,结果表明,在类聊天流量下,相较于静态和动态批处理,吞吐量最高提升 2.91×;零方差对照实验则证实,收益来自调度方式,而非硬件或引擎变化。

📝 Summary

本文通过实证研究,比较了 vLLM 中用于 LLM 推理服务的三种批处理策略:静态、动态和连续。作者在单台 DGX Spark 上使用 Qwen2.5-7B-Instruct,并保持引擎、内存管理器和硬件不变,从而将调度器作为唯一变量。零方差对照组(const128)验证了实验设置:当所有请求同时完成时,测得的比值为 1.00×。结果显示,连续批处理在类聊天流量下(CV=0.94 的 cap512 跟踪数据)可实现 2.91× 的吞吐量,且输出长度差异越大,收益越明显。研究还厘清了不同厂商的术语差异(Triton 的动态批处理与 vLLM 的连续批处理并不相同),并为推理服务器的选择提供了实用参考。

💡 Main Points

在输出长度差异较大的类聊天流量下,连续批处理可将吞吐量提升 2.91×;但如果所有请求同时完成,则不会带来收益。

调度器的价值取决于请求完成时间的差异:当输出在不同时间完成时,空出的槽位会立即补入新请求,从而最大限度地利用 GPU。const128 对照组(CV=0.00)测得的比值为 1.00×,证实实验有效隔离了调度带来的影响。

Prefill 和 decode 阶段的扩展特性截然不同:prefill 受计算能力限制,而 decode 无论批次大小如何,都会重新读取全部模型权重。

批次大小从 1 增至 32 时,吞吐量提升了 26.7×,而耗时仅相差 4%(从 78.05ms 降至 74.77ms)。这说明 decode 的成本主要来自读取权重,而非逐序列计算,因此复用槽位对提升效率至关重要。

不同厂商对批处理策略的术语定义差异显著:Triton 的「动态批处理」与 vLLM 的「连续批处理」在执行模式上并不相同。

Triton 在请求级别进行批处理,并根据超时条件触发执行;vLLM 则在迭代级别进行调度,每个 decode 步骤结束后都会补入新请求。TensorRT-LLM 明确提供了三种策略(STATIC_BATCH、GUARANTEED_NO_EVICT、MAX_UTILIZATION),有助于厘清设计空间。

通过 PagedAttention 进行内存管理,是连续批处理有效运行的关键,因为连续分配 KV-cache 会造成内存碎片问题。

PagedAttention 将 KV-cache 管理为更小的块,使释放的内存能够高效复用。这种内存管理技术与连续调度相结合,可使部分部署达到 23× 的吞吐量提升;不过,作者单独测得调度器的贡献为 2.91×。

💬 Key Quotes

「23× 的连续批处理提升说法,将引擎、内存管理器和调度器的贡献合并在了一起。在单 GPU 上分别测量后,调度器本身带来的提升为 2.91×。」

「可以把一个批次想象成会议室。如果人们陆续离开,连续批处理就会在座位空出来时立即安排新的人坐下。如果所有人同时离开,就没有座位需要补上。」

「我原以为这 3 种策略的结果会趋于一致,实际确实如此。静态批处理的重复测试波动为 0.30%,连续批处理为 0.42%;两者都在我预先设定的 5% 容差范围内。」

「最让我有信心的是对照实验。这个对照很重要,因为如果每个请求都同时完成,连续批处理就不应带来任何收益。测得的结果是 1.00×,完全符合预期。」

📊 Article Meta

AI Screening: 88

Source: Towards Data Science

Author: Nhu Hoang

Category: 人工智能

Language: 英文

Read Time: 18 min

Word Count: 4320

Tags:

AI 与智能应用 , 性能优化 , AI 工程 , LLM 推理优化 , 数据工程

#AI 与智能应用# 性能优化# AI 工程# LLM 推理优化# 数据工程

文章评论(12)

暮临风5 天前

收藏了,以后慢慢研究。

回复
风倚栏5 天前

点赞,必须点赞

回复
南山客5 天前

很有价值的分享,感谢整理。

回复
空向阳5 天前

看完了,收获满满,期待更多更新。

回复
龙文博5 天前

作者写得真不错,学到了不少。

回复
竹听风5 天前

看完了,收获满满,期待更多更新。

回复
星知秋5 天前

赞同,实践出真知。

回复
蓝临风5 天前

内容翔实,正好需要,先收藏再看。

回复
墨向阳5 天前

整理得太全面了,省了我不少时间。

回复
龙文博5 天前

实测过类似工具,作者说的基本属实。

回复
崔欣怡5 天前

讲解得很细致,新手也能看懂。

回复
邱文博5 天前

实话,说的不明不白

回复