vLLM 基于 CUDA 13.4 局部域实现局部感知 MoE 权重切分

📌 One-Sentence Summary

vLLM 利用 CUDA 13.4 局部域和 Green Contexts 优化 MoE 层内存访问，在 MiniMax M3 解码阶段实现高达 1.2 倍的提速。

📝 Summary

自 Ampere 架构以来，NVIDIA GPU 就具备非均匀全局内存访问特性。借助 CUDA 13.4 的局部域（各分区内的 SM 访问本地 HBM 速度最快），vLLM 按列切分 FC1 与 FC2 权重，并通过 Green Contexts 在每个域的 SM 上启动 Kernel，使每个 SM 仅读取本地 HBM，从而使 MiniMax M3 的 MoE 层在解码阶段提速达 1.2 倍。

📊 Article Meta

AI Screening： 90

Featured： Yes

Source： vLLM(@vllm_project)

Author： vLLM

Category： 人工智能

Language： 英文

Read Time： 3 min

Word Count： 510

Tags：

AI 与智能应用 , LLM 推理优化 , 混合专家模型 , AI 硬件与芯片 , 推文串

Read Tweet