SGLang 为生产环境中的 Beam 提供支持
📌 One-Sentence Summary
SGLang 现已原生支持 Reflection 的 Beam 501B-A23B MoE 模型,详细介绍了集成方案、内核优化以及性能结果,使其能够为智能体编程工作负载提供生产级服务。
📝 Summary
本文宣布 SGLang 原生支持 Reflection 的 Beam——一个拥有 501B 参数、23B 激活参数的 MoE 模型,并为其生产 API 提供支持。文章详细介绍了 Beam 的架构(混合滑动窗口与全注意力、256 个路由专家、1M 上下文)、支持的检查点(BF16、NVFP4、动态 FP8),以及服务特性,包括 DFlash2 投机解码、基于 HiCache 的前缀缓存、分块预填充,以及用于预填充/解码分离的异构 TP。文章描述了内核级优化,如投影打包、注意力与残差边界融合、针对 FP32 路由器的专用 BF16x3 GEMM,以及 GB300 MoE 调优。文章还涵盖了 Miles 中的强化学习支持,包括路由重放和数值一致性,并展示了性能结果:在 4 块 GB300 GPU 上使用 NVFP4 进行 OpenHands 多轮智能体编程回放时,SGLang 在并发数为 32 的情况下,每 GPU 达到 127.6K tokens/秒,每用户 185.87 tokens/秒(p50)。
💡 Main Points
SGLang 原生支持 Beam 并为其生产 API 提供支持。
Beam 是一个拥有 501B 参数、23B 激活参数的 MoE 模型,专为软件工程和长周期智能体任务设计。SGLang 提供 BF16、NVFP4 和动态 FP8 支持、DFlash2 投机解码,以及基于混合注意力内存管理的前缀缓存。
Beam 的架构将混合注意力与分组 MoE 路由相结合。
它使用 52 个解码层、48 个查询头和 8 个 KV 头、512 token 的滑动窗口注意力,以及 256 个路由专家和 top-8 选择。全注意力层使用 NoPE 和 SSMax 缩放,而滑动层使用 RoPE。
内核与融合优化显著提升了吞吐量。
优化包括打包 QKV 和门控投影、融合归一化与残差边界、针对 FP32 路由器的专用 BF16x3 GEMM,以及 GB300 MoE 调优。MegaMoE 将专家通信与计算相结合,用于 NVFP4 专家。
Miles 中的强化学习支持确保了训练器与 rollout 的一致性。
Miles 实现了 Beam 的三明治归一化、SSMax、混合注意力和 FP32 软截断。路由重放和数值一致性将训练器与 rollout 的对数概率差距减半,从而实现稳定的 RL 训练。
性能结果展示了生产级服务能力。
在 4 块 NVIDIA GB300 GPU 上使用 NVFP4 进行 OpenHands 多轮智能体编程回放时,SGLang 在并发数为 32 的情况下,每 GPU 达到 127.6K 总 tokens/秒,每用户 185.87 tokens/秒(p50),跨轮次聚合缓存命中率约为 92%。
💬 Key Quotes
SGLang 现已原生支持 Beam,并为其生产 API 提供支持。
在 4 块 NVIDIA GB300 GPU 上使用 NVFP4 检查点进行 OpenHands 多轮智能体编程回放时,SGLang 在并发数为 32 的情况下,每 GPU 达到 127.6K 总 tokens/秒,每用户 185.87 tokens/秒(p50)。
目标是使同一响应的训练器和 rollout 对数概率尽可能接近。
这些改动共同将训练器与 rollout 的对数概率差距减半,使其降至 BF16 归约顺序噪声的水平。
📊 Article Meta
AI Screening: 87
Source: LMSYS Blog
Author: SGLang Team
Category: 人工智能
Language: 英文
Read Time: 13 min
Word Count: 3077
Tags:
AI 与智能应用 , 模型训练与推理 , 性能优化 , 混合专家模型 , 开放权重模型
路过
看完了,收获满满,期待更多更新。
实测过类似工具,作者说的基本属实。
写得挺用心的,支持一下。
支持作者,持续关注中。
实测过类似工具,作者说的基本属实。
思路清晰,干货满满。
看完了,收获满满,期待更多更新。
刚好最近在找这方面的资料,太及时了。
不错不错,已加入书签。
这个比较实用,已转发给同事。
路过