让Token生产更高效：异构混推的关键技术演进与创新实践

AI小蝌蚪行业资讯📡 量子位2026-09-241297 阅读💛 237 收藏

< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">

让Token生产更高效：异构混推的关键技术演进与创新实践

量子位的朋友们 2026-09-23 17:56:53 来源：

商汤大装置异构混推创新实践与技术演进

Token经济加速爆发，算力需求发生结构性反转，推理需求已取代训练，成为算力增长主引擎。

随之而来的，是AI基础设施面临的全新命题与挑战：当Token调用量迈向千倍级增长，推理系统如何承接持续攀升的需求？如何通过异构算力实现高效、稳定的Token生产？

在近日举办的“2026全球AI芯片峰会·Token工厂异构混训混推技术研讨会”上，商汤大装置资深技术专家罗伟以《Token工厂：以异构算力构建新一代Al基础设施》为主题发表演讲，深入剖析规模化推理面临的系统挑战，并分享商汤大装置在异构推理架构、模型适配及关键技术演进等方面的实践与探索。

01行业挑战：Agent时代，推理负载瓶颈贯穿整套系统

Agent时代的负载特征，和传统单轮对话的推理需求有明显不同。

首先是长上下文，带来了输入计算和KV Cache占用的持续增长；其次是连续多轮的对话，意味着前缀复用和热点不断变化；再者是突发与长尾需求多，意味着流量和长度的分布会持续波动。

罗伟表示，面对这些变化，商汤大装置的底层逻辑已经转向“以Token、状态与时延预算为中心”，所有设计都围绕Token的生产效率、交付质量与单位成本，进行资源的组织和利用。

这一以Token为中心的系统设计，也支撑商汤大装置持续提升规模化Token生产与服务能力。如今，商汤大装置的日均Token服务量，已经从年初2月的0.46万亿，增长至8月4.5万亿。

02创新实践：横向串资源、纵向拉效率，系统级提高Token产能

如何把单点效率组织成系统级Token产能？罗伟分享了商汤大装置的两条主线：“横向编排”与“纵向优化”。两条主线最终指向共同目标：模型质量达标、SLO达标、有效吞吐提升、单位产能成本下降。

横向串资源：让不同算力各展所长

所谓“横向编排”，目的是资源协同，让平台知道哪些模型、哪些版本能运行在哪些算力上，哪些Prefill与Decode组合能做KV Cache交接，当前请求应该进入哪条路径，负载变化时如何自动调整。

针对不同品牌、不同规格的算力，商汤大装置构建了统一的资源画像，覆盖计算吞吐、KV Cache的容量、有效带宽、模型兼容性等，让不同算力进入同一个编排视角。

在此基础上，平台对推理请求进行全生命周期管控。从准入配对、Prefill执行、KV Cache状态交接，到Decode接管，每一个环节都有标准化的协同机制，保障服务稳定性。

“我们不会把某一类芯片永久固定为P节点或D节点。”罗伟强调，平台会根据模型、批量、上下文长度的瓶颈变化，动态调整不同芯片的角色分工，实现更高的可用性、灵活的组合和配比。

纵向拉效率：让整条路径性能最大化

在横向打通资源的同时，商汤大装置持续深化“模型×引擎×芯片”三层纵向优化，从模型适配到芯片运行时，充分释放整条执行路径的性能。

其中，在模型层，针对权重量化、显存预算进行精细化调优，平衡精度与吞吐；在引擎层，针对Attention、GEMM等核心算子进行并行优化；在芯片层，深度适配编译、访存调度与内存管理。而所有优化结果都会在真实负载中进行系统验证，规避单点效率的瓶颈。

03技术演进：从动态池化到模块拆分，持续提升Token生产效率

在成熟实践的基础上，罗伟进一步分享了异构协同走向更高效率、更高灵活性的两大关键技术演进方向。

技术演进方向一：从固定P/D到动态资源池

在资源调度层面，商汤大装置正在从固定P/D配比走向动态资源池化。不同业务、不同时间段的输入输出长度和流量热点不断变化，静态P/D组合容易造成局部排队和资源错配。

为此，商汤大装置分别构建Prefill Pool和Decode Pool，根据实时负载、KV Cache状态及节点健康度，动态完成请求路由和P/D资源匹配。当长输入导致Prefill压力升高时，系统可动态增加P节点；当长输出推高Decode负载时，则增加D节点，甚至通过角色切换实现P/D节点灵活转换，让资源跟着负载动态调整，在保障SLA的同时提升整体算力利用效率。