Token-Level Routing 可实现的最高解码吞吐量可达 64 倍

📌 One-Sentence Summary

TokenRouter 是用于 token-Level routing 的专用服务栈，其解码吞吐量比现有基准高出 2.01–64.15 倍，延迟低 2.03–63.64 倍，实现了在不重新训练模型的情况下，将单个 token 高效分发至多个 LLM 的功能。

📝 Summary

TokenRouter 通过启用细粒度的 token-Level 派遣，克服了粗粒度 session-Level routing 的局限性。它通过一个 delayed-batching 调度程序解决了 step desynchronization 和 batch admission 延迟问题，在多种工作负载和模型对中实现了显著的吞吐量提升。该系统的性能可通过从数学吞吐量模型中导出的超参数进行调整，尽管其在许多异构专家条件下的可扩展性仍是一个开放问题。

💡 Main Points

TokenRouter 的吞吐量和延迟明显优于现有的服务系统。

该系统相比标准服务基线，解码吞吐量提高了 2.01–64.15 倍，端到端延迟降低了 2.03–63.64 倍，这表明在 token-Level routing 的服务效率方面取得了重大进展。

性能提升由一个新颖的 delayed-batching 调度程序驱动。

调度程序的最佳超参数由数学吞吐量模型推导出来，用于实现多个模型之间的有效 tokens 批次。这种方法最大限度地降低了频繁的上下文切换和批次延迟带来的开销。

该系统对异构专家的可扩展性是一个开放问题。

尽管 TokenRouter 为每个 LLM 启动了一个子服务器，但目前的结果是基于有限的模型对。当路由到大量多样化的异构专家时，观察到的缩放因子是否会保持不变尚不清楚。

💬 Key Quotes

在多种路由算法、工作负载和模型对中，TokenRouter 的解码吞吐量比现有系统高出 2.01–64.15 倍，大幅提升了 token-Level LLM routing 的服务效率。

📊 Article Meta

AI Screening： 88

Source： DEV Community: machinelearning

Author： Papers Mache

Category： 人工智能

Language： 英文

Read Time： 1 min

Word Count： 248

Tags：

AI 与智能应用 , 性能优化 , 模型训练与推理 , AI 工程 , LLM 推理优化