[AINews] DeepSeek DeepInfer:开源 SOTA 推理框架,单集群每天处理 155T tokens、日收入 $22m、利润率约 80%,回本周期为 81 天
![[AINews] DeepSeek DeepInfer:开源 SOTA 推理框架,单集群每天处理 155T tokens、日收入 $22m、利润率约 80%,回本周期为 81 天](https://media.bestblogs.dev/20261021072612_07a949cd-f727-48e2-9bd4-c4d110bf94e9_1326x1362.png)
📌 One-Sentence Summary
DeepSeek 开源了 DeepInfer——为 V4.1 Flash 提供支持的生产级推理框架;据称其吞吐量达到每天 155T tokens,缓存命中率为 96%,推理利润率超过 80%,而 vLLM 独立复现的解码吞吐量与其相差仅 6%。
📝 Summary
DeepSeek 在 PyTorch Conf 2026 开幕首日将其 V4.1 Flash 生产级推理引擎 DeepInfer 开源。该框架基于 vLLM 构建,并融合了 SGLang 和 TRTL-LLM 的贡献,支持 NVIDIA 和华为昇腾平台上的分布式推理、投机解码、SWA Bounded Replay 和结构化输出。生产数据称,单集群每天处理 155 万亿 tokens,输入缓存命中率为 96%,平均 TTFT 为 400ms;按非高峰时段定价,每加速器小时收入为 $38,推理利润率超过 80%,回本周期为 81 天。其架构将视觉编码、预填充和解码阶段分离,并在 3FS 存储中使用持久化分块 KV 缓存,智能体流量保留 3 天,聊天机器人流量保留 7 天。SWA Bounded Replay 仅利用最近的 128 个 tokens 重建缺失状态,使预填充计算总量几乎减半。值得注意的是,KV 缓存管理和负载均衡组件仍与 DeepSeek 内部基础设施耦合,尚未发布。随后,vLLM 在配置相同的条件下,于 GB200 上将 DeepInfer 的解码吞吐量复现至相差 6% 以内,这对其效率独特且难以企及的说法提出了挑战。
💡 Main Points
DeepInfer 开源并宣称达到生产级性能
DeepSeek 以 Apache 2.0 许可证开源其推理引擎,并报告称其吞吐量达到每天 155T tokens,输入缓存命中率为 96%;按非高峰时段定价,每加速器小时收入为 $38,推理利润率超过 80%。不过,KV 缓存管理和负载均衡组件仍与内部基础设施耦合,尚未完全开源。
架构将预填充与解码分离,并采用计算感知型调度
公开的架构将视觉编码、预填充和解码阶段拆分,以便分别扩展。预填充依据计算量而非原始请求长度进行调度;解码则同时平衡运行中的请求数量与 KV 缓存长度。专家并行负载均衡会复制热门 MoE 专家以减少路由倾斜,同时通过 CPU 调度与加速器执行重叠,消除空闲间隙。
持久化缓存设计让智能体工作负载实现高命中率
分块 KV 缓存存储于独立的 3FS 存储集群,SSD 容量约为 100 PiB;智能体流量保留 3 天,聊天机器人流量保留 7 天。SWA Bounded Replay 在复用持久化缓存块的同时,仅用最近的 128 个 tokens 重建缺失的短期状态,使预填充计算总量几乎减半。解读每天 155T tokens 这一 headline 数字时,96% 的缓存命中率是不可或缺的背景信息。
vLLM 独立复现结果,误差在 6% 以内,对独特性说法提出挑战
vLLM 团队报告称,在配置相同的条件下,他们于 GB200 上复现的解码吞吐量与 DeepInfer 公布的结果相差不到 6%,并发布了 AgentX 测试结果和复现方案。这在很大程度上削弱了 DeepSeek 的效率无法由现有开源引擎实现的说法,但针对特定模型的优化可能限制这些成果的直接移植。
模型专属的协同设计限制了向其他检查点的直接移植
社区分析认为,其效率优势来自 196B Engram 参数、8B 参数 / token 预填充骨干网络、宽幅专家并行、高度压缩的 KV(据称相较 GQA 基线减少 400x),以及自适应投机解码。这些优化针对特定模型;从业者指出,按模型制定仓库策略具有价值,因此不应假定同样的收益能够自动迁移到任意检查点。
💬 Key Quotes
DeepInfer 最初主要基于 vLLM 构建,并以 Apache 2.0 许可证发布;vLLM 团队报告称,在配置相同的条件下,他们于 GB200 上复现的解码吞吐量与 DeepInfer 公布的结果相差不到 6%。
每天处理的 155T tokens 不应被理解为每天新生成 155T tokens:缓存命中也计入服务的 tokens 统计,而新计算的预填充与自回归输出所带来的成本截然不同。
SWA Bounded Replay 在复用持久化分块缓存的同时,仅利用最近的 128 个 tokens 重建缺失的短期状态,因此得到的是一种近似结果,而非基于此前完整历史重建状态。DeepSeek 称,这使预填充计算总量几乎减半。
因此,报告中的 96% 输入缓存命中率是理解 headline 吞吐量的关键背景信息。
📊 Article Meta
AI Screening: 88
Source: Latent.Space
Author: Latent.Space
Category: 人工智能
Language: 英文
Read Time: 32 min
Word Count: 7806
Tags:
AI 与智能应用 , 模型训练与推理 , 开源项目 , LLM 推理优化 , 大语言模型 (LLM)
点赞,必须点赞
这个观点很中肯,深有同感。
作者写得真不错,学到了不少。
支持作者,持续关注中。
这个比较实用,已转发给同事。
实测过类似工具,作者说的基本属实。
路过
楼主辛苦了,内容很有参考价值。
看完了,收获满满,期待更多更新。
赞同,实践出真知。
实测过类似工具,作者说的基本属实。
思路清晰,干货满满。