[AINews] DeepSeek DeepInfer:开源 SOTA 推理框架,单集群每天处理 155T tokens、日收入 $22m、利润率约 80%,回本周期为 81 天

AI小蝌蚪AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-10-21180 阅读💛 253 收藏
[AINews] DeepSeek DeepInfer:开源 SOTA 推理框架,单集群每天处理 155T tokens、日收入 $22m、利润率约 80%,回本周期为 81 天

📌 One-Sentence Summary

DeepSeek 开源了 DeepInfer——为 V4.1 Flash 提供支持的生产级推理框架;据称其吞吐量达到每天 155T tokens,缓存命中率为 96%,推理利润率超过 80%,而 vLLM 独立复现的解码吞吐量与其相差仅 6%。

📝 Summary

DeepSeek 在 PyTorch Conf 2026 开幕首日将其 V4.1 Flash 生产级推理引擎 DeepInfer 开源。该框架基于 vLLM 构建,并融合了 SGLang 和 TRTL-LLM 的贡献,支持 NVIDIA 和华为昇腾平台上的分布式推理、投机解码、SWA Bounded Replay 和结构化输出。生产数据称,单集群每天处理 155 万亿 tokens,输入缓存命中率为 96%,平均 TTFT 为 400ms;按非高峰时段定价,每加速器小时收入为 $38,推理利润率超过 80%,回本周期为 81 天。其架构将视觉编码、预填充和解码阶段分离,并在 3FS 存储中使用持久化分块 KV 缓存,智能体流量保留 3 天,聊天机器人流量保留 7 天。SWA Bounded Replay 仅利用最近的 128 个 tokens 重建缺失状态,使预填充计算总量几乎减半。值得注意的是,KV 缓存管理和负载均衡组件仍与 DeepSeek 内部基础设施耦合,尚未发布。随后,vLLM 在配置相同的条件下,于 GB200 上将 DeepInfer 的解码吞吐量复现至相差 6% 以内,这对其效率独特且难以企及的说法提出了挑战。

💡 Main Points

DeepInfer 开源并宣称达到生产级性能

DeepSeek 以 Apache 2.0 许可证开源其推理引擎,并报告称其吞吐量达到每天 155T tokens,输入缓存命中率为 96%;按非高峰时段定价,每加速器小时收入为 $38,推理利润率超过 80%。不过,KV 缓存管理和负载均衡组件仍与内部基础设施耦合,尚未完全开源。

架构将预填充与解码分离,并采用计算感知型调度

公开的架构将视觉编码、预填充和解码阶段拆分,以便分别扩展。预填充依据计算量而非原始请求长度进行调度;解码则同时平衡运行中的请求数量与 KV 缓存长度。专家并行负载均衡会复制热门 MoE 专家以减少路由倾斜,同时通过 CPU 调度与加速器执行重叠,消除空闲间隙。

持久化缓存设计让智能体工作负载实现高命中率

分块 KV 缓存存储于独立的 3FS 存储集群,SSD 容量约为 100 PiB;智能体流量保留 3 天,聊天机器人流量保留 7 天。SWA Bounded Replay 在复用持久化缓存块的同时,仅用最近的 128 个 tokens 重建缺失的短期状态,使预填充计算总量几乎减半。解读每天 155T tokens 这一 headline 数字时,96% 的缓存命中率是不可或缺的背景信息。

vLLM 独立复现结果,误差在 6% 以内,对独特性说法提出挑战

vLLM 团队报告称,在配置相同的条件下,他们于 GB200 上复现的解码吞吐量与 DeepInfer 公布的结果相差不到 6%,并发布了 AgentX 测试结果和复现方案。这在很大程度上削弱了 DeepSeek 的效率无法由现有开源引擎实现的说法,但针对特定模型的优化可能限制这些成果的直接移植。

模型专属的协同设计限制了向其他检查点的直接移植

社区分析认为,其效率优势来自 196B Engram 参数、8B 参数 / token 预填充骨干网络、宽幅专家并行、高度压缩的 KV(据称相较 GQA 基线减少 400x),以及自适应投机解码。这些优化针对特定模型;从业者指出,按模型制定仓库策略具有价值,因此不应假定同样的收益能够自动迁移到任意检查点。

💬 Key Quotes

DeepInfer 最初主要基于 vLLM 构建,并以 Apache 2.0 许可证发布;vLLM 团队报告称,在配置相同的条件下,他们于 GB200 上复现的解码吞吐量与 DeepInfer 公布的结果相差不到 6%。

每天处理的 155T tokens 不应被理解为每天新生成 155T tokens:缓存命中也计入服务的 tokens 统计,而新计算的预填充与自回归输出所带来的成本截然不同。

SWA Bounded Replay 在复用持久化分块缓存的同时,仅利用最近的 128 个 tokens 重建缺失的短期状态,因此得到的是一种近似结果,而非基于此前完整历史重建状态。DeepSeek 称,这使预填充计算总量几乎减半。

因此,报告中的 96% 输入缓存命中率是理解 headline 吞吐量的关键背景信息。

📊 Article Meta

AI Screening: 88

Source: Latent.Space

Author: Latent.Space

Category: 人工智能

Language: 英文

Read Time: 32 min

Word Count: 7806

Tags:

AI 与智能应用 , 模型训练与推理 , 开源项目 , LLM 推理优化 , 大语言模型 (LLM)

#AI 与智能应用# 模型训练与推理# 开源项目# LLM 推理优化# 大语言模型 (LLM)

文章评论(12)

林拾贝25 天前

点赞,必须点赞

回复
墨沐雨25 天前

这个观点很中肯,深有同感。

回复
晨寻梦25 天前

作者写得真不错,学到了不少。

回复
墨沐雨25 天前

支持作者,持续关注中。

回复
南山客25 天前

这个比较实用,已转发给同事。

回复
三分糖去冰25 天前

实测过类似工具,作者说的基本属实。

回复
墨沐雨25 天前

路过

回复
南山客25 天前

楼主辛苦了,内容很有参考价值。

回复
逐光而行25 天前

看完了,收获满满,期待更多更新。

回复
雪影25 天前

赞同,实践出真知。

回复
逐光而行25 天前

实测过类似工具,作者说的基本属实。

回复
墨沐雨25 天前

思路清晰,干货满满。

回复