为什么推理的重要性是训练的 12 倍?YC Paper Club 深入模型服务系统

星海拾光行业资讯📡 BestBlogs·全站精选⭐ 912026-10-25856 阅读💛 217 收藏
为什么推理的重要性是训练的 12 倍?YC Paper Club 深入模型服务系统

📌 One-Sentence Summary

YC 的推理专题将服务经济性、请求调度、供应商质量、搜索式编译和缓存管理串联起来,解释高效可靠的 AI token 从何而来。

📝 Summary

这场 YC Paper Club 将推理视为一个经济与工程系统,而不只是模型的一次前向调用。开场根据节目引用的 DeepSeek 训练量、日常服务计算量和假设的两年模型有效寿命,推导标题中的十二倍关系;这是一个工作负载示例,并非普遍定律。Dan Fu 追踪请求从路由、分词、调度到预填充、解码及输出的完整过程,说明内核、并行和量化优化需要生产反馈,以及覆盖智能体任务的端到端质量评测,不能只看吞吐。Jeff Morgan 指出,使用相同开放权重并不保证行为一致:量化、采样、分词、工具解析及未公开的服务栈变化,都可能形成质量差距,并在长链路智能体任务中放大。他比较完整评测、分布测试、对数概率漂移和请求形态监测,也交代各自成本与覆盖局限。Joe Fioti 介绍 Luminal 编译器如何以少量基础运算和等式饱和表示等价程序,再搜索候选并在真实硬件上测量。将范围限制为稠密线性代数,才有条件进行剪枝,而不必声称解决任意程序的等价问题;更长的编译时间可以换取反复服务时更好的性能。Lianmin Zheng 则从前缀复用出发,讲解 SGLang 的基数树调度、CPU 与 GPU 工作重叠、分层缓存,以及混合注意力与状态记忆的管理,通过统一协调和内存压缩适应不同负载。分享与问答提供了大量一手实现机制,但公司性能数字、架构论断和数值示例仍是讲者的陈述;部分字幕术语不确定,因此重点提炼能够可靠还原的机制,不将所有名称和数字当成已经独立核实的事实。

💡 Main Points

推理服务的经济性取决于累计负载和缓存行为,不能只看训练 FLOPs。

十二倍关系建立在特定模型寿命与服务量假设上。预填充、解码、缓存命中、延迟和有效吞吐面对不同约束,单个运算变快不足以证明生产服务整体更好。

优化请求生命周期,必须保住完整应用的行为。

Dan Fu 串联路由、分词、调度和硬件执行,并通过基准、工具调用回归和智能体任务检查生产驱动的内核、并行域及量化改动,捕捉原始速度指标掩盖的质量变化。

开放模型名称相同,不代表不同供应商交付的 token 等价。

Jeff Morgan 解释权重、量化、采样及解析的差异,并比较评测、分布测试、对数概率漂移和请求遥测。长链路智能体会放大小偏差,客户私有测试则有助抵御对公开基准的针对性优化。

缩小编译器处理范围,硬件搜索才比通用程序搜索更可行。

Luminal 将模型化为基础运算,在 e-graph 中保留等价形式,再在目标硬件上测量候选。解析界限用于排除明显较差的程序;如果执行结果会被大规模复用,花更久编译可能值得。

智能体负载让前缀复用协调和灵活内存管理成为服务核心。

SGLang 结合基数树复用、缓存感知调度、CPU–GPU 重叠和分层存储。全注意力、滑动窗口与循环状态的混合模型,需要协调缓存匹配和内存分配,并随负载比例变化进行压缩。

💬 Key Quotes

所以,这完全是一种无需训练的方法。

我们确实认为编译器是技术栈中极其关键的一部分,它在某种程度上定义了 GPU FLOPs 或 GPU 小时转化为 token 的转换函数。

我们编译的是稠密线性代数程序,相比所有可能的程序,这是一个非常狭窄的范围。

然后,我们运行在 vLLM 和 SGLang 这些优秀的推理引擎之中。

📊 Article Meta

AI Screening: 91

Featured: Yes

Source: Y Combinator

Author: Y Combinator

Category: 人工智能

Language: 英文

Read Time: 77 min

Word Count: 19141

Tags:

AI 与智能应用 , LLM 推理优化 , AI基础设施 , 视频 , DeepSeek

Play Full Video

#AI 与智能应用# LLM 推理优化# AI基础设施# 视频# DeepSeek

文章评论(12)

蓝光21 天前

实测过类似工具,作者说的基本属实。

回复
拾贝者22 天前

收藏了,以后慢慢研究。

回复
崔欣怡21 天前

整理得太全面了,省了我不少时间。

回复
林拾贝21 天前

实测过类似工具,作者说的基本属实。

回复
空向阳21 天前

实测过类似工具,作者说的基本属实。

回复
杨丽华21 天前

写得挺用心的,支持一下。

回复
墨沐雨21 天前

作者写得真不错,学到了不少。

回复
墨向阳21 天前

不错不错,已加入书签。

回复
空向阳21 天前

楼主辛苦了,内容很有参考价值。

回复
雪影21 天前

看标题就点进来了,内容果然没让人失望。

回复
雪知秋21 天前

很有价值的分享,感谢整理。

回复
竹听风21 天前

楼主辛苦了,内容很有参考价值。

回复