一次请求,端到端:分词、预填充、解码、流式传输

📌 One-Sentence Summary
本文通过工厂类比,介绍语言模型推理引擎的四个关键步骤——分词、预填充、解码和流式传输,说明用户的问题如何转化为屏幕上可见的回答。
📝 Summary
本文将聊天机器人生成回复的过程拆解为四个不同阶段:1)分词,将文本转换为数字令牌;2)预填充,模型读取完整问题并准备上下文;3)解码,模型一次生成一个令牌来构建回答;4)流式传输,将生成的令牌实时发送给用户。文章还探讨了这些步骤对响应时间和效率的影响,尤其指出读取提示词与生成回答的速度存在差异。
💡 Main Points
推理过程分为四个依次进行的阶段:分词、预填充、解码和流式传输。
分词会将输入文本转换为模型能够理解的数字形式。预填充阶段中,模型读取完整提示词以建立上下文。解码是逐步生成回答的过程,而流式传输则是将生成的令牌实时发送给用户。
第一个词出现前的「尴尬停顿」主要是由预填充阶段造成的。
在预填充阶段,模型必须读取整个输入序列并更新其内部状态(KV 缓存)。这段等待时间与用户问题的长度成正比。
解码速度明显慢于读取,因此回答会呈现「逐字逐句」的显示效果。
模型一次生成一个令牌,每生成一个新令牌都需要完整运行一遍网络。生成过程的这种串行特性,使其输出速度低于最初读取输入的速度。
推理引擎的性能主要通过三个指标衡量:首令牌延迟(TTFT)、令牌间延迟(ITL)和吞吐量。
TTFT 衡量显示第一个字符前的总延迟,包括分词和预填充所需的时间。ITL 衡量相邻令牌到达之间的时间间隔,反映解码循环的速度。吞吐量则表示每秒生成的令牌总数。
💬 Key Quotes
阅读器有很多只眼睛,可以同时读取每一个令牌。它不会逐字阅读。
打字机每一步只能输入一个令牌。为什么?因为每个新词都取决于它前面的词。
令牌一经打出,就会立刻转换回文本并直接发送到你的屏幕上。工厂不会等到整个回答都生成完才发送。
衡量聊天机器人速度的正确方法,是从你作为真实用户的角度计时。
📊 Article Meta
AI Screening: 88
Source: DEV Community: machinelearning
Author: Sachin Kr. Rajput
Category: 人工智能
Language: 英文
Read Time: 12 min
Word Count: 2999
Tags:
AI 与智能应用 , 大语言模型 (LLM) , LLM 推理优化 , 教程实战 , 自然语言处理
路过
很有价值的分享,感谢整理。
路过
内容翔实,正好需要,先收藏再看。
内容翔实,正好需要,先收藏再看。
收藏了,以后慢慢研究。
看标题就点进来了,内容果然没让人失望。
写得挺用心的,支持一下。
路过
有没有更详细的教程,期待后续。
看标题就点进来了,内容果然没让人失望。
这个观点很中肯,深有同感。