一次请求,端到端:分词、预填充、解码、流式传输

AI小蝌蚪AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-10-22410 阅读💛 113 收藏
一次请求,端到端:分词、预填充、解码、流式传输

📌 One-Sentence Summary

本文通过工厂类比,介绍语言模型推理引擎的四个关键步骤——分词、预填充、解码和流式传输,说明用户的问题如何转化为屏幕上可见的回答。

📝 Summary

本文将聊天机器人生成回复的过程拆解为四个不同阶段:1)分词,将文本转换为数字令牌;2)预填充,模型读取完整问题并准备上下文;3)解码,模型一次生成一个令牌来构建回答;4)流式传输,将生成的令牌实时发送给用户。文章还探讨了这些步骤对响应时间和效率的影响,尤其指出读取提示词与生成回答的速度存在差异。

💡 Main Points

推理过程分为四个依次进行的阶段:分词、预填充、解码和流式传输。

分词会将输入文本转换为模型能够理解的数字形式。预填充阶段中,模型读取完整提示词以建立上下文。解码是逐步生成回答的过程,而流式传输则是将生成的令牌实时发送给用户。

第一个词出现前的「尴尬停顿」主要是由预填充阶段造成的。

在预填充阶段,模型必须读取整个输入序列并更新其内部状态(KV 缓存)。这段等待时间与用户问题的长度成正比。

解码速度明显慢于读取,因此回答会呈现「逐字逐句」的显示效果。

模型一次生成一个令牌,每生成一个新令牌都需要完整运行一遍网络。生成过程的这种串行特性,使其输出速度低于最初读取输入的速度。

推理引擎的性能主要通过三个指标衡量:首令牌延迟(TTFT)、令牌间延迟(ITL)和吞吐量。

TTFT 衡量显示第一个字符前的总延迟,包括分词和预填充所需的时间。ITL 衡量相邻令牌到达之间的时间间隔,反映解码循环的速度。吞吐量则表示每秒生成的令牌总数。

💬 Key Quotes

阅读器有很多只眼睛,可以同时读取每一个令牌。它不会逐字阅读。

打字机每一步只能输入一个令牌。为什么?因为每个新词都取决于它前面的词。

令牌一经打出,就会立刻转换回文本并直接发送到你的屏幕上。工厂不会等到整个回答都生成完才发送。

衡量聊天机器人速度的正确方法,是从你作为真实用户的角度计时。

📊 Article Meta

AI Screening: 88

Source: DEV Community: machinelearning

Author: Sachin Kr. Rajput

Category: 人工智能

Language: 英文

Read Time: 12 min

Word Count: 2999

Tags:

AI 与智能应用 , 大语言模型 (LLM) , LLM 推理优化 , 教程实战 , 自然语言处理

#AI 与智能应用# 大语言模型 (LLM)# LLM 推理优化# 教程实战# 自然语言处理

文章评论(12)

墨沐雨24 天前

路过

回复
一叶知秋24 天前

很有价值的分享,感谢整理。

回复
空向阳24 天前

路过

回复
山问津24 天前

内容翔实,正好需要,先收藏再看。

回复
暮临风24 天前

内容翔实,正好需要,先收藏再看。

回复
崔欣怡24 天前

收藏了,以后慢慢研究。

回复
山问津24 天前

看标题就点进来了,内容果然没让人失望。

回复
陈皮话梅糖24 天前

写得挺用心的,支持一下。

回复
松听风24 天前

路过

回复
曹浩24 天前

有没有更详细的教程,期待后续。

回复
曹浩24 天前

看标题就点进来了,内容果然没让人失望。

回复
曹浩24 天前

这个观点很中肯,深有同感。

回复