LLM 推理成本:无人消除的二次项,以及一项经实测验证的解决方案

王者归来已是老翁AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-11-12671 阅读💛 211 收藏
LLM 推理成本:无人消除的二次项,以及一项经实测验证的解决方案

📌 One-Sentence Summary

文章分析了在提示词中保留完整历史记录的 LLM 智能体所面临的二次方 token 成本增长,并介绍 AXI 架构作为经实测验证的解决方案:它将输入 token 减少了 169x,同时提高了准确率。

📝 Summary

文章指出了 LLM 智能体的一项隐性成本驱动因素:在提示词中保留历史记录会导致 token 数量呈二次方增长。每一步都会发送累积的历史记录,使 token 总量增长至 N²/2。更便宜的硬件或前缀缓存只能降低单个 token 的成本,却无法改变增长曲线。AXI 架构将任务状态转移到主机端,每一步只发送简短提示词。在一项使用 Gemini 3.8 Flash、共 1,500 步的测试中,输入 token 数从 715M 降至 4.2M,成本降低 4.5x,延迟降低 3.5x。准确率也有所提高:主机端保存状态的方案实现了 100% 的步骤完全准确率,而保留聊天记录的方案为 79%。这种方法无需修改模型,并且从第一步开始就能扩展。

💡 Main Points

在提示词中保留完整历史记录,会使 LLM 智能体的 token 成本呈二次方增长

每一步都会发送累积的历史记录,因此第 k 步会发送 k 个 token。将 N 步的 token 数相加,得到 N²/2。任务长度翻倍,历史记录成本就会变为原来的四倍,因此使用量越大,单个任务的成本就越高。

AXI 架构通过将状态转移到主机端,而非保留在提示词中,来减少 token 数量

主机端维护精确的任务状态,并在每一步只发送简短提示词(约 2,824 个 token);相比之下,保留聊天记录需要发送 476,835 个 token。这样输入 token 减少了 169x,成本降低了 4.5x。

主机端保存状态既能提高成本效率,也能提升准确率

在一项共 1,500 步的测试中,主机端保存状态的方案每一步都完全准确,而保留聊天记录的方案从第 223 轮开始出现偏差。错误步骤会产生双重成本(执行 + 修正),因此准确率会直接影响成本。

更便宜的硬件和前缀缓存只能降低单个 token 的成本,无法消除二次方增长曲线

这些优化只能带来固定比例的成本下降,却无法改变根本性的 N² 增长模式。只有缩短历史记录本身,才能改变曲线形态。

💬 Key Quotes

在提示词中保留历史记录的智能体,每一步都要为相同的 token 再次付费。总成本会随着步数的平方增长。

在主机端保存任务的精确状态,并在每一步发送一条全新的简短提示词,就能让成本改为线性增长。

输入 token 数大约减少了 169 倍。

主机端保存状态的方案在 1,500 步中有 1,500 步完全准确;保留聊天记录的方案则从第 223 轮开始出现偏差,并从第 287 轮起出错。

📊 Article Meta

AI Screening: 88

Source: DEV Community: machinelearning

Author: Shalendra gaur

Category: 人工智能

Language: 英文

Read Time: 4 min

Word Count: 944

Tags:

AI 与智能应用 , Token 经济学 , 性能优化 , 机器学习 , AI 工程

#AI 与智能应用# Token 经济学# 性能优化# 机器学习# AI 工程

文章评论(12)

星观澜3 天前

写得挺用心的,支持一下。

回复
星寻梦3 天前

整理得太全面了,省了我不少时间。

回复
山问津3 天前

刚好最近在找这方面的资料,太及时了。

回复
山问津3 天前

收藏了,以后慢慢研究。

回复
逐光而行3 天前

作者写得真不错,学到了不少。

回复
石佳琪3 天前

作者写得真不错,学到了不少。

回复
蓝归舟3 天前

实话,说的不明不白

回复
晨沐雨3 天前

看标题就点进来了,内容果然没让人失望。

回复
黄小刚3 天前

这个观点很中肯,深有同感。

回复
竹听风3 天前

思路清晰,干货满满。

回复
一个橘子3 天前

看标题就点进来了,内容果然没让人失望。

回复
陈皮话梅糖3 天前

讲解得很细致,新手也能看懂。

回复