LLM 推理成本:无人消除的二次项,以及一项经实测验证的解决方案

📌 One-Sentence Summary
文章分析了在提示词中保留完整历史记录的 LLM 智能体所面临的二次方 token 成本增长,并介绍 AXI 架构作为经实测验证的解决方案:它将输入 token 减少了 169x,同时提高了准确率。
📝 Summary
文章指出了 LLM 智能体的一项隐性成本驱动因素:在提示词中保留历史记录会导致 token 数量呈二次方增长。每一步都会发送累积的历史记录,使 token 总量增长至 N²/2。更便宜的硬件或前缀缓存只能降低单个 token 的成本,却无法改变增长曲线。AXI 架构将任务状态转移到主机端,每一步只发送简短提示词。在一项使用 Gemini 3.8 Flash、共 1,500 步的测试中,输入 token 数从 715M 降至 4.2M,成本降低 4.5x,延迟降低 3.5x。准确率也有所提高:主机端保存状态的方案实现了 100% 的步骤完全准确率,而保留聊天记录的方案为 79%。这种方法无需修改模型,并且从第一步开始就能扩展。
💡 Main Points
在提示词中保留完整历史记录,会使 LLM 智能体的 token 成本呈二次方增长
每一步都会发送累积的历史记录,因此第 k 步会发送 k 个 token。将 N 步的 token 数相加,得到 N²/2。任务长度翻倍,历史记录成本就会变为原来的四倍,因此使用量越大,单个任务的成本就越高。
AXI 架构通过将状态转移到主机端,而非保留在提示词中,来减少 token 数量
主机端维护精确的任务状态,并在每一步只发送简短提示词(约 2,824 个 token);相比之下,保留聊天记录需要发送 476,835 个 token。这样输入 token 减少了 169x,成本降低了 4.5x。
主机端保存状态既能提高成本效率,也能提升准确率
在一项共 1,500 步的测试中,主机端保存状态的方案每一步都完全准确,而保留聊天记录的方案从第 223 轮开始出现偏差。错误步骤会产生双重成本(执行 + 修正),因此准确率会直接影响成本。
更便宜的硬件和前缀缓存只能降低单个 token 的成本,无法消除二次方增长曲线
这些优化只能带来固定比例的成本下降,却无法改变根本性的 N² 增长模式。只有缩短历史记录本身,才能改变曲线形态。
💬 Key Quotes
在提示词中保留历史记录的智能体,每一步都要为相同的 token 再次付费。总成本会随着步数的平方增长。
在主机端保存任务的精确状态,并在每一步发送一条全新的简短提示词,就能让成本改为线性增长。
输入 token 数大约减少了 169 倍。
主机端保存状态的方案在 1,500 步中有 1,500 步完全准确;保留聊天记录的方案则从第 223 轮开始出现偏差,并从第 287 轮起出错。
📊 Article Meta
AI Screening: 88
Source: DEV Community: machinelearning
Author: Shalendra gaur
Category: 人工智能
Language: 英文
Read Time: 4 min
Word Count: 944
Tags:
AI 与智能应用 , Token 经济学 , 性能优化 , 机器学习 , AI 工程
写得挺用心的,支持一下。
整理得太全面了,省了我不少时间。
刚好最近在找这方面的资料,太及时了。
收藏了,以后慢慢研究。
作者写得真不错,学到了不少。
作者写得真不错,学到了不少。
实话,说的不明不白
看标题就点进来了,内容果然没让人失望。
这个观点很中肯,深有同感。
思路清晰,干货满满。
看标题就点进来了,内容果然没让人失望。
讲解得很细致,新手也能看懂。