我们唯一一次故意打破缓存——Induction
📌 One-Sentence Summary
为了准确测量单个基准测试试验的成本,Induction AI 在每次试验的提示词中插入一个唯一的、无实际功能的工具,以防止不同运行之间共享缓存数据。
📝 Summary
在对 AI 智能体进行基准测试时,隔离每次试验对于准确衡量其性能和成本至关重要。然而,提示词缓存机制可能导致后续试验受益于先前试验已完成的工作,从而产生偏差结果。Induction AI 通过为每次试验的提示词添加一个独特的「虚拟」工具来解决这个问题,确保每次新运行都会重置缓存,同时仍允许试验内部进行高效缓存。
💡 Main Points
试验共享缓存
默认情况下,提示词缓存不会区分不同的基准测试试验。如果两次试验共享相同的初始提示词结构,第二次试验将读取第一次试验的缓存数据,导致第二次运行的成本测量被人为压低。
解决方案:一个唯一的虚拟工具
为了隔离试验,Induction AI 在提示词中注入一个每次试验都独一无二的特定工具。这迫使系统将每次试验视为独立的对话,防止重用先前运行的缓存数据。
处理意外的工具调用
尽管虚拟工具旨在被忽略,但存在模型可能调用它的风险。为了防止这破坏基准测试,该工具被实现为返回无害响应(返回 `{ success: true }`),即使工具被误调用,试验也能继续。
💬 Key Quotes
提示词缓存根本不知道一个请求属于哪次对话。
我们希望试验是隔离的。我们想要的是试验内部的缓存,而不是跨试验的缓存。
实现隔离的办法是给每次试验一个工具,其名称携带试验 ID。
📊 Article Meta
AI Screening: 85
Source: Hacker News - Newest: "LLM"
Author: bleonard
Category: 人工智能
Language: 英文
Read Time: 3 min
Word Count: 672
Tags:
AI 与智能应用 , 性能优化 , 模型训练与推理 , AI 工程 , AI Agent
刚好最近在找这方面的资料,太及时了。
赞同,实践出真知。
赞同,实践出真知。
实测过类似工具,作者说的基本属实。
路过
实话,说的不明不白
写得挺用心的,支持一下。
点赞,必须点赞
实测过类似工具,作者说的基本属实。
内容翔实,正好需要,先收藏再看。
讲解得很细致,新手也能看懂。
这个比较实用,已转发给同事。