我们唯一一次故意打破缓存——Induction

AI小蝌蚪AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-10-25403 阅读💛 145 收藏
我们唯一一次故意打破缓存——Induction

📌 One-Sentence Summary

为了准确测量单个基准测试试验的成本,Induction AI 在每次试验的提示词中插入一个唯一的、无实际功能的工具,以防止不同运行之间共享缓存数据。

📝 Summary

在对 AI 智能体进行基准测试时,隔离每次试验对于准确衡量其性能和成本至关重要。然而,提示词缓存机制可能导致后续试验受益于先前试验已完成的工作,从而产生偏差结果。Induction AI 通过为每次试验的提示词添加一个独特的「虚拟」工具来解决这个问题,确保每次新运行都会重置缓存,同时仍允许试验内部进行高效缓存。

💡 Main Points

试验共享缓存

默认情况下,提示词缓存不会区分不同的基准测试试验。如果两次试验共享相同的初始提示词结构,第二次试验将读取第一次试验的缓存数据,导致第二次运行的成本测量被人为压低。

解决方案:一个唯一的虚拟工具

为了隔离试验,Induction AI 在提示词中注入一个每次试验都独一无二的特定工具。这迫使系统将每次试验视为独立的对话,防止重用先前运行的缓存数据。

处理意外的工具调用

尽管虚拟工具旨在被忽略,但存在模型可能调用它的风险。为了防止这破坏基准测试,该工具被实现为返回无害响应(返回 `{ success: true }`),即使工具被误调用,试验也能继续。

💬 Key Quotes

提示词缓存根本不知道一个请求属于哪次对话。

我们希望试验是隔离的。我们想要的是试验内部的缓存,而不是跨试验的缓存。

实现隔离的办法是给每次试验一个工具,其名称携带试验 ID。

📊 Article Meta

AI Screening: 85

Source: Hacker News - Newest: "LLM"

Author: bleonard

Category: 人工智能

Language: 英文

Read Time: 3 min

Word Count: 672

Tags:

AI 与智能应用 , 性能优化 , 模型训练与推理 , AI 工程 , AI Agent

#AI 与智能应用# 性能优化# 模型训练与推理# AI 工程# AI Agent

文章评论(12)

蓝光22 天前

刚好最近在找这方面的资料,太及时了。

回复
黄小刚22 天前

赞同,实践出真知。

回复
林拾贝22 天前

赞同,实践出真知。

回复
星知秋22 天前

实测过类似工具,作者说的基本属实。

回复
晨寻梦22 天前

路过

回复
逐光而行22 天前

实话,说的不明不白

回复
雪影22 天前

写得挺用心的,支持一下。

回复
蓝光22 天前

点赞,必须点赞

回复
龙文博22 天前

实测过类似工具,作者说的基本属实。

回复
白向阳22 天前

内容翔实,正好需要,先收藏再看。

回复
雪知秋22 天前

讲解得很细致,新手也能看懂。

回复
云逐月22 天前

这个比较实用,已转发给同事。

回复