OpenRouter 教程：提示词或模型变更后如何对 AI Agent 做回归测试

📌 One-Sentence Summary

OpenRouter 提供了一份关于 AI Agent 回归测试的指南，旨在确保在更改提示词、模型、工具或检索设置后的一致性。

📝 Summary

文章概述了 AI Agent 回归测试的方法论，由于输出具有非确定性，这与传统代码测试有所不同。它强调使用锁定的案例集、定义行为契约（结构化断言和硬性不变量），并使用具体的模型 slug 而非别名以确保可复现性。该指南还提供了使用 OpenRouter 的 Ori Eval 工具在 CI/CD 工作流中自动化这些检查的实际示例。

💡 Main Points

Agent 回归测试的定义

涉及在更改提示词、模型或工具后重新运行一组固定的案例，并将结果与书面行为契约进行对比。

与传统测试的挑战对比

AI Agent 的输出具有非确定性，文本差异比较往往失效；测试必须聚焦于结构完整性、工具参数和政策合规性。

固定模型 Slug 的重要性

使用「latest」等别名会破坏可复现性，因为底层模型可能在代码未变的情况下发生变化；需要具体的 slug 来建立稳定的基线。

每个案例都应包含结构化断言（工具调用/参数）和硬性不变量（Agent 绝不能违反的规则）。

使用 Ori Eval 实现自动化

OpenRouter 的评估框架通过支持工具调用断言以及用于开放式回答的 LLM 裁判来支持这一工作流。

💬 Key Quotes

对 Agent 进行回归测试意味着每当提示词、模型、工具定义或检索设置发生变更时，你都要重新运行一组锁定的案例，然后将结果与书面行为契约进行对比。

两个正确答案很少看起来一样。

模型是一个主动组件。

当基线发生移动时，测试就会失败一次。

📊 Article Meta

AI Screening： 90

Source： AIHOT — 精选

Author： noreply@aihot.news (OpenRouter：Announcements（RSS）)

Category： 人工智能

Language： 英文

Read Time： 36 min

Word Count： 8962

Tags：

AI 与智能应用 , AI Agent , 提示工程 , AI 安全与对齐 , 大语言模型 (LLM)