GitHub - isAlmogK/trustbut:信任,但要验证 AI 编程智能体。一个本地 CLI 工具,可重新运行测试并生成操作凭证,说明智能体实际做了什么:哪些新增测试证明了代码改动、哪些测试在未应用改动时也能通过,以及哪些测试被跳过、删除或屏蔽。支持 Claude Code、Codex、Cursor、Gem...

📌 One-Sentence Summary
这是一个本地 CLI 工具,通过重新运行测试并生成操作凭证来验证 AI 生成的代码改动;结果显示,AI 智能体很少导致测试套件出错。
📝 Summary
Trustbut 是一款本地命令行工具,可为 AI 智能体或人类编写的代码改动生成操作凭证。它会在干净的检出版本中重新运行测试套件,将新增或修改的测试与改动前的代码进行对比,标记被跳过的测试、被删除的断言、被屏蔽的检查以及缺失的依赖项,最后给出 PASS / WARN / FAIL 判定。该工具适用于任何智能体,包括 Claude Code、Codex、Cursor、Gemini CLI、OpenCode 和 Copilot,并支持 11 种语言和多种测试框架。在一项针对开源项目 201 个拉取请求的试点中,trustbut 用于 103 个智能体提交的拉取请求中的 53 个,以及 98 个人类提交的拉取请求中的 56 个。没有智能体提交的拉取请求导致测试套件出错或伪造测试结果;新增测试分别在 97 % 的智能体提交拉取请求和 88 % 的人类提交拉取请求中证明了改动有效。跳过测试或屏蔽检查等问题大多无害,但有 6 个智能体提交的拉取请求被判定为「改动未获证明」。文章还介绍了如何将 trustbut 集成到智能体的工作流中,确保操作凭证通过后,智能体才能结束任务。
💡 Main Points
Trustbut 通过重新运行测试并生成操作凭证,对 AI 生成的代码改动进行独立的本地验证。
该工具会比较改动后的版本与基准版本,标记被跳过的测试、被删除的断言、被屏蔽的检查以及缺失的依赖项,并输出 PASS / WARN / FAIL 判定。
在针对 201 个拉取请求的试点中,AI 智能体提交的拉取请求很少导致测试失败或伪造测试结果。
Trustbut 用于 103 个智能体提交的拉取请求中的 53 个,以及 98 个人类提交的拉取请求中的 56 个;智能体提交的拉取请求中,97 % 的新增测试证明了改动有效,而人类提交的拉取请求中这一比例为 88 %。
大多数检查结果无害,但有些表明改动缺乏有效证明。
53 个智能体提交的拉取请求中有 12 个出现检查结果,其中 6 个被标记为「改动未获证明」。
该工具支持 11 种语言和多种测试框架,完全在本地运行,不会将代码发送到服务器。
支持的语言包括 JavaScript/TypeScript、Python、Go、Rust、Java、Kotlin、C#、Ruby、PHP、Dart/Flutter 和 Swift。
Trustbut 可以接入智能体的工作流,确保操作凭证通过后,智能体才能结束任务。
智能体钩子会在操作凭证判定为 FAIL 或 WARN 时阻止智能体继续,从而确保只有通过验证的改动才会被提交。
💬 Key Quotes
trustbut 是一款本地命令行工具,可为代码改动生成操作凭证
当智能体说「完成了,所有测试都通过了」时,那只是智能体在汇报自己的工作
trustbut 可以在 103 个拉取请求中的 53 个上运行
在这些拉取请求中,智能体没有导致测试套件出错,也没有伪造测试结果
大多数检查结果属实,但无需采取行动
trustbut 运行在大约一半的拉取请求上
📊 Article Meta
AI Screening: 85
Source: Hacker News - Newest: "AI Agent"
Author: almog_io
Category: 人工智能
Language: 英文
Read Time: 24 min
Word Count: 5761
Tags:
AI 与智能应用 , AI 工作流 , AI 安全与对齐 , AI Agent , 模型评测与基准
看完了,收获满满,期待更多更新。
实测过类似工具,作者说的基本属实。
实话,说的不明不白
有没有更详细的教程,期待后续。
实话,说的不明不白
整理得太全面了,省了我不少时间。
实话,说的不明不白
实话,说的不明不白
点赞,必须点赞
内容翔实,正好需要,先收藏再看。
思路清晰,干货满满。
思路清晰,干货满满。