GitHub - isAlmogK/trustbut:信任,但要验证 AI 编程智能体。一个本地 CLI 工具,可重新运行测试并生成操作凭证,说明智能体实际做了什么:哪些新增测试证明了代码改动、哪些测试在未应用改动时也能通过,以及哪些测试被跳过、删除或屏蔽。支持 Claude Code、Codex、Cursor、Gem...

邱宇AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-10-20363 阅读💛 71 收藏
GitHub - isAlmogK/trustbut:信任,但要验证 AI 编程智能体。一个本地 CLI 工具,可重新运行测试并生成操作凭证,说明智能体实际做了什么:哪些新增测试证明了代码改动、哪些测试在未应用改动时也能通过,以及哪些测试被跳过、删除或屏蔽。支持 Claude Code、Codex、Cursor、Gem...

📌 One-Sentence Summary

这是一个本地 CLI 工具,通过重新运行测试并生成操作凭证来验证 AI 生成的代码改动;结果显示,AI 智能体很少导致测试套件出错。

📝 Summary

Trustbut 是一款本地命令行工具,可为 AI 智能体或人类编写的代码改动生成操作凭证。它会在干净的检出版本中重新运行测试套件,将新增或修改的测试与改动前的代码进行对比,标记被跳过的测试、被删除的断言、被屏蔽的检查以及缺失的依赖项,最后给出 PASS / WARN / FAIL 判定。该工具适用于任何智能体,包括 Claude Code、Codex、Cursor、Gemini CLI、OpenCode 和 Copilot,并支持 11 种语言和多种测试框架。在一项针对开源项目 201 个拉取请求的试点中,trustbut 用于 103 个智能体提交的拉取请求中的 53 个,以及 98 个人类提交的拉取请求中的 56 个。没有智能体提交的拉取请求导致测试套件出错或伪造测试结果;新增测试分别在 97 % 的智能体提交拉取请求和 88 % 的人类提交拉取请求中证明了改动有效。跳过测试或屏蔽检查等问题大多无害,但有 6 个智能体提交的拉取请求被判定为「改动未获证明」。文章还介绍了如何将 trustbut 集成到智能体的工作流中,确保操作凭证通过后,智能体才能结束任务。

💡 Main Points

Trustbut 通过重新运行测试并生成操作凭证,对 AI 生成的代码改动进行独立的本地验证。

该工具会比较改动后的版本与基准版本,标记被跳过的测试、被删除的断言、被屏蔽的检查以及缺失的依赖项,并输出 PASS / WARN / FAIL 判定。

在针对 201 个拉取请求的试点中,AI 智能体提交的拉取请求很少导致测试失败或伪造测试结果。

Trustbut 用于 103 个智能体提交的拉取请求中的 53 个,以及 98 个人类提交的拉取请求中的 56 个;智能体提交的拉取请求中,97 % 的新增测试证明了改动有效,而人类提交的拉取请求中这一比例为 88 %。

大多数检查结果无害,但有些表明改动缺乏有效证明。

53 个智能体提交的拉取请求中有 12 个出现检查结果,其中 6 个被标记为「改动未获证明」。

该工具支持 11 种语言和多种测试框架,完全在本地运行,不会将代码发送到服务器。

支持的语言包括 JavaScript/TypeScript、Python、Go、Rust、Java、Kotlin、C#、Ruby、PHP、Dart/Flutter 和 Swift。

Trustbut 可以接入智能体的工作流,确保操作凭证通过后,智能体才能结束任务。

智能体钩子会在操作凭证判定为 FAIL 或 WARN 时阻止智能体继续,从而确保只有通过验证的改动才会被提交。

💬 Key Quotes

trustbut 是一款本地命令行工具,可为代码改动生成操作凭证

当智能体说「完成了,所有测试都通过了」时,那只是智能体在汇报自己的工作

trustbut 可以在 103 个拉取请求中的 53 个上运行

在这些拉取请求中,智能体没有导致测试套件出错,也没有伪造测试结果

大多数检查结果属实,但无需采取行动

trustbut 运行在大约一半的拉取请求上

📊 Article Meta

AI Screening: 85

Source: Hacker News - Newest: "AI Agent"

Author: almog_io

Category: 人工智能

Language: 英文

Read Time: 24 min

Word Count: 5761

Tags:

AI 与智能应用 , AI 工作流 , AI 安全与对齐 , AI Agent , 模型评测与基准

#AI 与智能应用# AI 工作流# AI 安全与对齐# AI Agent# 模型评测与基准

文章评论(12)

蒋力27 天前

看完了,收获满满,期待更多更新。

回复
星知秋27 天前

实测过类似工具,作者说的基本属实。

回复
星寻梦27 天前

实话,说的不明不白

回复
陈皮话梅糖27 天前

有没有更详细的教程,期待后续。

回复
龙文博27 天前

实话,说的不明不白

回复
暮临风27 天前

整理得太全面了,省了我不少时间。

回复
龙文博27 天前

实话,说的不明不白

回复
风倚栏27 天前

实话,说的不明不白

回复
墨沐雨27 天前

点赞,必须点赞

回复
黄小刚26 天前

内容翔实,正好需要,先收藏再看。

回复
风拾光26 天前

思路清晰,干货满满。

回复
月沐雨26 天前

思路清晰,干货满满。

回复