教编码智能体证明任务已经完成:Nick Nisi 与 Zack Proser 的 WorkOS 工作坊

📌 One-Sentence Summary
Nick Nisi 与 Zack Proser 演示如何用可观测目标、应用专属验证命令和留存证据,让编码智能体发现失败、修复问题并证明完成。
📝 Summary
WorkOS 工程师 Nick Nisi 与 Zack Proser 认为,编码智能体需要用户可感知结果的证据,不能只依赖构建通过或自信的完成报告。Midnight Snack Club 演示最初接受邮箱并显示成功,但刷新页面后,数据并未持久化。这个失败引出了明确目标、可观测状态,以及可重复的修复与复查循环。一个应用专属的小型 CLI 提供健康检查、加入候补名单、刷新、存储检查、页面快照、截图、确定性验证和 LLM 评估。讲者强调,团队应为自己的软件建立验证器,不能期待一条通用命令证明所有应用都正确。工具需要暴露人类开发者会检查的网络、渲染、性能和持久化信号。截图本身可能误导,代码或运行条件变化后,旧证据也会失效。人应给出目标与约束,为智能体保留寻找解法的空间,再用可信检查判断结果是否达成。两人还介绍了集中式工作流验证和 PR 监督实验,并说明留存的执行回执如何成为未来自动改进的回归数据集。部分现场检查失败,或引用了旧代码;讲者承认这些问题,整场并没有证明一套完全可靠的成熟执行框架。高 PR 吞吐量属于经验陈述,CI 或评审高分也不能单独证明功能创造了价值。
💡 Main Points
用可观测的用户结果定义完成
刷新后邮箱丢失,说明候补名单的成功提示并不充分。明确期望终态,并暴露检查该状态所需的存储和 UI 信号。
建立应用专属的验证命令
把健康、交互、存储、网络和结果验证封装成可重复命令,让智能体诊断失败并重新检查,减少人工反复提示。
保留解题自由,同时严格检查结果
提供明确目标和约束,用可靠检查判断结果。过度规定每一步,可能限制智能体发现修复方案和边界问题的能力。
把截图和旧回执视为可能出错的证据
验证真实用户路径和持久化状态。截图可能隐藏不同的操作路径,过去的成功结果也可能对应已经不存在的代码。
将留存的执行证据转化为回归数据集
保存运行记录、错误和用户路径,让后续变更能够对照已知行为检查。工具演进过程中,结合本地循环、CI 和人工监督。
💬 Key Quotes
拿出实际、具体的证据,证明它确实完成了我预期的工作。
不过需要提醒一句,看起来成功的截图并不等于证明。
它发挥回归检查的作用,让团队所有人都能继续向前推进。
📊 Article Meta
AI Screening: 90
Featured: Yes
Source: AI Engineer
Author: AI Engineer
Category: 人工智能
Language: 英文
Read Time: 47 min
Word Count: 11626
Tags:
AI 与智能应用 , 开发者工具 , 命令行与终端 , 自主编码 , 视频
Play Full Video
作者写得真不错,学到了不少。
这个观点很中肯,深有同感。
这个观点很中肯,深有同感。
思路清晰,干货满满。
楼主辛苦了,内容很有参考价值。
写得挺用心的,支持一下。
这个比较实用,已转发给同事。
不错不错,已加入书签。
实测过类似工具,作者说的基本属实。
点赞,必须点赞
作者写得真不错,学到了不少。
这个观点很中肯,深有同感。