教编码智能体证明任务已经完成:Nick Nisi 与 Zack Proser 的 WorkOS 工作坊

林知秋行业资讯📡 BestBlogs·全站精选⭐ 902026-10-1991 阅读💛 152 收藏
教编码智能体证明任务已经完成:Nick Nisi 与 Zack Proser 的 WorkOS 工作坊

📌 One-Sentence Summary

Nick Nisi 与 Zack Proser 演示如何用可观测目标、应用专属验证命令和留存证据,让编码智能体发现失败、修复问题并证明完成。

📝 Summary

WorkOS 工程师 Nick Nisi 与 Zack Proser 认为,编码智能体需要用户可感知结果的证据,不能只依赖构建通过或自信的完成报告。Midnight Snack Club 演示最初接受邮箱并显示成功,但刷新页面后,数据并未持久化。这个失败引出了明确目标、可观测状态,以及可重复的修复与复查循环。一个应用专属的小型 CLI 提供健康检查、加入候补名单、刷新、存储检查、页面快照、截图、确定性验证和 LLM 评估。讲者强调,团队应为自己的软件建立验证器,不能期待一条通用命令证明所有应用都正确。工具需要暴露人类开发者会检查的网络、渲染、性能和持久化信号。截图本身可能误导,代码或运行条件变化后,旧证据也会失效。人应给出目标与约束,为智能体保留寻找解法的空间,再用可信检查判断结果是否达成。两人还介绍了集中式工作流验证和 PR 监督实验,并说明留存的执行回执如何成为未来自动改进的回归数据集。部分现场检查失败,或引用了旧代码;讲者承认这些问题,整场并没有证明一套完全可靠的成熟执行框架。高 PR 吞吐量属于经验陈述,CI 或评审高分也不能单独证明功能创造了价值。

💡 Main Points

用可观测的用户结果定义完成

刷新后邮箱丢失,说明候补名单的成功提示并不充分。明确期望终态,并暴露检查该状态所需的存储和 UI 信号。

建立应用专属的验证命令

把健康、交互、存储、网络和结果验证封装成可重复命令,让智能体诊断失败并重新检查,减少人工反复提示。

保留解题自由,同时严格检查结果

提供明确目标和约束,用可靠检查判断结果。过度规定每一步,可能限制智能体发现修复方案和边界问题的能力。

把截图和旧回执视为可能出错的证据

验证真实用户路径和持久化状态。截图可能隐藏不同的操作路径,过去的成功结果也可能对应已经不存在的代码。

将留存的执行证据转化为回归数据集

保存运行记录、错误和用户路径,让后续变更能够对照已知行为检查。工具演进过程中,结合本地循环、CI 和人工监督。

💬 Key Quotes

拿出实际、具体的证据,证明它确实完成了我预期的工作。

不过需要提醒一句,看起来成功的截图并不等于证明。

它发挥回归检查的作用,让团队所有人都能继续向前推进。

📊 Article Meta

AI Screening: 90

Featured: Yes

Source: AI Engineer

Author: AI Engineer

Category: 人工智能

Language: 英文

Read Time: 47 min

Word Count: 11626

Tags:

AI 与智能应用 , 开发者工具 , 命令行与终端 , 自主编码 , 视频

Play Full Video

#AI 与智能应用# 开发者工具# 命令行与终端# 自主编码# 视频

文章评论(12)

石佳琪28 天前

作者写得真不错,学到了不少。

回复
蓝归舟28 天前

这个观点很中肯,深有同感。

回复
林拾贝28 天前

这个观点很中肯,深有同感。

回复
蓝归舟28 天前

思路清晰,干货满满。

回复
暮拾贝28 天前

楼主辛苦了,内容很有参考价值。

回复
月沐雨28 天前

写得挺用心的,支持一下。

回复
雪影28 天前

这个比较实用,已转发给同事。

回复
龙文博28 天前

不错不错,已加入书签。

回复
蒋力27 天前

实测过类似工具,作者说的基本属实。

回复
林拾贝28 天前

点赞,必须点赞

回复
雪影27 天前

作者写得真不错,学到了不少。

回复
曹浩27 天前

这个观点很中肯,深有同感。

回复