让智能体重构代码三周后,我读了代码|Keiji Kanazawa

📌 One-Sentence Summary
Keiji Kanazawa 用个人研究助手的重建过程说明,委托智能体写代码之后,仍得自己定义目标、检查结果并用新样例验证。
📝 Summary
Keiji Kanazawa 让编码智能体重构个人研究助手三周。一次摘要归类错误让他想追查执行记录,却发现所谓的智能体仍是一套确定性工作流。技能和动作共用一套实现,每天的反思任务也在输出空报告。约 30 轮单元测试接上了生产推理,触发费用告警。他随后围绕明确的智能体运行时重建系统,对比了 4 套框架,并用一个视频深读智能体验证新做法。它从一堂课约 440 张关键帧中筛选材料,把板书公式和解释放到可跳转的画布里。但智能体把评估标准调得太贴合这一堂课,拿到另外 5 个视频上效果很差。他最终采用两层迭代,既改结果也改评估标准,再让不同智能体互审代码,同时把目标的决定权留在自己手里。
💡 Main Points
架构名词听着对,也要检查真实行为
一处摘要错误暴露出系统没有智能体执行记录。进一步读代码后,他发现所谓的技能和智能体没有实现自己预期的独立能力。
检查自动测试把请求发到了哪里
约 30 轮单元测试调用了生产推理。他是收到费用告警才发现这个接法,同时发现每天运行的反思任务其实在输出空报告。
对照具体产出制定评估标准
视频智能体从约 440 张关键帧中选取材料,配对公式和解释,并让读者直接跳到推理论课的相关位置。
用原案例之外的样例检验评估标准
智能体编写的评估标准过度贴合一堂课,在另外 5 个视频上表现不佳。Kanazawa 随后调整标准,并用多轮跨智能体互审发现其他问题。
💬 Key Quotes
目标由我决定。
我来设定评估标准。
它们的实际实现和名字说的不是一回事。
📊 Article Meta
AI Screening: 90
Featured: Yes
Source: AI Engineer
Author: AI Engineer
Category: 人工智能
Language: 英文
Read Time: 13 min
Word Count: 3057
Tags:
AI 与智能应用 , 测试与质量 , 个人效率 , 自主编码 , 视频
Play Full Video
看标题就点进来了,内容果然没让人失望。
实话,说的不明不白
赞同,实践出真知。
赞同,实践出真知。
写得挺用心的,支持一下。
刚好最近在找这方面的资料,太及时了。
思路清晰,干货满满。
这个比较实用,已转发给同事。
赞同,实践出真知。
这篇文章分析得很透彻,收藏了!
看标题就点进来了,内容果然没让人失望。
整理得太全面了,省了我不少时间。