BestBlogs 早报 · 07-11|真实工程检验长程编程,训练系统扩展智能体,产品团队重审判断与推荐透明度

林知秋AI 前沿2026-09-171183 阅读💛 29 收藏

一句话结论

长程编程的真实检验标准是结果可验证、过程可复盘;训练系统开始把失败轨迹转化为数据;产品团队则需重新审视推荐透明度与用户判断权。

导语

把一个完整的 issue 交给代理,真正令人不安的地方不在于它能否写出补丁,而在于你要在什么时候相信它已经完成。

今天的三篇精讲分别给出三个不相同的切面:Cognition 用工程师日常工作检验模型能否在长任务里保持判断;快手把可运行仓库变成训练场;Instagram 负责人 Adam Mosseri 则把视线放回产品团队仍要做的选择。

7 月 9 日我们还在讨论长任务模型如何进入工作流。今天更适合把问题收窄:模型能跑得更久之后,评测、训练环境与人的策略判断分别该承担什么责任?

★ 精讲一:Cognition 用真实工程验证 Claude Fable 5 的长程编程能力

图片

Cognition 做 Devin 的背景,让它对「模型分数」有格外实际的要求。迁移旧代码、处理长期积压的 bug、补上反复延期的功能,都是能被交给代理的工作;但写入生产环境的代码不能只是在测试里侥幸通过。文章中的团队曾多次见到模型在 benchmark 上表现出色,一到工程师的真实任务里就失去上下文或留下隐蔽问题,因此他们把内部工程师试用放在通用评测之前。

这篇访谈谈到的变化是「任务地平线」。早期模型可以串联工具、完成多步任务,却常在几分钟到一小时后漂移:同时衡量多种方案时丢掉前提,或在日志里找到第一个看似合理的解释就停止。Cognition 描述 Claude Fable 5 时,重点并非一句「更强」,而是它能在杂乱日志中继续检索、区分已知与未知,并在一次迁移中先写清要守住的不变量,再围绕这些约束执行。

Frontier Code 是这家团队为此建的内部评测。它不满足于「补丁能过测试」,还试图排除在真实代码库里不可维护的结果。文中给出的最难子集成绩从此前 Opus 模型约 10% 到 Claude Fable 5 约 30%;团队最初怀疑是系统出了问题,随后才在 dogfooding 中看到相同方向的改善。数字本身仍是单一评测的陈述,读者更值得看它对应的验证顺序:先有可追溯的任务标准,再让工程师确认结果是否愿意保留。

其中最具体的例子是一次跨夜工作:工程师睡前把任务交给代理,醒来时它已经持续运行约八小时,并仍在推进。这个故事不能自动推导出任何团队都可以放心放权,但它让「长程」有了比轮数更实用的定义:代理是否还记得任务边界,是否会检查自己的操作,遇到证据不足时是否愿意承认不知道。对于正在把代理接入迁移、排障或代码审查的团队,这些比一次演示更接近上线条件。

阅读时可以把它当作一份验收清单,而非模型新闻。先问你的任务里哪些约束可被明确写出,哪些结果能由测试或人工复核确认;再决定代理的权限范围。与第二篇的训练方法放在一起看,会发现两者关心的是同一段链路的不同位置:一边检验交付时能否信任,一边解决训练时怎样让模型经历足够多真正可运行的工程。

这也是为什么「连续工作八小时」并不是一个可直接采购的能力指标。对某个团队有价值的,可能是夜间迁移时减少人工轮值;对另一个团队,反而是代理在无法判断时及时停下、把日志和假设交给值班工程师。把长程代理接进生产之前,最好先选一类影响范围有限、回滚路径清楚的工作,记录它每次改变了什么、验证了什么、何时请求协助。这样的记录既能帮助人审查,也能让之后的模型比较不只停在结果分数上。

文章没有给出一套可以照抄的授权阈值,这反而是它有价值的部分。代码库的风险、测试覆盖、部署方式和团队审查能力都不同,信任必须被拆成具体条件。可观察的过程证据,例如检索过哪些文件、为什么排除了某个根因、哪项测试仍未运行,往往比代理最后一句「完成」更能支持交接。把这些证据做成默认产物,也能让失败被快速复盘,而不是只留下一个难以重现的结果。

★ 精讲二:KAT-Coder-V2.5 正式发布:从“写代码”到“做工程”,Agentic 能力全面提升

图片

快手对 KAT-Coder-Pro V2.5 的叙述,从一个很熟悉的开发请求开始:能否把完整 issue 交给模型,让它在陌生仓库里定位、修改、跑测试并自行修复?这与单文件补全是不同层级的任务。模型要理解含混需求、找到多个改动点、遵守既有设计约定,还要处理测试失败;任一步骤掉链,最后的「代码已生成」都不能代表工程完成。

文章把瓶颈放在训练环境,而不是只放在参数或数据量上。它提出 AutoBuilder:代理分析仓库结构、生成配置脚本,在隔离沙箱中验证测试是否真的执行,失败时继续迭代。文中称,这条流程将环境构建成功率从通常约 16.5% 提高到 57.2%,并形成覆盖 12 种语言、超过 10 万个可运行且可验证仓库的训练环境。这里的数字来自发布方,仍应结合独立复现和具体评测条件理解;不过「先让题目可运行」的工程逻辑很清楚。

更值得注意的是它如何处理失败轨迹。训练不只留下最终做对的样本:如果模型已经定位到相关文件、方向正确却在关键决策上失手,团队会经由全流程行为过滤识别这类轨迹,再用针对性提示重跑。文章称约 20% 的这类样本可被转化为完整、可复现的数据。对长程任务而言,这比把失败一概丢弃更接近人类调试的过程:错误若能被定位和验证,也可以成为下一次决策的信号。

通用 Agentic 部分沿用同一思路。KwaiClawEnv 把工具、任务和评估拆开:由可部署服务扩展工具池,以真实业务任务派生带依赖与约束的变种,再用硬规则和模型评审筛选执行轨迹。文章举的报告生成任务需要十轮以上交互,并要求数据只来自附件、格式和排序都受限;这说明「能调一个工具」距离「守住一整条工作流」仍有很长一段路。

最后的强化学习设计也服务于这个目标:模型在执行时只看到部署环境会提供的信息,训练中的 Critic 则可以参考测试是否通过、补丁质量等额外结果,以便给长链路中的具体步骤分配反馈。无论具体分数在后续评测中如何变化,这篇文章提供了一条可检查的训练路径:环境是否真实可跑、失败是否被有选择地利用、奖励是否覆盖结果和过程。若你在搭建内部 coding agent,可以先从自己的仓库可复现率与失败样本记录开始,而不是急着追逐统一榜单。

发布文还列出多框架训练:mini-swe-agent、Claude Code、Codex、OpenClaw 等框架在工具协议、上下文管理和控制流上各不相同。它的意图是避免模型只适应一种脚手架;而对使用者来说,这同样提示了验收方法不能只在单一 harness 内成立。一个实际可做的小实验是:让同一个任务分别在两种权限或上下文压缩策略下运行,比较的不只是谁更快完成,也包括失败能否被解释、临时文件是否清理、重试是否改变了任务范围。

从训练数据到部署评测,中间还隔着版本、依赖和权限的现实差异。因此文章里列出的 SWE-Bench Pro、KAT Code Bench 与多轮 Agentic 评测成绩,更适合作为理解发布方目标的线索,而不是替代内部测试的结论。真正接入前,不妨挑一批历史 issue,保留原始验收标准和失败案例,再观察模型是否在未知依赖、含混描述和不完整测试下仍能诚实地暴露限制。这比复制一条公开分数更能决定它能否进入团队流程。

★ 精讲三:AI 时代品味、人类真实感与判断力的崛起

图片

当执行成本下降,产品团队的稀缺部分会转移到哪里?在 Lenny’s Podcast 的访谈中,Instagram 负责人 Adam Mosseri 的回答落在「品味与策略判断」上。这里的品味并非审美偏好那么简单,而是对产品路径和取舍给出明确主张:如果一条策略没有可能被理性的人反驳,它很可能只是在重复「做得更好」之类无法指导选择的话。

这个判断也改变了组织分工的想象。访谈提到,AI 工具让过去需要许多职能接力的工作可以被更小的团队推进,成员需要更广的产品、设计和数据理解。小团队并不等于少了专业性;相反,当实现动作变得更容易,谁来定义问题、拒绝哪些需求、接受哪种风险,会更直接地决定产品是否有方向。对负责人而言,这是一条提醒:把效率工具接进流程之后,不能把决策也外包给工具。

推荐系统是另一处具体例子。传统系统通常将用户互动映射为高维向量,系统能利用这些向量排序,但用户很难知道自己为何收到某类内容。Mosseri 描述了一种可能路径:借助 LLM 将难以解释的偏好翻译为可理解的兴趣概念,让用户看到、调整甚至清理它们。它不保证推荐就会更准确,却把「可解释」从后台指标变成用户能参与的界面问题。

这也让合成内容的讨论多了一层现实条件。访谈并不主张简单排除 AI 内容,而是认为当合成内容增多,人们会更在意发布者是谁、是否真实、创作立场为何。身份标识和清晰标签因而成了用户判断信任的工具。对内容平台来说,关键不只是能否生成更多素材,而是能否让用户辨认来源、表达偏好并保留退出的选择。

它和前两篇没有必要被硬拧成同一条趋势:前两篇讨论的是工程代理如何被训练、验证和授权,这篇关注的是人在产品系统里该怎样作判断。但它们共享一个有用的边界感。代理越能执行,越需要明确谁负责设定可检验的目标、解释系统行为并承担取舍。产品经理和内容团队读完后,可以拿自己的推荐或自动化功能做一次小审视:哪些偏好可让用户看见?哪些策略主张真能被反驳和验证?

这里的「可反驳」尤其值得保留。它不是要求团队故意制造争议,而是要求策略能说清选择了什么、舍弃了什么,并允许数据和用户反馈来推翻它。比如把推荐目标写成提升某类内容的长期回访,就应同时说明会牺牲什么短期指标、由谁处理偏差;把身份标识作为信任工具,也要说明错误标识如何申诉。AI 减少了试做一个界面的成本,却没有减少这些问题需要被负责的程度。

对读者而言,这段访谈也提供了一个更朴素的使用方式:不要把「品味」理解成不可讨论的个人直觉。把一个产品判断写成可检验的假设,列出反对它的人可能提出的证据,再决定下一轮实验看什么数据,品味才会从口号变成协作的语言。推荐透明度也一样,给用户一个兴趣标签还不够;标签能否被删改、修改后是否产生可见变化,才决定解释是否真的有用。

这会让自动化成为支持判断的材料,而不会把判断本身藏进不可追问的系统里,也让团队能在结果不如预期时明确地调整方向与责任归属,持续复盘。

速览

全球首个「具身原生」预训练模型发布,从物理世界出发为机器人造大脑!

图片

量子位介绍蚂蚁灵波的 LingBot-VA 2.0,把重点放在 Video-Action 模型对物理变化的预判,而不是只按当前画面反应。文中列出双臂任务成功率 93.6% 和单 GPU 推理 150Hz 等发布方指标,也用冰球场景解释为什么控制需要提前估计轨迹。想了解「世界模型」在机器人控制中具体意味着什么,可以现在打开;若只关心落地证据,建议同时留意其真实任务设置。

从模型到 Harness:WorkBuddy 如何把 Agent 做成可用产品

腾讯 WorkBuddy 从产品侧拆解 Agent 的稳定性来自哪里:模型之外,上下文组织、工具与权限接入、结果验证、反馈纠正和跨会话延续都在影响交付。文章把 Context Engineering、Memory、Harness 和 Loop 放进同一条运行链路,适合正从提示词实验走向内部工具的团队。需要梳理实现框架时可立即;已经有成熟平台的读者可先保存,用它检查自己缺少的环节。

使用 NVIDIA NeMo 进行金融 AI 研究的合成数据生成

图片

NVIDIA 给出一套补齐金融文本长尾类别的合成数据流程:用 NeMo Data Designer 组织生成,用 Curator 做语义去重,并借助 Nemotron 模型生成标题。案例目标是跨 12 个主题和一个「其他」类构造 50 万条不重复金融新闻标题,回应了真实新闻对财报、股价事件过度集中的问题。做垂直领域数据集的读者立即阅读原文,重点看迭代与去重如何共同维持多样性。

意识 × Loop:让 Loop 跨 Session 自进化的最佳实践

阿里技术将跨会话的 Agent 经验沉淀称为「意识层」,并以 AGENTS.md、MEMORY.md、USER.md 说明工作手册、记忆和用户画像怎样让长期 Loop 不必每次重学。文章用 FDE 公司调研解释其中的硬要求:数字需交叉核验,判断需区分口径,经验必须在下一次任务中被读取。若你的自动化常在新会话重犯同样错误,可现在;它更像实践方法文,适合留出时间按步骤对照。

【揭秘】如何打造一支凌晨 3 点还在交付的 AI 军团

腾讯工程团队介绍 Multica 的多 Agent 协作设想:需求、修复、测试和验收不再依赖人逐一唤醒下个角色,而由系统带着上下文把工作推向通知、返工或确认节点。文章的有效信息不在夸张的标题,而在组织级工作流如何分派、衔接和保留人工兜底。对正在设计多代理编排的读者,建议 并重点检查自己的异常处理与验收环节;其他读者可稍后阅读。

科技爱好者周刊(第 403 期):为什么 Dropbox 不成功

图片

阮一峰以 Dropbox 为案例,追问它为何从云盘先驱走向增长停滞:文章认为关键在于将自己定位为消费者工具,而非企业生产力工具,并汇集本周技术动态与资源。这个判断未必穷尽公司处境,却适合作为「产品定位是否跟随用户价值变化」的反问。想从 AI 工程话题切换到产品史,可以现在;周刊的其余链接适合稍后按兴趣挑选。

AI 推理成本首次算清:GPU 利用率不到 52%,千万别自建!

InfoQ 中文用五维成本模型比较自建推理与 API,并将约 52% 利用率作为案例中的盈亏临界条件,辅以蒙特卡洛敏感性分析和一家 AI 客服公司的算账情境。该结论依赖设备、折旧、调度和业务负载假设,不能直接套用到每家公司;它真正有用的地方是要求团队先测出自己的利用率。准备评估部署方式的 CTO 立即阅读原文,把其中变量换成内部数据再作决定。

补充阅读

万字科普:一千个「世界模型」在发布,到底什么是世界模型?

Founder Park 汇总李飞飞与 Packy McCormick 等人的观点,把常被混用的「世界模型」拆为渲染世界、模拟世界和在世界中行动三类问题,并回顾数据与部署挑战。它能为 LingBot-VA 的讨论补一套不追热点的定义框架;想辨别产品宣传中的术语边界,可。

构建智能体基础设施的未来:Claude Platform 如何迈向组织级能力

Claude Platform 团队讨论托管代理、身份边界、MCP 与更轻量的 harness,认为组织采用仍要经过安全、合规、评测与 ROI 验证。文章也提醒,代理按 outcome 和预算运行会带来协调和过度独立的风险;先衡量个人速度,再看团队生产力是其中较务实的路径。关心企业级基础设施演进可。

用 AI 工具开启全新的设计方式:从编码智能体到可迭代品牌系统

Y Combinator 的设计访谈展示了编码代理如何配合参考图、详细 brief 与可交互控件,探索布局、动效和品牌系统。它把人的审美判断保留在迭代回路中,正好为 Mosseri 所说的产品品味提供一个设计实践版本。设计与产品读者可。

更好的工具反而让 Copilot 代码审查变差。以下是我们实际改进的方法。

GitHub 记录了一次反直觉的代码审查回归:换成维护更好的探索工具后,成本上升、发现的问题变少;重写让代理从 diff 缩小范围再读文件的指令后,平均成本降低约 20%,质量保持不变。它是精讲一「工具之外还要验证工作流」的短例证,可。

一位投资人对具身、模型与算力的 17 条判断

腾讯科技整理投资人周志峰对具身智能、大模型与算力的 17 条观察,其中包括数据瓶颈、中美优势和「快半步」的投资节奏。它提供的是投资视角而非技术验证,适合在读完机器人和基础设施内容后,用来区分产业叙事与可验证指标。可。

最快半年 AI 跑通自进化?与陈天桥首席科学家聊聊硅谷模型必争之地

硅谷 101 访谈 Apodex 的科学家,讨论递归自我提升的目标、递归漂移、监控与品味等障碍,并提出「发现模型」应能提出假设并验证。关于时间表的说法仍属受访者判断,价值在于它把自我提升重新落到验证能力上。想延伸阅读可。

今日阅读路径

时间有限时,先读 Cognition 的访谈,建立「什么结果值得信任」的验收视角;接着读 KAT-Coder-V2.5,了解可运行环境和失败轨迹怎样进入训练;最后听 Mosseri 的访谈,把工程能力变化放回产品策略和推荐透明度的选择中。 如果只准备打开一篇,建议从 Cognition 开始,再按自己的工作位置选快手的训练方法或产品判断访谈。可以想一想:你的代理目前最缺的是可验证的环境,还是明确的权限和验收边界?当推荐系统解释偏好时,用户能否真正修改结果?欢迎读完后在评论区留言,分享你正在测试的工作流与答案。

原文信息

原文地址:

  • 作者:BestBlogs(@hongming731),BestBlogs.dev 主理人,AI 驱动内容精选服务
  • 发布时间:2026-07-11
  • 来源:X Article

文章评论(10

雪影57 分钟前

内容翔实,正好需要,先收藏再看。

回复
北岛渔夫54 分钟前

支持作者,持续关注中。

回复
陈皮话梅糖56 分钟前

不错不错,已加入书签。

回复
空向阳9 分钟前

看完了,收获满满,期待更多更新。

回复
一叶知秋2 分钟前

思路清晰,干货满满。

回复
山问津刚刚

有没有更详细的教程,期待后续。

回复
南山客28 分钟前

有没有更详细的教程,期待后续。

回复
墨沐雨8 分钟前

整理得太全面了,省了我不少时间。

回复
星寻梦31 分钟前

收藏了,以后慢慢研究。

回复
林观澜28 分钟前

支持作者,持续关注中。

回复