斯坦福 CS146S：常驻在线智能体的工作原理，从架构到上下文工程

📌 One-Sentence Summary

斯坦福 CS146S 嘉宾讲座上，SpaceX 的 Lee 讲解常驻智能体如何把模型循环调用工具的 harness 扩展为持久服务：云端专属计算机、Temporal 持久化工作流，以及围绕提示词缓存、有损压缩与分层记忆的上下文工程。

📝 Summary

在这场斯坦福 CS146S 嘉宾讲座中，曾在 Cursor 任职、现于 SpaceX 参与 Grockbot 的 Lee 讲解常驻智能体如何把模型循环调用工具的简单 harness 扩展成持续运行的产品。这类智能体运行在服务器上，状态持久化到数据库，可被 Slack 消息、会议或例程等触发唤醒，还能启动自己的云端 Linux 计算机，即可快照重建的 Firecracker 虚拟机，使智能体循环在崩溃和零日更新后依然存活。他梳理了开发者与 AI 协作的四个时代，以及让发消息式的 bot 承接多小时真实任务的模型进步：长程指令遵循、子智能体交接、computer use，以及基于文件的记忆和技能。架构核心是瘦客户端胖服务器设计，只保留一个 send_user 工具跨端通信，用 Temporal 持久化工作流在失败步骤处续跑，并按从历史、插件、搜索、浏览器到完整桌面的升级阶梯，在打扰用户之前穷尽自助途径。篇幅最长的部分是上下文工程：保持提示词静态以享受缓存折扣，用工具搜索工具只暴露工具名，在热缓存窗口内完成有损压缩，并把记忆分为常驻事实、带日期的日志和临时便签。最后他谈到 autoreview 与提示注入防护、内外双层的评测与训练飞轮、主动「删除产品」的迭代原则，以及月级智能体评估、安全与 token 效率等开放问题。

💡 Main Points

常驻智能体是活在服务器上、拥有专属计算机的工具调用循环

合上笔记本进程也不会终止：触发事件到达时从数据库装载状态，唤醒一台配有文件和浏览器的 Firecracker Linux 虚拟机，用完再一并休眠以控制成本。

模型进步让发消息式的 bot 成为真实的产品形态

长程指令遵循、带着全新工作记忆的子智能体交接、在任意网站上操作的 computer use，加上把知识编码成文件的记忆与技能，让聊天界面能像同事一样承接多小时任务。

瘦客户端胖服务器加单一 send_user 工具保持架构简单

跨客户端与服务器边界的工具只有一个，重工具都在服务器上，移动端、桌面端、邮件和 Slack 客户端可以互换，又能渲染登录、支付与审批等富交互界面。

持久化工作流加升级阶梯让长任务又安全又省钱

基于 Temporal 的持久化工作流在失败的步骤续跑而非从头重放；智能体按历史、插件、网络搜索、浏览器到完整桌面的顺序先穷尽廉价途径，最后才打扰用户。

上下文工程是长时运行质量的核心纪律

提示词保持静态以守住缓存折扣，工具搜索工具把 schema 挡在上下文之外；因为一切压缩都有损，压缩安排在热缓存窗口内完成，记忆则分层为核心事实、带日期的日志和临时便签。

💬 Key Quotes

你有一个模型，它可以在循环中调用工具，这其实非常强大。

这个智能体有自己的计算机。不只是你的笔记本，而是云端的一台 Linux 机器，有它自己的桌面、文件、浏览器等等。

这实际上比疲惫地盯着数百条 shell 命令并逐条批准更安全。

你必须内化并假设，今天的模型是它们将来最差的版本。

最终它会到一个需要总结的时刻，而所有压缩都是有损的。

📊 Article Meta

AI Screening： 90

Featured： Yes

Source： leerob

Author： leerob

Category： 人工智能

Language： 英文

Read Time： 38 min

Word Count： 9301

Tags：

AI 与智能应用 , 上下文工程 , AI Agent , 开发者工具 , 命令行与终端

Play Full Video