别靠 Vibe Coding 搭智能体基础设施|Modal CTO Akshat Bubna

📌 One-Sentence Summary
Modal 首席技术官 Akshat Bubna 从一张每格都有智能体的表格讲起,解释为什么智能体平台需要可恢复的工作空间、弹性算力、隔离的工具执行环境,以及智能体自己能读懂的运行数据。
📝 Summary
Akshat Bubna 以一张每个单元格都能运行独立智能体的表格为例,说明如何把智能体的控制循环和工具执行隔离开来,同时让需要协作的智能体共享存储卷。会计案例说明,智能体可能要等人工回复好几天,工作状态要留得住,算力却可以在等待时释放。Ramp Inspect 的数据则显示,CPU 和内存用量不仅因沙箱而异,也会在同一个沙箱运行期间大幅波动。他还谈到如何把凭证藏在智能体看不到的地方,用代理细化到访问路径,并把日志和利用率开放给智能体,便于它们排查失败或停滞的任务。最后,他结合 Modal 的实际负载解释沙箱平台为何难以兼顾可靠性、安全和规模,并提出让智能体随任务变化创建环境、保存快照。
💡 Main Points
把智能体的控制循环和工具执行隔离开
表格中的每个单元格都可以有自己的沙箱。用不同容器隔开控制循环和工具执行,再让同一行的智能体通过共享存储卷协作。
算力可以停,工作状态要留住
会计智能体可能要等会计师回复几天。文件系统快照或持久卷能让它接着做上次没做完的事,等待期间无需一直运行沙箱。
按沙箱的实际需求分配资源
Ramp Inspect 的负载数据显示,不同沙箱的 CPU 和内存需求差别很大,单个沙箱的用量也会随任务波动。动态分配可以避免在整个运行期间都按峰值配置付费。
把访问控制和运行诊断放在合适的位置
让智能体看不到凭证。域名级规则太粗时,用边车代理把权限细化到访问路径。让智能体自己检查日志、GPU 利用率和预算,排查运行中的问题。
让控制层按需创建环境并保存快照
一个个人助理负载要求每秒创建约一万个沙箱、同时运行近一百万个沙箱,并在一秒内可交互。智能体控制层可以按需创建运行环境,再把有用的环境快照保存下来。
💬 Key Quotes
只有智能体真正干活时,才需要让算力运行。
要把它和实际执行工具调用的环境隔离开。
📊 Article Meta
AI Screening: 90
Featured: Yes
Source: AI Engineer
Author: AI Engineer
Category: 人工智能
Language: 英文
Read Time: 11 min
Word Count: 2701
Tags:
AI 与智能应用 , 可观测性 , Harness工程 , 视频 , 智能体基础设施
Play Full Video
路过
路过
路过
很有价值的分享,感谢整理。
实话,说的不明不白
内容翔实,正好需要,先收藏再看。
看完了,收获满满,期待更多更新。
这个比较实用,已转发给同事。
路过
支持作者,持续关注中。
楼主辛苦了,内容很有参考价值。
刚好最近在找这方面的资料,太及时了。