对谈 Modal 联合创始人 Erik Bernhardsson:AI 智能体该用什么样的沙箱

📌 One-Sentence Summary
Modal 联合创始人解释了 AI 基础设施为何既需要低成本沙箱,也需要完整的虚拟机。
📝 Summary
Modal 联合创始人 Erik Bernhardsson 回顾了沙箱需求的三波增长。最早是通过提示词生成应用的用户需要运行代码,随后是后台编码智能体,接着是要大规模运行轨迹的强化学习团队。他解释了 Modal 为何将部分负载从 gVisor 迁到完整的虚拟机,也提出一种架构思路:让智能体的控制程序长时间运行,按需创建和销毁短寿命沙箱。他还谈到共享推理端点能省掉哪些调优工作、为什么多数客户用不上强化学习,以及如何利用空闲算力降低后台批处理的成本。
💡 Main Points
三类负载先后带动沙箱需求
通过提示词生成的应用最早需要执行环境,其后是后台智能体,最后是需要运行大量轨迹的强化学习用户。
把智能体控制程序与执行环境分开
Bernhardsson 预计,长期运行的控制程序会按需创建短寿命沙箱。他估计 Modal 沙箱的生命周期中位数约为 12 秒,长尾可达 24 小时。
按负载选择隔离方式
完整虚拟机在运行 Docker 和配置防火墙等方面更灵活。需要反复执行的小代码片段仍可能适合 Wasm 或 V8 隔离环境。
推理运维比强化学习更容易产品化
Modal 可以通过调整批次大小、训练草稿模型来优化端点性能。强化学习仍需要昂贵的轨迹采样、针对具体任务的评估和相应的基础设施。
用空闲算力处理可以等待的任务
有客户要转录总时长据称达 5000 年的音频档案。Modal 希望用价格更低的后台任务来承接这类负载。
💬 Key Quotes
我们的沙箱生命周期中位数大约是 12 秒,但长尾也有持续 24 小时的。
不过,强化学习这事相当复杂。
像 Wasm 或 V8 隔离环境这类方案,在某些场景确实说得通。
📊 Article Meta
AI Screening: 92
Featured: Yes
Source: LangChain
Author: LangChain
Category: 人工智能
Language: 英文
Read Time: 24 min
Word Count: 5833
Tags:
AI 与智能应用 , 强化学习 , 创始人故事 , 自主编码 , 视频
Play Full Video
实话,说的不明不白
这个观点很中肯,深有同感。
看完了,收获满满,期待更多更新。
内容翔实,正好需要,先收藏再看。
路过
支持作者,持续关注中。
路过
点赞,必须点赞
点赞,必须点赞
看完了,收获满满,期待更多更新。
作者写得真不错,学到了不少。
作者写得真不错,学到了不少。