对谈 Modal 联合创始人 Erik Bernhardsson:AI 智能体该用什么样的沙箱

蓝旅人行业资讯📡 BestBlogs·全站精选⭐ 922026-11-13735 阅读💛 162 收藏
对谈 Modal 联合创始人 Erik Bernhardsson:AI 智能体该用什么样的沙箱

📌 One-Sentence Summary

Modal 联合创始人解释了 AI 基础设施为何既需要低成本沙箱,也需要完整的虚拟机。

📝 Summary

Modal 联合创始人 Erik Bernhardsson 回顾了沙箱需求的三波增长。最早是通过提示词生成应用的用户需要运行代码,随后是后台编码智能体,接着是要大规模运行轨迹的强化学习团队。他解释了 Modal 为何将部分负载从 gVisor 迁到完整的虚拟机,也提出一种架构思路:让智能体的控制程序长时间运行,按需创建和销毁短寿命沙箱。他还谈到共享推理端点能省掉哪些调优工作、为什么多数客户用不上强化学习,以及如何利用空闲算力降低后台批处理的成本。

💡 Main Points

三类负载先后带动沙箱需求

通过提示词生成的应用最早需要执行环境,其后是后台智能体,最后是需要运行大量轨迹的强化学习用户。

把智能体控制程序与执行环境分开

Bernhardsson 预计,长期运行的控制程序会按需创建短寿命沙箱。他估计 Modal 沙箱的生命周期中位数约为 12 秒,长尾可达 24 小时。

按负载选择隔离方式

完整虚拟机在运行 Docker 和配置防火墙等方面更灵活。需要反复执行的小代码片段仍可能适合 Wasm 或 V8 隔离环境。

推理运维比强化学习更容易产品化

Modal 可以通过调整批次大小、训练草稿模型来优化端点性能。强化学习仍需要昂贵的轨迹采样、针对具体任务的评估和相应的基础设施。

用空闲算力处理可以等待的任务

有客户要转录总时长据称达 5000 年的音频档案。Modal 希望用价格更低的后台任务来承接这类负载。

💬 Key Quotes

我们的沙箱生命周期中位数大约是 12 秒,但长尾也有持续 24 小时的。

不过,强化学习这事相当复杂。

像 Wasm 或 V8 隔离环境这类方案,在某些场景确实说得通。

📊 Article Meta

AI Screening: 92

Featured: Yes

Source: LangChain

Author: LangChain

Category: 人工智能

Language: 英文

Read Time: 24 min

Word Count: 5833

Tags:

AI 与智能应用 , 强化学习 , 创始人故事 , 自主编码 , 视频

Play Full Video

#AI 与智能应用# 强化学习# 创始人故事# 自主编码# 视频

文章评论(12)

星知秋2 天前

实话,说的不明不白

回复
风倚栏2 天前

这个观点很中肯,深有同感。

回复
晨寻梦2 天前

看完了,收获满满,期待更多更新。

回复
拾贝者2 天前

内容翔实,正好需要,先收藏再看。

回复
雪影2 天前

路过

回复
蓝光2 天前

支持作者,持续关注中。

回复
月沐雨2 天前

路过

回复
郭超2 天前

点赞,必须点赞

回复
竹听风2 天前

点赞,必须点赞

回复
竹听风2 天前

看完了,收获满满,期待更多更新。

回复
林拾贝2 天前

作者写得真不错,学到了不少。

回复
龙文博2 天前

作者写得真不错,学到了不少。

回复