让 Agent 在沙箱中运行 1000 项任务：LLM 执行代码时会出现什么问题？｜AWS Kevin Orellana

📌 One-Sentence Summary

AWS AgentCore 工程师分享约 1000 项由 Agent 驱动的沙箱任务如何暴露接口编码、文件持久化和资源限制问题，并说明为何需要在远端开展模糊测试。

📝 Summary

Kevin Orellana 介绍了团队如何用 MCP 接口封装 Amazon Bedrock AgentCore 沙箱，再让编程 Agent 在十个领域生成并运行约 1000 项贴近客户使用方式的任务。测试结果写入 SQLite，以便系统比较故障。其中三个具体问题是接口层图像编码错误、空字节边界情况，以及写入沙箱目录的文件无法重新取回。他将故障分为接口层和沙箱层，并对比代码执行与更耗内存的云浏览器。演讲还讨论权限、网络控制、CPU 和内存约束，以及本地开发环境与远端托管沙箱之间的差异。他建议在真实远端环境中广泛测试工作流，避免假定单元测试或本地成功就能覆盖底层约束。这是一份一手实践复盘，但没有给出充分的故障率量化数据。

💡 Main Points

Agent 生成的工作流可以比狭窄的单元测试更广泛地探查沙箱。

团队通过 MCP 开放环境，在十个领域运行约 1000 项任务，并把结果存入 SQLite，以识别可重复的故障模式。

故障既可能发生在接口层，也可能发生在沙箱层。

案例包括 MCP 图像编码路径错误、空字节边界问题及文件取回失败；按层分类有助于定位问题。

远端沙箱的限制会改变编程 Agent 的实际能力。

内存、CPU、文件系统权限及网络访问控制可能使本地可行的任务在远端失败；浏览器 Agent 和代码 Agent 的资源压力也不同。

应在真实托管环境中测试贴近客户使用方式的 Agent 任务。

讲者建议进行广泛的远端模糊测试，因为传统 API 测试难以预先覆盖底层平台约束。

💬 Key Quotes

因此，我们直接要求它在十个领域编写 1000 项测试。

我们深入排查后发现，MCP 层的编码方式不正确。

如果你要在沙箱中托管 Agent，除了本地测试，也要用覆盖不同领域的大量任务在远端进行模糊测试。

📊 Article Meta

AI Screening： 90

Featured： Yes

Source： AI Engineer

Author： AI Engineer

Category： 软件编程

Language： 英文

Read Time： 12 min

Word Count： 2798

Tags：

编程与工程 , 云原生 / DevOps , AI Agent , MCP协议 , 自主编码

Play Full Video