规模化批处理智能:具备内置韧性的高性价比多智能体 LLM 工作流

📌 One-Sentence Summary
本文介绍了沃尔玛如何大规模部署多智能体 LLM 工作流来预测库存,并通过结构化输出、数据落地机制和批处理优化,应对幻觉、语义错误和成本效率等挑战。
📝 Summary
本文详细介绍了沃尔玛如何开发多智能体 LLM 工作流,提升 4,700+ 家门店的库存预测准确度。系统使用依次协作的智能体获取实时背景信息、整合历史销售数据、应用数据落地机制,并生成门店经理可执行的建议。主要挑战包括幻觉、违反架构规范、语义映射错误,以及故障期间输出丢失。解决方案包括结构化 JSON 输出、SKU 验证、通过 MCP 工具调用落实数据依据,以及设置有限重试次数的循环智能体。成本优化方面,团队认识到批处理任务不需要 24/7 的处理能力,从而解决了 PTU(预置吞吐量单位)成本问题,在维持 99% 可靠性的同时显著节省成本。
💡 Main Points
多智能体顺序工作流结合实时背景信息与历史 ML 模型,提高库存预测准确度
系统按顺序使用 4 个智能体:从 BigQuery 获取数据、整合历史销售数据、通过外部 API(天气、活动)落实数据依据,以及生成最终建议。与单独依赖回顾性 ML 模型相比,这种方式能做出更准确的预测。
结构化输出和数据落地机制可避免智能体响应中的幻觉与语义错误
架构验证可确保 JSON 输出包含必需字段(SKU、商品名称、部门);MCP 工具调用则验证商品是否正确映射到源数据,避免将农产品推荐给汽车零部件部门这类严重错误。
设置有限重试次数的循环智能体可抵御暂时性故障
将顺序智能体替换为设定最大迭代次数的循环智能体,可确保即使网络问题导致数据库写入失败,输出也能持久化;这一机制让 4,700+ 家门店的系统可靠性达到 99%。
可观测性对于大规模监控批处理 LLM 工作流至关重要
结构化日志会记录重试、架构违规、延迟和错误率,从而帮助团队了解工作流运行状况,并支持让所有门店的推荐成功率达到 99% 的目标。
PTU 成本优化的关键在于认识到批处理任务不需要 24/7 的处理能力
系统最初需要 400 个 PTU(每月 $100k-$120k),但团队意识到批处理智能只在夜间运行。根据实际使用模式配置处理能力,而不是全天候预留容量,因此节省了成本。
💬 Key Quotes
当移动应用主要充当远程服务的客户端时,它应尽可能少地承担后端编排工作。客户端承载的这类逻辑越多,应用就越脆弱。
我们的目标是让系统在生产环境中平稳无波。如果运行时你还在惦记它,那就说明出了问题。
我们在应用运行期间,将整个应用迁移到了新架构。由于无法提前完全复现生产环境,因此我们采用了经过周密安排的分阶段迁移策略。
如果我们想在不发布新应用的情况下改变产品行为,那么控制这种行为的业务逻辑就应该放在服务器端,而不是客户端。
一旦把逻辑迁移到后端,应用就成了一块画布。你可以决定在上面绘制什么。
📊 Article Meta
AI Screening: 90
Featured: Yes
Source: InfoQ
Author: Aditya Mulik
Category: 人工智能
Language: 英文
Read Time: 25 min
Word Count: 6116
Tags:
AI 与智能应用 , 分布式系统 , 机器学习 , 数据工程 , 可观测性
实测过类似工具,作者说的基本属实。
写得挺用心的,支持一下。
有没有更详细的教程,期待后续。
支持作者,持续关注中。
作者写得真不错,学到了不少。
内容翔实,正好需要,先收藏再看。
有没有更详细的教程,期待后续。
路过
支持作者,持续关注中。
作者写得真不错,学到了不少。
看标题就点进来了,内容果然没让人失望。
讲解得很细致,新手也能看懂。