规模化批处理智能:具备内置韧性的高性价比多智能体 LLM 工作流

清风徐来行业资讯📡 BestBlogs·全站精选⭐ 902026-11-11583 阅读💛 239 收藏
规模化批处理智能:具备内置韧性的高性价比多智能体 LLM 工作流

📌 One-Sentence Summary

本文介绍了沃尔玛如何大规模部署多智能体 LLM 工作流来预测库存,并通过结构化输出、数据落地机制和批处理优化,应对幻觉、语义错误和成本效率等挑战。

📝 Summary

本文详细介绍了沃尔玛如何开发多智能体 LLM 工作流,提升 4,700+ 家门店的库存预测准确度。系统使用依次协作的智能体获取实时背景信息、整合历史销售数据、应用数据落地机制,并生成门店经理可执行的建议。主要挑战包括幻觉、违反架构规范、语义映射错误,以及故障期间输出丢失。解决方案包括结构化 JSON 输出、SKU 验证、通过 MCP 工具调用落实数据依据,以及设置有限重试次数的循环智能体。成本优化方面,团队认识到批处理任务不需要 24/7 的处理能力,从而解决了 PTU(预置吞吐量单位)成本问题,在维持 99% 可靠性的同时显著节省成本。

💡 Main Points

多智能体顺序工作流结合实时背景信息与历史 ML 模型,提高库存预测准确度

系统按顺序使用 4 个智能体:从 BigQuery 获取数据、整合历史销售数据、通过外部 API(天气、活动)落实数据依据,以及生成最终建议。与单独依赖回顾性 ML 模型相比,这种方式能做出更准确的预测。

结构化输出和数据落地机制可避免智能体响应中的幻觉与语义错误

架构验证可确保 JSON 输出包含必需字段(SKU、商品名称、部门);MCP 工具调用则验证商品是否正确映射到源数据,避免将农产品推荐给汽车零部件部门这类严重错误。

设置有限重试次数的循环智能体可抵御暂时性故障

将顺序智能体替换为设定最大迭代次数的循环智能体,可确保即使网络问题导致数据库写入失败,输出也能持久化;这一机制让 4,700+ 家门店的系统可靠性达到 99%。

可观测性对于大规模监控批处理 LLM 工作流至关重要

结构化日志会记录重试、架构违规、延迟和错误率,从而帮助团队了解工作流运行状况,并支持让所有门店的推荐成功率达到 99% 的目标。

PTU 成本优化的关键在于认识到批处理任务不需要 24/7 的处理能力

系统最初需要 400 个 PTU(每月 $100k-$120k),但团队意识到批处理智能只在夜间运行。根据实际使用模式配置处理能力,而不是全天候预留容量,因此节省了成本。

💬 Key Quotes

当移动应用主要充当远程服务的客户端时,它应尽可能少地承担后端编排工作。客户端承载的这类逻辑越多,应用就越脆弱。

我们的目标是让系统在生产环境中平稳无波。如果运行时你还在惦记它,那就说明出了问题。

我们在应用运行期间,将整个应用迁移到了新架构。由于无法提前完全复现生产环境,因此我们采用了经过周密安排的分阶段迁移策略。

如果我们想在不发布新应用的情况下改变产品行为,那么控制这种行为的业务逻辑就应该放在服务器端,而不是客户端。

一旦把逻辑迁移到后端,应用就成了一块画布。你可以决定在上面绘制什么。

📊 Article Meta

AI Screening: 90

Featured: Yes

Source: InfoQ

Author: Aditya Mulik

Category: 人工智能

Language: 英文

Read Time: 25 min

Word Count: 6116

Tags:

AI 与智能应用 , 分布式系统 , 机器学习 , 数据工程 , 可观测性

#AI 与智能应用# 分布式系统# 机器学习# 数据工程# 可观测性

文章评论(12)

拾贝者4 天前

实测过类似工具,作者说的基本属实。

回复
星知秋4 天前

写得挺用心的,支持一下。

回复
风拾光4 天前

有没有更详细的教程,期待后续。

回复
暮临风4 天前

支持作者,持续关注中。

回复
北岛渔夫4 天前

作者写得真不错,学到了不少。

回复
雪知秋4 天前

内容翔实,正好需要,先收藏再看。

回复
墨沐雨4 天前

有没有更详细的教程,期待后续。

回复
风拾光4 天前

路过

回复
龙文博4 天前

支持作者,持续关注中。

回复
武磊4 天前

作者写得真不错,学到了不少。

回复
雪影4 天前

看标题就点进来了,内容果然没让人失望。

回复
北岛渔夫4 天前

讲解得很细致,新手也能看懂。

回复