生产环境 LLM 的平台工程手册

📌 One-Sentence Summary

DoorDash 分享了将 LLM 栈从应用代码转向平台基础设施的转型，并将幻觉率从 15% 降低到了 1.5%。

📝 Summary

本文介绍了 DoorDash 用于库存准确性的生成式 AI 平台的架构演进。通过从单体应用转向模块化平台层，他们解决了 API 节流、上下文限制和语义漂移等扩展问题。关键策略包括实现中心化的 LLM 网关、在平台边界通过 Pydantic 强制结构化输出，以及使用模型上下文协议 (MCP) 可靠地管理多智能体工作流。

💡 Main Points

从应用向平台基础设施转型

将 LLM 逻辑从单个应用代码移动到共享平台，使 DoorDash 能够在跨多个团队一致地解决速率限制和上下文管理等扩展问题。

通过自动重试循环减少幻觉

通过将模型封装在能够捕获格式和落地错误的自动重试循环中，他们在不改变底层基础模型的情况下，将幻觉率从 15% 降低到了 1.5%。

强制结构化输出

在平台边界执行严格的 Pydantic 架构可确保下游服务仅接收有效数据；验证失败被视为可衡量的幻觉信号，而非静默的 Bug。

中心化 LLM 网关与路由

统一的网关允许轻松切换模型（OpenAI、Anthropic、Gemini），同时提供必要的按团队的 Token 成本归因和行为可观测性。

💬 Key Quotes

幻觉率是一个平台可控制的指标。

我们经历了从模型到工作流再到智能体的演进。

让正确的事变得简单。

MCP 就像是提供给智能体的数据表示层。

📊 Article Meta

AI Screening： 91

Featured： Yes

Source： InfoQ

Author： Aditya Mulik

Category： 人工智能

Language： 英文

Read Time： 30 min

Word Count： 7351

Tags：

AI 与智能应用 , AI Agent , 系统设计 , 平台工程 , 开源项目