第 5 部分：运行 LLM 系统：可观测性、成本、路由和底层平台

📌 One-Sentence Summary

本文概述了稳健的 LLM 运行层所需的基本组件，包括全面可观测性、成本控制机制、智能路由，以及可在可扩展微服务架构基础上运行的可靠停止开关。

📝 Summary

本文详细介绍了生产 LLM 系统的“可操作性”层，强调了在标准指标之外，还需要一个专门针对 AI 的可观测性信号层。内容涉及将代理决策作为可测量事件跟踪的“决策层”，用于数据敏感性的结构化日志，以及决策图的跟踪。此外，文章还涵盖了成本控制策略，例如通过单个网关路由来测量和执行限制，以及兼顾速度与质量的性能优化技术。最后，讨论了灵活的路由系统对模型选择的重要性，以及快速、精细的停止开关在实时管理系统行为方面的作用。

💡 Main Points

观察决策，而不仅仅是服务

虽然标准指标（RED）可以监控服务运行状况，但还需要一层来跟踪 AI 代理的质量和行为。这涉及到衡量决策结果、置信度以及安全保护措施的激活情况，以确保系统按预期运行。

在瓶颈处控制成本

为了管理与 LLM 使用相关的重大成本，所有模型调用必须通过单个网关路由。这允许实时测量令牌消耗和成本，从而执行速率限制和预算约束，防止意外超支。

快速且不失质量

优化系统速度需要识别和消除瓶颈，例如低效的匹配算法或过多模型调用。文章强调了通过剖析来查找这些瓶颈的重要性，并确保任何性能提升不会损害输出质量。

路由、回退和停止开关

一个健壮的系统必须具备为特定任务选择合适的模型（路由）、在主模型失败时切换到备份模型（回退），以及在系统出现故障时立即停止（停止开关）的能力。网关是管理这些关键操作功能的中心点。

💬 Key Quotes

一个运行失误的传统服务会返回 500 错误。一个运行失误的 LLM 系统可能会以非常快的速度执行错误的动作，造成巨大损失。

一个代理生成的最重要数值不是其答案，而是其置信度。

最便宜的调用是那些未执行的调用。

模型很少成为瓶颈——而‘快速’不应该只是对是否依然正确的一种猜测。

这样构建的系统知道自己何时不理解。

📊 Article Meta

AI Screening： 90

Featured： Yes

Source： Stack Overflow Blog

Author： Varun Jindal

Category： 人工智能

Language： 英文

Read Time： 16 min

Word Count： 3944

Tags：

AI 与智能应用 , 可观测性 , 系统设计 , AI Agent , AI 安全与对齐