用 Langfuse 持续改进智能体：从生产追踪到离线实验

📌 One-Sentence Summary

Annabell Schäfer 与 Lotte Verheyden 展示如何结合 Langfuse 追踪、定向线上评测与离线数据集，把支持智能体的用户抱怨变成持续改进流程。

📝 Summary

工作坊以帮助家人解决手机问题的 IT 支持智能体 Specs 为例，接入 Langfuse，沿着智能体观测、模型调用和工具调用查看请求。讲者强调，追踪若缺失关键步骤，后续监控就无法可靠地解释问题。她们配置了判断用户是否不同意回答的模型评测、识别全大写挫败表达的代码评测，以及请求是否越界的检查，并把各评测变量明确映射到相关消息。导入种子生产轨迹后，编码智能体通过 Langfuse CLI 和技能发现检索质量薄弱、重复调用、延迟与评测覆盖缺口。讲者进一步把线上信号连接到离线数据集和回归实验。流程有较强实操价值，但生产数据是预先准备的，现场并未证明部署后长期改善。

💡 Main Points

追踪质量决定后续评测质量

必须记录智能体观测、模型和工具调用；缺失 span 会妨碍诊断与监控。

评测要对应明确问题与输入

用户异议、全大写挫败表达和越界请求分别映射到具体消息，评分才有可解释性。

生产信号可引导编码智能体排障

CLI 和技能帮助定位检索失败、重复调用、延迟及监控盲区。

离线实验用于验证修复

把线上观察到的失败沉淀为数据集，随应用和流量变化持续检查回归。

💬 Key Quotes

一切都从追踪开始。

我们的帮助库搜索存在未被发现的检索质量故障。

📊 Article Meta

AI Screening： 90

Featured： Yes

Source： AI Engineer

Author： AI Engineer

Category： 人工智能

Language： 英文

Read Time： 32 min

Word Count： 7772

Tags：

AI 与智能应用 , 可观测性 , AI Agent , 命令行与终端 , 自主编码

Play Full Video