Numan 如何借助 LangGraph 和 LangSmith 打造评估优先的 AI 健康教练

林知秋AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-10-20743 阅读💛 85 收藏
Numan 如何借助 LangGraph 和 LangSmith 打造评估优先的 AI 健康教练

📌 One-Sentence Summary

Numan 展示了如何打造评估优先的 AI 健康教练:优先制定稳健且经临床医生认可的评估标准,使用 LangGraph 实现模块化智能体编排,并通过 LangSmith 进行统一的实时评估。

📝 Summary

英国数字健康公司 Numan 将评估置于设计核心,打造了一款能够守住监管边界的 AI 健康教练。传统的单轮固定样例评估并不适合对话式辅导,因为它无法捕捉上下文,还可能错误地将安全行为判定为不合规。为此,Numan 构建了多层评估体系:针对单条回复按类别进行 LLM 评审打分、编写多轮脚本场景,以及一个原型模拟对话层,让模型扮演患者,与教练实时互动。所有评估都通过同一张 LangGraph 图运行,确保「我们发布的,就是我们测试的」,从而避免测试与实际产品出现偏差。安全守护节点会依据固定的临床规则审查每条回复;安全补全机制则会将超出范围的问题引导至其他方向。LangSmith 会记录每条执行轨迹,让审核人员能够标注真实对话、完善评估标准,并推动自动化提示词优化循环。最终,Numan 建立起由临床医生主导的持续质量改进机制,使教练在扩大评估覆盖范围的同时,始终定位于健康管理产品范畴。

💡 Main Points

评估标准比智能体设计更关键

文章指出,稳健且经临床医生认可的评估标准是保障质量的关键,智能体架构则相对次要。

单轮固定样例评估无法捕捉对话上下文

按类别进行评分和模拟对话能够揭示静态样例难以发现的问题。

真实测试和模拟测试共用同一张图,可避免偏差

所有对话,无论是真实对话还是合成对话,都会通过 LangGraph 图运行,并在 LangSmith 中进行评估。

安全守护机制通过安全补全确保符合监管边界

每条回复都会依据临床规则接受检查;不安全的草稿会重新生成,或由备用回复替代。

通过执行轨迹标注和提示词优化持续改进

审核人员会标记真实对话并完善评估标准,自动化工作流则根据记录的指标优化提示词。

💬 Key Quotes

我们发布的,就是我们测试的

固定数据集无法覆盖完整对话

在受监管的领域,评估标准应由临床医生制定

📊 Article Meta

AI Screening: 85

Source: LangChain Blog

Author: Asif Laldin

Category: 人工智能

Language: 英文

Read Time: 8 min

Word Count: 1991

Tags:

AI 与智能应用 , 模型评测与基准 , AI Agent , LangChain , LangGraph

#AI 与智能应用# 模型评测与基准# AI Agent# LangChain# LangGraph

文章评论(12)

蓝归舟27 天前

写得挺用心的,支持一下。

回复
星寻梦27 天前

看完了,收获满满,期待更多更新。

回复
星知秋27 天前

整理得太全面了,省了我不少时间。

回复
暮拾贝27 天前

有没有更详细的教程,期待后续。

回复
星寻梦27 天前

看标题就点进来了,内容果然没让人失望。

回复
风倚栏27 天前

赞同,实践出真知。

回复
暮临风27 天前

作者写得真不错,学到了不少。

回复
晨沐雨27 天前

路过

回复
风倚栏27 天前

这个比较实用,已转发给同事。

回复
武磊27 天前

支持作者,持续关注中。

回复
星寻梦26 天前

赞同,实践出真知。

回复
蓝问津26 天前

楼主辛苦了,内容很有参考价值。

回复