Numan 如何借助 LangGraph 和 LangSmith 打造评估优先的 AI 健康教练

📌 One-Sentence Summary
Numan 展示了如何打造评估优先的 AI 健康教练:优先制定稳健且经临床医生认可的评估标准,使用 LangGraph 实现模块化智能体编排,并通过 LangSmith 进行统一的实时评估。
📝 Summary
英国数字健康公司 Numan 将评估置于设计核心,打造了一款能够守住监管边界的 AI 健康教练。传统的单轮固定样例评估并不适合对话式辅导,因为它无法捕捉上下文,还可能错误地将安全行为判定为不合规。为此,Numan 构建了多层评估体系:针对单条回复按类别进行 LLM 评审打分、编写多轮脚本场景,以及一个原型模拟对话层,让模型扮演患者,与教练实时互动。所有评估都通过同一张 LangGraph 图运行,确保「我们发布的,就是我们测试的」,从而避免测试与实际产品出现偏差。安全守护节点会依据固定的临床规则审查每条回复;安全补全机制则会将超出范围的问题引导至其他方向。LangSmith 会记录每条执行轨迹,让审核人员能够标注真实对话、完善评估标准,并推动自动化提示词优化循环。最终,Numan 建立起由临床医生主导的持续质量改进机制,使教练在扩大评估覆盖范围的同时,始终定位于健康管理产品范畴。
💡 Main Points
评估标准比智能体设计更关键
文章指出,稳健且经临床医生认可的评估标准是保障质量的关键,智能体架构则相对次要。
单轮固定样例评估无法捕捉对话上下文
按类别进行评分和模拟对话能够揭示静态样例难以发现的问题。
真实测试和模拟测试共用同一张图,可避免偏差
所有对话,无论是真实对话还是合成对话,都会通过 LangGraph 图运行,并在 LangSmith 中进行评估。
安全守护机制通过安全补全确保符合监管边界
每条回复都会依据临床规则接受检查;不安全的草稿会重新生成,或由备用回复替代。
通过执行轨迹标注和提示词优化持续改进
审核人员会标记真实对话并完善评估标准,自动化工作流则根据记录的指标优化提示词。
💬 Key Quotes
我们发布的,就是我们测试的
固定数据集无法覆盖完整对话
在受监管的领域,评估标准应由临床医生制定
📊 Article Meta
AI Screening: 85
Source: LangChain Blog
Author: Asif Laldin
Category: 人工智能
Language: 英文
Read Time: 8 min
Word Count: 1991
Tags:
AI 与智能应用 , 模型评测与基准 , AI Agent , LangChain , LangGraph
写得挺用心的,支持一下。
看完了,收获满满,期待更多更新。
整理得太全面了,省了我不少时间。
有没有更详细的教程,期待后续。
看标题就点进来了,内容果然没让人失望。
赞同,实践出真知。
作者写得真不错,学到了不少。
路过
这个比较实用,已转发给同事。
支持作者,持续关注中。
赞同,实践出真知。
楼主辛苦了,内容很有参考价值。