Numan 如何利用 LangGraph 和 LangSmith 构建评测优先的 AI 健康教练 Nu

📌 One-Sentence Summary
Numan 介绍了如何采用「评测优先」的方法,借助 LangGraph 和 LangSmith 构建 AI 健康教练 Nu,并通过模拟对话和由临床医生签署的评测标准,严格遵守监管边界。
📝 Summary
英国数字医疗公司 Numan 分享了打造 AI 健康教练 Nu 的经验。为摆脱静态数据集和脚本化对话的局限,Numan 利用 LangGraph 和 LangSmith 构建了一套复杂的评测框架。系统采用主题数据集进行单轮检查,并加入模拟对话层,让成本更低的 LLM 扮演患者,以测试多轮互动和对抗性场景。一个关键发现是,在受监管行业中,最有价值的资产不是提示词,而是评测标准;这些标准必须由临床专家制定并签署,以确保安全和合规。
💡 Main Points
静态评测和脚本化评测不足以评估教练型智能体。
单轮评测忽略了对话上下文,而脚本化的多轮对话一旦遇到智能体偏离脚本就会失效,因此无法捕捉行为指导的细微差别或安全边界。
构建多层评测框架。
Numan 使用主题数据集进行特定检查(如路由和安全),并加入模拟对话层,让 LLM 扮演患者,测试对抗性场景和多轮行为模式。
遵循「测试实际交付内容」的原则。
Numan 不使用独立的测试框架,而是通过与生产环境完全相同的 LangGraph 工作流运行评测,确保评测结果能准确反映真实用户体验。
评测标准是首要的战略资产。
在受监管的医疗场景中,可以通过模型迭代提示词,但为防止违反监管要求并确保临床安全,必须由临床医生定义并签署「真实标准」。
💬 Key Quotes
「最稀缺、最有价值的资产不是提示词……而是评测标准。」
「我们遵循的原则是:交付什么,就测试什么。」
「面对监管边界,这些标准必须由了解监管红线和临床实际情况的临床医生编写并签署,而不是由工程师制定。」
📊 Article Meta
AI Screening: 88
Source: AIHOT — 精选
Author: noreply@aihot.news (LangChain:Blog)
Category: 人工智能
Language: 英文
Read Time: 17 min
Word Count: 4176
Tags:
AI 与智能应用 , 模型发布 , AI Agent , Agent编排 , 科技评论
支持作者,持续关注中。
这篇文章分析得很透彻,收藏了!
有没有更详细的教程,期待后续。
点赞,必须点赞
点赞,必须点赞
作者写得真不错,学到了不少。
这个比较实用,已转发给同事。
整理得太全面了,省了我不少时间。
讲解得很细致,新手也能看懂。
有没有更详细的教程,期待后续。
收藏了,以后慢慢研究。
看标题就点进来了,内容果然没让人失望。