并非所有任务都需要 LLM

📌 One-Sentence Summary
PostHog 探讨了决策模型的实际应用:这类结构化分类器会输出带类型的答案及其概率,可用于拦截成本高昂的 LLM 调用、将任务路由给最便宜且合适的模型、重新排序搜索结果,并在简单决策中替代能力过剩的 LLM;同时,文章也提醒了这类模型在多步推理方面的局限,以及针对具体任务校准阈值的必要性。
📝 Summary
PostHog 探讨了决策模型如何在生产工作流中与 LLM 配合使用。这类模型是结构化分类器,会返回带类型的答案及其概率分数。文章介绍了 4 种主要用途:(1) 通过低成本的是非题或选择题筛选输入,拦截成本高昂的 LLM 调用;在他们的会话回放 PII 清理流程中,98.7% 的请求因此跳过了 LLM 调用;(2) 通过一道选择题,将 LLM 请求路由给性价比最高的模型,并记录各个选项的能力与成本;(3) 将每个候选结果与查询进行直接比对,重新排序搜索结果,在测试查询上的排名质量提升了 ~25%;(4) 在图表选择等简单分类任务中,替代能力过剩的 LLM;在这类任务中,决策模型会同时考虑 SQL 和样本数据,效果优于确定性规则。作者强调,阈值因模型和任务而异,多步推理仍应交由 LLM 处理;在出现不确定性时,Jeeves 等混合方案可以弥补不足。
💡 Main Points
决策模型能够高效拦截成本高昂的 LLM 调用
通过设置范围明确的是非题,PostHog 的 PII 清理流程让 Gemini 重写任务实现了 98.7% 的跳过率。误报与漏报之间的取舍可根据错误成本设定阈值;例如,在 PII 检测中,漏报的代价更高,因此阈值设为 0.4。
决策模型可作为有效的模型路由器,优化成本
通过一道选择题,模型会选出最便宜且可能胜任任务的选项。每个选项都标注了能力和相对成本,但阈值必须针对不同的模型版本和任务重新校准。
决策模型能够基于直接比对重新排序搜索结果
在通过嵌入检索选出候选结果后,决策模型会评估每条结果与查询的匹配程度,在测试查询上的排名质量提升了 ~25%,同时避免了多步推理。
对于简单、结构化的决策,决策模型可以取代能力过剩的 LLM
过去依赖确定性规则的图表选择器,如今改用决策模型,同时考量 SQL 和样本数据,因此能选出更合适的可视化形式,例如选择分组柱状图,而不是简单折线图。
多步推理和不确定任务仍不属于决策模型的适用范围
尝试串联决策模型来处理多步判断(例如为会话精选片段排序)会造成运营瓶颈;需要处理大量上下文或细致推理的任务,则应交给 LLM 或 Jeeves 等混合系统。
💬 Key Quotes
LLM 就爱长篇大论。问一个简单的问题,你就会得到几百字的「这要视情况而定」。真烦死了。
决策模型的成本最高可比前沿模型低 444.6x,速度最高可快 193.6x,因此你可以先用它们判断是否真的需要调用成本高昂的 LLM。
在生产环境中,98.7% 的请求完全跳过了 LLM 调用。
0.85 的概率分数仍意味着每 1,000 次检查中约有 150 个错误答案,因此要提前为误报和漏报做好准备。
先用决策模型筛选任务,避免它们触发成本高昂的 LLM 调用;再根据哪种错误代价更高来设定阈值。
📊 Article Meta
AI Screening: 88
Source: Hacker News - Newest: "LLM"
Author: eigenBasis
Category: 人工智能
Language: 英文
Read Time: 7 min
Word Count: 1619
Tags:
AI 与智能应用 , AI 工程 , 模型训练与推理 , 上下文工程 , 开放权重模型
赞同,实践出真知。
内容翔实,正好需要,先收藏再看。
不错不错,已加入书签。
楼主辛苦了,内容很有参考价值。
实测过类似工具,作者说的基本属实。
这个观点很中肯,深有同感。
这个比较实用,已转发给同事。
内容翔实,正好需要,先收藏再看。
有没有更详细的教程,期待后续。
收藏了,以后慢慢研究。
有没有更详细的教程,期待后续。
点赞,必须点赞