并非所有任务都需要 LLM

AI小蝌蚪AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-11-14801 阅读💛 142 收藏
并非所有任务都需要 LLM

📌 One-Sentence Summary

PostHog 探讨了决策模型的实际应用:这类结构化分类器会输出带类型的答案及其概率,可用于拦截成本高昂的 LLM 调用、将任务路由给最便宜且合适的模型、重新排序搜索结果,并在简单决策中替代能力过剩的 LLM;同时,文章也提醒了这类模型在多步推理方面的局限,以及针对具体任务校准阈值的必要性。

📝 Summary

PostHog 探讨了决策模型如何在生产工作流中与 LLM 配合使用。这类模型是结构化分类器,会返回带类型的答案及其概率分数。文章介绍了 4 种主要用途:(1) 通过低成本的是非题或选择题筛选输入,拦截成本高昂的 LLM 调用;在他们的会话回放 PII 清理流程中,98.7% 的请求因此跳过了 LLM 调用;(2) 通过一道选择题,将 LLM 请求路由给性价比最高的模型,并记录各个选项的能力与成本;(3) 将每个候选结果与查询进行直接比对,重新排序搜索结果,在测试查询上的排名质量提升了 ~25%;(4) 在图表选择等简单分类任务中,替代能力过剩的 LLM;在这类任务中,决策模型会同时考虑 SQL 和样本数据,效果优于确定性规则。作者强调,阈值因模型和任务而异,多步推理仍应交由 LLM 处理;在出现不确定性时,Jeeves 等混合方案可以弥补不足。

💡 Main Points

决策模型能够高效拦截成本高昂的 LLM 调用

通过设置范围明确的是非题,PostHog 的 PII 清理流程让 Gemini 重写任务实现了 98.7% 的跳过率。误报与漏报之间的取舍可根据错误成本设定阈值;例如,在 PII 检测中,漏报的代价更高,因此阈值设为 0.4。

决策模型可作为有效的模型路由器,优化成本

通过一道选择题,模型会选出最便宜且可能胜任任务的选项。每个选项都标注了能力和相对成本,但阈值必须针对不同的模型版本和任务重新校准。

决策模型能够基于直接比对重新排序搜索结果

在通过嵌入检索选出候选结果后,决策模型会评估每条结果与查询的匹配程度,在测试查询上的排名质量提升了 ~25%,同时避免了多步推理。

对于简单、结构化的决策,决策模型可以取代能力过剩的 LLM

过去依赖确定性规则的图表选择器,如今改用决策模型,同时考量 SQL 和样本数据,因此能选出更合适的可视化形式,例如选择分组柱状图,而不是简单折线图。

多步推理和不确定任务仍不属于决策模型的适用范围

尝试串联决策模型来处理多步判断(例如为会话精选片段排序)会造成运营瓶颈;需要处理大量上下文或细致推理的任务,则应交给 LLM 或 Jeeves 等混合系统。

💬 Key Quotes

LLM 就爱长篇大论。问一个简单的问题,你就会得到几百字的「这要视情况而定」。真烦死了。

决策模型的成本最高可比前沿模型低 444.6x,速度最高可快 193.6x,因此你可以先用它们判断是否真的需要调用成本高昂的 LLM。

在生产环境中,98.7% 的请求完全跳过了 LLM 调用。

0.85 的概率分数仍意味着每 1,000 次检查中约有 150 个错误答案,因此要提前为误报和漏报做好准备。

先用决策模型筛选任务,避免它们触发成本高昂的 LLM 调用;再根据哪种错误代价更高来设定阈值。

📊 Article Meta

AI Screening: 88

Source: Hacker News - Newest: "LLM"

Author: eigenBasis

Category: 人工智能

Language: 英文

Read Time: 7 min

Word Count: 1619

Tags:

AI 与智能应用 , AI 工程 , 模型训练与推理 , 上下文工程 , 开放权重模型

#AI 与智能应用# AI 工程# 模型训练与推理# 上下文工程# 开放权重模型

文章评论(12)

蒋力1 天前

赞同,实践出真知。

回复
星知秋1 天前

内容翔实,正好需要,先收藏再看。

回复
竹听风1 天前

不错不错,已加入书签。

回复
空向阳1 天前

楼主辛苦了,内容很有参考价值。

回复
逐光而行1 天前

实测过类似工具,作者说的基本属实。

回复
月沐雨1 天前

这个观点很中肯,深有同感。

回复
星知秋1 天前

这个比较实用,已转发给同事。

回复
竹听风1 天前

内容翔实,正好需要,先收藏再看。

回复
风倚栏1 天前

有没有更详细的教程,期待后续。

回复
星观澜1 天前

收藏了,以后慢慢研究。

回复
月沐雨1 天前

有没有更详细的教程,期待后续。

回复
墨沐雨1 天前

点赞,必须点赞

回复