一个 98% 情况下回答像 Jev 的本地模型，以及我们如何验证

📌 One-Sentence Summary

作者介绍了 Jevstiller，这是一个利用小型本地模型模拟大型 LLM（Jev）的系统，具有数学上保证的一致率（例如 98%），将延迟从 300ms 降低至 15ms。

📝 Summary

本文详细介绍了 Jevstiller 的实现，这是一个旨在通过预测更大模型（Jev）的输出以减少智能体循环延迟的本地缓存和分类层。其核心创新在于一种「契约」，保证本地模型在特定百分比的请求中与教师模型保持一致。作者解释了为什么简单的置信度阈值会因有限数据中的噪声而失效，并引入了一种严格的方法，使用 Clopper-Pearson 置信区间、固定序列测试和永久审计切片来检测漂移并在持续重训练期间维持该保证。该系统牺牲部分覆盖率（即由本地处理的请求百分比），以严格确保一致性预算不被突破。

💡 Main Points

「一致性契约」优先考虑可验证的一致性而非原始准确率。

系统保证本地模型的标签在所有请求中至少有 X% 与教师模型的标签匹配。它明确区分了与教师模型的一致性和针对真实值的准确性，因为本地模型的设计目的是模仿教师模型的行为，包括其错误。

点估计阈值对于维持严格预算不可靠。

在有限的验证集上选择最宽松的通过阈值往往选中了向下噪声，导致在生产环境中预算超标。Jevstiller 通过使用保守的置信区间（Clopper-Pearson）和固定序列测试解决了这一问题。

多层路由策略确保了可靠性。

该系统采用冻结的句子编码器配合逻辑回归头，并结合 k-最近邻 OOD（分布外）评分器和校准后的置信度阈值，来决定是将请求路由到本地模型还是云端 API。

需要持续审计以处理数据和模型漂移。

由于流量模式和教师模型行为会发生变化，无论本地置信度如何，Jevstiller 都会将固定的 2% 流量路由给教师模型。这种无偏的审计切片使系统能够检测到一致性契约的违背并触发自动重训练。

💬 Key Quotes

设定一个数字，比如 98%。Jevstiller 至少在该比例的请求上返回 Jev 本应返回的标签。

选择看起来在预算内的最宽松阈值，往往会优先选择一个噪声恰好指向下方的阈值。

一旦开始路由，审计切片就是生产环境的唯一无偏视图。

一致性不等于准确率。

📊 Article Meta

AI Screening： 90

Featured： Yes

Source： Hacker News

Author： Hacker News

Category： 人工智能

Language： 英文

Read Time： 9 min

Word Count： 2154

Tags：

AI 与智能应用 , AI Agent , 性能优化 , 开发者工具 , 机器学习