(迭代思考)：介绍 Lev

AI小蝌蚪AI 前沿📡 BestBlogs·AI高分精选⭐ 862026-09-26609 阅读💛 299 收藏

📌 One-Sentence Summary

Lev 是一个开源决策引擎，它将基于编码器的快速分类器与本地 LLM 升级层相结合，可在离线状态下实现低延迟、高置信度的结构化决策。

📝 Summary

本文介绍了 Lev——一个 TypeSafe 旗下 Jev 的开源替代方案，专为实时结构化决策而设计。文章阐述了使用编码器检查点（如 ModernBERT）的「系统一」模型架构，可在 100ms 内完成分类，并将其与生成式 LLM 进行了对比。作者详细分析了分类器常见的失效模式，如位置偏差、过度自信以及无法处理对抗性逻辑，并展示了基准测试结果，说明 Lev 如何通过置信度门控升级机制来缓解这些问题。当快速分类器不确定时，查询会被路由到本地思考型 LLM（Qwen3.5-4B），并通过并行决策分支优化来提升速度。文章还重点介绍了 Lev 在 Clojure/Jolt 中的实现，强调其离线能力、自定义校准工具，以及相比 Python 或基于 JVM 的解决方案更无缝的原生生态集成。

💡 Main Points

基于编码器的分类器具有显著的延迟优势，但存在特定的逻辑盲区。

像 ModernBERT 这样的模型通过单次双向处理输入，在 CPU 上可实现约 95ms 的响应。然而，它们难以处理演绎推理（如双重否定），存在位置偏差（在排列下约 13% 的翻转率），并且在证据不足时往往无法弃权，导致过度自信的错误。

混合路由架构通过升级低置信度查询来平衡速度与准确性。

Lev 使用置信度门控将简单任务路由到快速编码器层，将复杂或不确定的任务路由到较慢的 LLM 层。基准测试显示，该方法在对抗性数据集上达到 92.4% 的准确率，每例约 270ms，显著优于单独使用编码器，同时比标准推理循环更快。

校准重拟合和确定性约束对生产可靠性至关重要。

Softmax 输出并非天然诚实的概率。Lev 包含基于标注流量重新拟合温度缩放的工具，以最小化校准误差。此外，它通过让模型提出行动方案，而由确定性代码根据硬约束进行验证（例如防止贪吃蛇游戏智能体撞墙），来强制执行安全性。

相比 Python 或 JVM FFI，Clojure 和 Jolt 为原生 AI 集成提供了更优越的开发者体验。

文章认为，Python 的性能问题以及 JVM 繁琐的 FFI 仪式阻碍了原生生态的使用。基于 Jolt 构建的 Lev 提供了无缝的字符串/内存处理、用于实时调整阈值的交互式 nREPL 工作流，以及独立二进制编译，使离线 AI 系统的部署和维护更加容易。

💬 Key Quotes

模型负责观察；表格负责决策。

快速分类器提出建议，确定性代码做出裁决，两者之间的边界正是确保整个系统可靠性的关键。