Squishling:只在比 token 更便宜的地方写 Ruby

📌 One-Sentence Summary
Squishling 是一个 Ruby gem,让任何类在确定性代码维护成本过高时回退到 LLM,一个实测演示显示,通过将 63% 的标准情况路由到代码,准确率达到 95/100,每 100 次调用成本仅 $0.12。
📝 Summary
Squishling 是一个 Ruby 库,将 LLM 调用视为一等公民的实现策略:一个类声明其用途和输出模式,每次调用都会被模型「压缩」处理,除非你编写一个真实的方法。文章将此框定为灵活(模型处理,每次请求成本更高)与高效(确定性代码,近乎零成本)之间的一个光谱,并主张一旦你能用 token 为技术债务定价,它就变得可控。一个持续运行的 FHIR 患者记录解析示例展示了演进过程:一个裸用途在每 100 次调用 $0.48 的成本下通过 73/100;一个带有明确字段规则的调优用途达到 95/100,成本 $0.51;一个双样本加评判器的测试框架(squishsum / judged_squishsum)保持在 95/100,但成本翻倍至 $1.02,且评判器从未触发,因为失败是系统性的误读而非噪声。将 63% 符合标准格式的请求路由到现有解析器,其余进行压缩处理,保持 95/100 的同时将成本降至每 100 次调用 $0.12。文章还涵盖了自定义测试框架、squish_validate、squish_fallback、使用 squish! 从服务解析错误甚至普通 bug 中恢复,以及一个用于判断何时值得编写代码的 token 成本计算器。
💡 Main Points
Squishling 将代码与 LLM 的决策重新框定为可调的光谱,而非非此即彼的选择。
任何 Ruby 类都可以处于完全由模型处理和完全确定性之间的任意位置,并且可以根据速度、请求量或团队能承受的技术债务量,按类调整平衡点。
在演示中,提示词调优而非采样驱动了大部分准确率提升。
为 HL7 姓名顺序、性别代码和症状提取添加明确规则,将 FHIR 解析器从 73/100 提升到 95/100,成本大致相同(每 100 次调用从 $0.48 到 $0.51)。
双样本加评判器的一致性可以防止随机错误,但无法防止系统性误解。
judged_squishsum 将成本翻倍至每 100 次调用 $1.02,而准确率保持在 95/100,且评判器从未被调用,因为在温度 0.1 下,模型即使对五条错误记录也与自己意见一致。
将标准形状的输入路由到确定性代码,仅对剩余部分进行压缩处理,是最便宜的高准确率配置。
由于 63% 的请求符合标准格式,将这些请求发送到现有 FHIR 解析器,保持了 95/100 的准确率,同时将成本降至每 100 次调用 $0.12,比压缩每个请求便宜 76%。
同样的模式不仅适用于解析,还推广到服务故障和普通 bug。
一个 rescue 块可以调用 squish!,将错误作为上下文,让模型产生相同的已验证输出形状;作者强调这是安全网,而非修复底层 bug 的替代品。
💬 Key Quotes
债务并不总是坏事。善加利用,它能给你杠杆,技术债务也是如此:它可以是资产,也可以是负债,取决于你如何对待它。
问两次能保护你免受随机错误的影响,但不能免受误解的影响。而验证检查的是答案的「形状」,而非其真实性。
一个可靠的系统不是其中没有压缩。而是每一次压缩都是「小而原子化,且易于替换」的系统。
你尚未编写的代码,就是你尚未承担的债务。
这是一张网,不是修复。仍然要修复 bug,并检查那些一个看似合理的错误值会代价高昂的情况。
📊 Article Meta
AI Screening: 86
Source: Hacker News - Newest: "LLM"
Author: mikecarroll
Category: 软件编程
Language: 英文
Read Time: 10 min
Word Count: 2344
Tags:
编程与工程 , AI 工程 , AI 工作流 , 后端开发 , LLM 推理优化
这个比较实用,已转发给同事。
支持作者,持续关注中。
讲解得很细致,新手也能看懂。
整理得太全面了,省了我不少时间。
路过
不错不错,已加入书签。
点赞,必须点赞
作者写得真不错,学到了不少。
实话,说的不明不白
实话,说的不明不白
内容翔实,正好需要,先收藏再看。
这个观点很中肯,深有同感。