Squishling:只在比 token 更便宜的地方写 Ruby

AI小蝌蚪AI 前沿📡 BestBlogs·AI高分精选⭐ 862026-10-17555 阅读💛 162 收藏
Squishling:只在比 token 更便宜的地方写 Ruby

📌 One-Sentence Summary

Squishling 是一个 Ruby gem,让任何类在确定性代码维护成本过高时回退到 LLM,一个实测演示显示,通过将 63% 的标准情况路由到代码,准确率达到 95/100,每 100 次调用成本仅 $0.12。

📝 Summary

Squishling 是一个 Ruby 库,将 LLM 调用视为一等公民的实现策略:一个类声明其用途和输出模式,每次调用都会被模型「压缩」处理,除非你编写一个真实的方法。文章将此框定为灵活(模型处理,每次请求成本更高)与高效(确定性代码,近乎零成本)之间的一个光谱,并主张一旦你能用 token 为技术债务定价,它就变得可控。一个持续运行的 FHIR 患者记录解析示例展示了演进过程:一个裸用途在每 100 次调用 $0.48 的成本下通过 73/100;一个带有明确字段规则的调优用途达到 95/100,成本 $0.51;一个双样本加评判器的测试框架(squishsum / judged_squishsum)保持在 95/100,但成本翻倍至 $1.02,且评判器从未触发,因为失败是系统性的误读而非噪声。将 63% 符合标准格式的请求路由到现有解析器,其余进行压缩处理,保持 95/100 的同时将成本降至每 100 次调用 $0.12。文章还涵盖了自定义测试框架、squish_validate、squish_fallback、使用 squish! 从服务解析错误甚至普通 bug 中恢复,以及一个用于判断何时值得编写代码的 token 成本计算器。

💡 Main Points

Squishling 将代码与 LLM 的决策重新框定为可调的光谱,而非非此即彼的选择。

任何 Ruby 类都可以处于完全由模型处理和完全确定性之间的任意位置,并且可以根据速度、请求量或团队能承受的技术债务量,按类调整平衡点。

在演示中,提示词调优而非采样驱动了大部分准确率提升。

为 HL7 姓名顺序、性别代码和症状提取添加明确规则,将 FHIR 解析器从 73/100 提升到 95/100,成本大致相同(每 100 次调用从 $0.48 到 $0.51)。

双样本加评判器的一致性可以防止随机错误,但无法防止系统性误解。

judged_squishsum 将成本翻倍至每 100 次调用 $1.02,而准确率保持在 95/100,且评判器从未被调用,因为在温度 0.1 下,模型即使对五条错误记录也与自己意见一致。

将标准形状的输入路由到确定性代码,仅对剩余部分进行压缩处理,是最便宜的高准确率配置。

由于 63% 的请求符合标准格式,将这些请求发送到现有 FHIR 解析器,保持了 95/100 的准确率,同时将成本降至每 100 次调用 $0.12,比压缩每个请求便宜 76%。

同样的模式不仅适用于解析,还推广到服务故障和普通 bug。

一个 rescue 块可以调用 squish!,将错误作为上下文,让模型产生相同的已验证输出形状;作者强调这是安全网,而非修复底层 bug 的替代品。

💬 Key Quotes

债务并不总是坏事。善加利用,它能给你杠杆,技术债务也是如此:它可以是资产,也可以是负债,取决于你如何对待它。

问两次能保护你免受随机错误的影响,但不能免受误解的影响。而验证检查的是答案的「形状」,而非其真实性。

一个可靠的系统不是其中没有压缩。而是每一次压缩都是「小而原子化,且易于替换」的系统。

你尚未编写的代码,就是你尚未承担的债务。

这是一张网,不是修复。仍然要修复 bug,并检查那些一个看似合理的错误值会代价高昂的情况。

📊 Article Meta

AI Screening: 86

Source: Hacker News - Newest: "LLM"

Author: mikecarroll

Category: 软件编程

Language: 英文

Read Time: 10 min

Word Count: 2344

Tags:

编程与工程 , AI 工程 , AI 工作流 , 后端开发 , LLM 推理优化

#编程与工程# AI 工程# AI 工作流# 后端开发# LLM 推理优化

文章评论(12)

杨丽华29 天前

这个比较实用,已转发给同事。

回复
陈皮话梅糖2026-10-17

支持作者,持续关注中。

回复
拾贝者29 天前

讲解得很细致,新手也能看懂。

回复
雪影29 天前

整理得太全面了,省了我不少时间。

回复
星寻梦29 天前

路过

回复
陈皮话梅糖29 天前

不错不错,已加入书签。

回复
风倚栏29 天前

点赞,必须点赞

回复
墨沐雨29 天前

作者写得真不错,学到了不少。

回复
陈皮话梅糖29 天前

实话,说的不明不白

回复
一叶知秋29 天前

实话,说的不明不白

回复
空向阳29 天前

内容翔实,正好需要,先收藏再看。

回复
林观澜29 天前

这个观点很中肯,深有同感。

回复