GitHub - utsav1033/bytesized:一个 3,156 字节的 C 引擎,可运行 SmolLM2-135M,且与 Hugging Face 逐 token 完全一致

📌 One-Sentence Summary
一个 2,946 字节的 C 程序,可运行 SmolLM2-135M,并实现与 Hugging Face Transformers 逐 token 完全一致;它通过自解包、原始系统调用和巧妙优化,展示了极致的代码压缩。
📝 Summary
本文介绍了 bytesized:一个 2,946 字节的 C 引擎,可运行 SmolLM2-135M,并与 Hugging Face Transformers 实现逐 token 完全匹配。该二进制程序使用 LZ77 + 类 LZMA 区间编码进行自解包,以 Linux 原始系统调用取代 libc,并直接读取原始的 model.safetensors 和 tokenizer.json。作者记录了 18 个逐步缩减体积的优化步骤,将程序从 67,976 字节压缩至 2,946 字节;通过逐 token 精确匹配测试完成验证,并基准测试显示其在 M4 硬件上达到每秒 9.4 个 token。该项目展示了 LLM 推理程序可以压缩到单个 QR 码中。
💡 Main Points
极致代码压缩,将 LLM 引擎缩至 2,946 字节
最终二进制文件小到可以放进一个 QR 码(上限为 2,953 字节),通过 LZ77 + 区间编码自解包,将 3,698 字节的未压缩引擎压缩至 2,946 字节。
与 Hugging Face 逐 token 完全匹配
在 3 个测试提示词上各生成 100 个 token 后,该引擎与 HF Transformers(fp32)生成的贪心 token 完全一致;这一结果通过 ref.py、check.py 和 tokcheck.py 脚本验证。
自解包和原始系统调用免去了对 libc 的依赖
该程序只使用 5 个 Linux 原始系统调用(openat、lseek、mmap、write、exit),并自行实现 exp、sin、cos 函数,从而缩小二进制文件并避免标准库开销。
记录了 18 个逐步缩减体积的优化步骤及字节数
作者详细记录了每一步优化,展示程序如何从 67,976 字节(使用 libc 的普通 C 程序)缩减到 2,946 字节,其中包括链接器优化、无 libc 实现和压缩技术。
直接读取原始 safetensors 和 tokenizer 文件
该引擎直接读取未经修改的 model.safetensors 和 tokenizer.json 文件,通过头部信息查找张量,并使用 BPE 合并规则,无需进行格式转换。
💬 Key Quotes
一个能够运行 SmolLM2-135M 这一真实 LLM 的 C 程序,生成的贪心 token 与 Hugging Face Transformers 完全一致。
这个二进制文件有 2,946 字节(Linux arm64),小到可以放进一个 QR 码(上限为 2,953 字节)。
整个程序就在那个 QR 码里。要还原它,只需运行:zbarimg --raw --oneshot -Sbinary qr.png > final && chmod +x final
程序头部与 ELF 头部最后 8 个字节重叠(hdr.py)。
结果:3 个提示词各生成 100 个 token,全部一致。在「Once upon a time」的第 94 步,差距最近:' be' 的概率为 29.1153,' learn' 的概率为 29.1133。
📊 Article Meta
AI Screening: 88
Source: Hacker News - Newest: "LLM"
Author: utsav1033
Category: 人工智能
Language: 英文
Read Time: 5 min
Word Count: 1147
Tags:
AI 与智能应用 , 模型训练与推理 , AI 工程 , 开放权重模型 , 上下文工程
内容翔实,正好需要,先收藏再看。
楼主辛苦了,内容很有参考价值。
这篇文章分析得很透彻,收藏了!
有没有更详细的教程,期待后续。
讲解得很细致,新手也能看懂。
刚好最近在找这方面的资料,太及时了。
点赞,必须点赞
思路清晰,干货满满。
路过
内容翔实,正好需要,先收藏再看。
不错不错,已加入书签。
收藏了,以后慢慢研究。