GitHub - utsav1033/bytesized:一个 3,156 字节的 C 引擎,可运行 SmolLM2-135M,且与 Hugging Face 逐 token 完全一致

林知秋AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-11-04732 阅读💛 183 收藏
GitHub - utsav1033/bytesized:一个 3,156 字节的 C 引擎,可运行 SmolLM2-135M,且与 Hugging Face 逐 token 完全一致

📌 One-Sentence Summary

一个 2,946 字节的 C 程序,可运行 SmolLM2-135M,并实现与 Hugging Face Transformers 逐 token 完全一致;它通过自解包、原始系统调用和巧妙优化,展示了极致的代码压缩。

📝 Summary

本文介绍了 bytesized:一个 2,946 字节的 C 引擎,可运行 SmolLM2-135M,并与 Hugging Face Transformers 实现逐 token 完全匹配。该二进制程序使用 LZ77 + 类 LZMA 区间编码进行自解包,以 Linux 原始系统调用取代 libc,并直接读取原始的 model.safetensors 和 tokenizer.json。作者记录了 18 个逐步缩减体积的优化步骤,将程序从 67,976 字节压缩至 2,946 字节;通过逐 token 精确匹配测试完成验证,并基准测试显示其在 M4 硬件上达到每秒 9.4 个 token。该项目展示了 LLM 推理程序可以压缩到单个 QR 码中。

💡 Main Points

极致代码压缩,将 LLM 引擎缩至 2,946 字节

最终二进制文件小到可以放进一个 QR 码(上限为 2,953 字节),通过 LZ77 + 区间编码自解包,将 3,698 字节的未压缩引擎压缩至 2,946 字节。

与 Hugging Face 逐 token 完全匹配

在 3 个测试提示词上各生成 100 个 token 后,该引擎与 HF Transformers(fp32)生成的贪心 token 完全一致;这一结果通过 ref.py、check.py 和 tokcheck.py 脚本验证。

自解包和原始系统调用免去了对 libc 的依赖

该程序只使用 5 个 Linux 原始系统调用(openat、lseek、mmap、write、exit),并自行实现 exp、sin、cos 函数,从而缩小二进制文件并避免标准库开销。

记录了 18 个逐步缩减体积的优化步骤及字节数

作者详细记录了每一步优化,展示程序如何从 67,976 字节(使用 libc 的普通 C 程序)缩减到 2,946 字节,其中包括链接器优化、无 libc 实现和压缩技术。

直接读取原始 safetensors 和 tokenizer 文件

该引擎直接读取未经修改的 model.safetensors 和 tokenizer.json 文件,通过头部信息查找张量,并使用 BPE 合并规则,无需进行格式转换。

💬 Key Quotes

一个能够运行 SmolLM2-135M 这一真实 LLM 的 C 程序,生成的贪心 token 与 Hugging Face Transformers 完全一致。

这个二进制文件有 2,946 字节(Linux arm64),小到可以放进一个 QR 码(上限为 2,953 字节)。

整个程序就在那个 QR 码里。要还原它,只需运行:zbarimg --raw --oneshot -Sbinary qr.png > final && chmod +x final

程序头部与 ELF 头部最后 8 个字节重叠(hdr.py)。

结果:3 个提示词各生成 100 个 token,全部一致。在「Once upon a time」的第 94 步,差距最近:' be' 的概率为 29.1153,' learn' 的概率为 29.1133。

📊 Article Meta

AI Screening: 88

Source: Hacker News - Newest: "LLM"

Author: utsav1033

Category: 人工智能

Language: 英文

Read Time: 5 min

Word Count: 1147

Tags:

AI 与智能应用 , 模型训练与推理 , AI 工程 , 开放权重模型 , 上下文工程

#AI 与智能应用# 模型训练与推理# AI 工程# 开放权重模型# 上下文工程

文章评论(12)

暮拾贝11 天前

内容翔实,正好需要,先收藏再看。

回复
星知秋11 天前

楼主辛苦了,内容很有参考价值。

回复
星寻梦11 天前

这篇文章分析得很透彻,收藏了!

回复
雪知秋11 天前

有没有更详细的教程,期待后续。

回复
林拾贝11 天前

讲解得很细致,新手也能看懂。

回复
星寻梦11 天前

刚好最近在找这方面的资料,太及时了。

回复
竹听风11 天前

点赞,必须点赞

回复
雪影11 天前

思路清晰,干货满满。

回复
松听风11 天前

路过

回复
墨沐雨11 天前

内容翔实,正好需要,先收藏再看。

回复
蓝临风11 天前

不错不错,已加入书签。

回复
暮拾贝11 天前

收藏了,以后慢慢研究。

回复