GitHub - IshekKhal/bitrun: 单二进制运行器和模型管理器，适用于 CPU (macOS、Windows、Linux) 上的 1-bit / 1.58-bit 三元 LLM（Microsoft BitNet b1.58）

📌 One-Sentence Summary

BitRun 是一个零编译、自包含的二进制文件，支持 Microsoft BitNet b1.58 和其他 1.58-bit 三元 LLM 的高性能 CPU 推理，具有实时功率测量、自定义 persona 创建和 OpenAI 兼容的 REST API。

📝 Summary

BitRun 通过提供一个独立可执行文件来简化三元大语言模型的部署，该文件负责模型下载、CPU 优化的推理，以及能量消耗监控。它支持交互式聊天、单次提示和基于服务器的 API 访问，同时利用通用硬件上 1-bit 量化的能效。

💡 Main Points

高性能纯 Rust 推理

引擎在 Nvidia Tesla T4 上使用未量化的 F16 权重和 FP32 累加器达到了 ~40 令牌/秒，展示了无需 CUDA 或 C++ 包装的高效执行。

实时脑迁移（GPU/CPU）

一个关键特性是可以无缝地在句子中间热互换活跃执行，并将 KV 缓存镜像到 GPU VRAM 和 CPU RAM 之间，允许动态资源分配而不会丢失上下文。

跨硅芯片便携性

相同二进制文件可以在独立 GPU、集成显卡（Intel UHD）和多核 CPU 上运行，而无需任何代码更改，这要归功于 Enki 运行时的硬件无关调度。

整个系统包括 Safetensors 解析器、分词器和核心运算（Split-K GEMV、RoPE、RMSNorm、SwiGLU），都是在 ~2，000 行 Rust 中从头构建的，强调简单性和控制力。

💬 Key Quotes

一个纯 Rust 的 Transformer 推理引擎（~2，000 LOC），在 Nvidia Tesla T4 上以 ~40 令牌/秒的速度运行 Llama-3.2 1B，并具有在 GPU VRAM 和 CPU RAM 之间实时脑迁移的功能。

该会话在 GPU 上生成 Python 代码（白色文本），然后通过 /dual 模式（320 毫秒迁移）实时切换，并开始交替使用 GPU（白色）和主机 CPU 核心（粗体红色）来流式传输解释，同时 btop 跟踪 CPU 尖峰。

📊 Article Meta

AI Screening： 90

Source： Hacker News - Newest: "LLM"

Author： ishekofficial

Category： 人工智能

Language： 英文

Read Time： 5 min

Word Count： 1197

Tags：

AI 与智能应用 , 模型训练与推理 , AI 硬件与芯片 , 后端开发 , 编程语言