GitHub - enkiruntime/enki_llm

📌 One-Sentence Summary

Enki LLM 是一款纯 Rust 推理引擎，可在 Nvidia T4 上以 ~40 标记/秒的速度运行 Llama-3.2 1B，并具有在生成过程中实现 GPU 显存与 CPU 内存间实时脑迁移的能力。

📝 Summary

该项目实现了一个高性能、零 CUDA 的纯 Rust Transformer 推理引擎，能够运行未量化的 F16 权重以及 FP32 累加器。它支持执行单元和 KV-cache 在 GPU 与 CPU 之间的实时热交换，确保跨硅片移植而无需修改代码。引擎基于 Enki 运行时，使用由 LLVM 直接编译而成的惯用 Rust 内核，并通过 Vulkan 1.3 进行调度。

💡 Main Points

高性能纯 Rust 推理

引擎在 Nvidia Tesla T4 上，使用未量化的 F16 权重和 FP32 累加器，实现了 ~40 标记/秒的执行速度，证明了无需依赖 CUDA 或 C++ 包装就能实现高效执行。

实时脑迁移（GPU/CPU）

一个关键特性是能够在句子生成途中，将活跃执行和 KV-cache 镜像从 GPU 显存无缝热交换至 CPU 内存，实现灵活的资源分配而不损失上下文。

跨硅片移植能力

同一个二进制文件可以运行在离散 GPU、集成显卡（例如 Intel UHD）和多核 CPU 上，而无需任何代码更改，这得益于 Enki 运行时的硬件无关调度。

简约的实现

整个系统，包括 Safetensors 解析器、分词器和核心操作（例如 Split-K GEMV、RoPE、RMSNorm、SwiGLU），都是从头开始用 ~2，000 行 Rust 构建的，注重简洁和可控。

💬 Key Quotes

一个纯 Rust Transformer 推理引擎（~2，000 LOC），在 Nvidia Tesla T4 上以 ~40 标记/秒的速度运行 Llama-3.2 1B，并具有在生成过程中在 GPU 显存和 CPU 内存间进行实时脑迁移的能力。

会话开始时在 GPU 上生成 Python 代码（白色文本），并通过 /dual 模式进行实时切换（320 ms 迁移），然后通过在 GPU（白色）和主机 CPU 核（粗体红色）之间交替分配标记，继续流式传输解释，而 btop 则用于跟踪 CPU 尖峰。

📊 Article Meta

AI Screening： 88

Source： Hacker News - Newest: "LLM"

Author： enki_runtime

Category： 人工智能

Language： 英文

Read Time： 2 min

Word Count： 447

Tags：

AI 与智能应用 , AI 硬件与芯片 , 开源项目 , 大语言模型 (LLM) , 后端开发