divagr1925/QwenPU · Hugging Face
📌 One-Sentence Summary
QwenPU 将 32 位 RISC-V CPU 和向量单元直接嵌入 Qwen3.5-4B 的权重中,使模型能够在前向传播过程中以神经网络的形式执行 Andrej Karpathy 的 stories260K 程序。
📝 Summary
QwenPU 是一个经过修改的 Qwen3.5-4B 语言模型,它将 32 位 RISC-V CPU 和自定义向量单元编译进其 Transformer 层中。这个嵌入式计算机可以在模型的前向传播过程中执行 stories260K(一个 26 万参数的神经网络)等程序,使模型能够通过将神经网络作为程序运行来生成文本。向量单元支持矩阵乘法、量化、残差加法、注意力计算等操作,并以 DeltaNet 头作为独立记忆。与纯 C 和 Qwenputer-npu 实现相比,QwenPU 每个故事 token 的追踪 token 数减少了 45 倍到 45,000 倍,展现出显著的效率提升。检查点大小为 26.7 GB,完整加载需要 40 GB GPU。
💡 Main Points
嵌入式计算机架构
QwenPU 将 32 位 RISC-V CPU 与向量单元直接集成到 Qwen3.5-4B 的 Transformer 层中,构建了一种混合的神经网络-计算机架构,使程序能够在前向传播过程中被执行。
向量单元操作
向量单元支持 8 种基本操作(VMAT、VQ、VEW、VMATR、VEXP、VRED、VGET、VPUT),使用每 token 64 通道的定点运算来处理矩阵乘法、量化、残差加法、注意力计算和内存传输。
与纯 C(每个故事 token 243 万追踪 token)和 Qwenputer-npu(每个故事 token 22.5 万追踪 token)相比,QwenPU 每个故事 token 仅需 5.3 万追踪 token,根据基线实现不同,效率提升达 45 倍到 45,000 倍。
向量单元以 DeltaNet 头作为独立记忆,配备 16 个向量寄存器(每个 64 字)、384 个 int8 激活值、4,152 个 int4 权重行块,以及 32 个位置的 K/V 缓存,从而在模型内部实现高效的神经网络执行。
💬 Key Quotes
QwenPU 是 Qwen3.5-4B,其权重中编译了一个 32 位 RISC-V CPU 和一个向量单元。
向量单元在模型的前向传播中运行一个完整的神经网络:Andrej Karpathy 的 stories260K——来自 llama2.c 的 26 万参数 Llama——作为程序在其上运行并写出故事。
与纯 C(每个故事 token 2,430,000 追踪 token)和 Qwenputer-npu(每个故事 token 225,000 追踪 token)相比,QwenPU 每个故事 token 仅需 53,000 追踪 token。
📊 Article Meta
AI Screening: 85
Source: Hacker News - Newest: "LLM"
Author: joshcsimmons
Category: 人工智能
Language: 英文
Read Time: 3 min
Word Count: 628
Tags:
AI 与智能应用 , AI 工程 , LLM 推理优化 , 阿里通义 , Hugging Face
不错不错,已加入书签。
看完了,收获满满,期待更多更新。
看完了,收获满满,期待更多更新。
实测过类似工具,作者说的基本属实。
赞同,实践出真知。
看完了,收获满满,期待更多更新。
作者写得真不错,学到了不少。
实话,说的不明不白
有没有更详细的教程,期待后续。
思路清晰,干货满满。
这篇文章分析得很透彻,收藏了!
路过