divagr1925/QwenPU · Hugging Face

AI小蝌蚪AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-11-02709 阅读💛 80 收藏
divagr1925/QwenPU · Hugging Face

📌 One-Sentence Summary

QwenPU 将 32 位 RISC-V CPU 和向量单元直接嵌入 Qwen3.5-4B 的权重中,使模型能够在前向传播过程中以神经网络的形式执行 Andrej Karpathy 的 stories260K 程序。

📝 Summary

QwenPU 是一个经过修改的 Qwen3.5-4B 语言模型,它将 32 位 RISC-V CPU 和自定义向量单元编译进其 Transformer 层中。这个嵌入式计算机可以在模型的前向传播过程中执行 stories260K(一个 26 万参数的神经网络)等程序,使模型能够通过将神经网络作为程序运行来生成文本。向量单元支持矩阵乘法、量化、残差加法、注意力计算等操作,并以 DeltaNet 头作为独立记忆。与纯 C 和 Qwenputer-npu 实现相比,QwenPU 每个故事 token 的追踪 token 数减少了 45 倍到 45,000 倍,展现出显著的效率提升。检查点大小为 26.7 GB,完整加载需要 40 GB GPU。

💡 Main Points

嵌入式计算机架构

QwenPU 将 32 位 RISC-V CPU 与向量单元直接集成到 Qwen3.5-4B 的 Transformer 层中,构建了一种混合的神经网络-计算机架构,使程序能够在前向传播过程中被执行。

向量单元操作

向量单元支持 8 种基本操作(VMAT、VQ、VEW、VMATR、VEXP、VRED、VGET、VPUT),使用每 token 64 通道的定点运算来处理矩阵乘法、量化、残差加法、注意力计算和内存传输。

与纯 C(每个故事 token 243 万追踪 token)和 Qwenputer-npu(每个故事 token 22.5 万追踪 token)相比,QwenPU 每个故事 token 仅需 5.3 万追踪 token,根据基线实现不同,效率提升达 45 倍到 45,000 倍。

向量单元以 DeltaNet 头作为独立记忆,配备 16 个向量寄存器(每个 64 字)、384 个 int8 激活值、4,152 个 int4 权重行块,以及 32 个位置的 K/V 缓存,从而在模型内部实现高效的神经网络执行。

💬 Key Quotes

QwenPU 是 Qwen3.5-4B,其权重中编译了一个 32 位 RISC-V CPU 和一个向量单元。

向量单元在模型的前向传播中运行一个完整的神经网络:Andrej Karpathy 的 stories260K——来自 llama2.c 的 26 万参数 Llama——作为程序在其上运行并写出故事。

与纯 C(每个故事 token 2,430,000 追踪 token)和 Qwenputer-npu(每个故事 token 225,000 追踪 token)相比,QwenPU 每个故事 token 仅需 53,000 追踪 token。

📊 Article Meta

AI Screening: 85

Source: Hacker News - Newest: "LLM"

Author: joshcsimmons

Category: 人工智能

Language: 英文

Read Time: 3 min

Word Count: 628

Tags:

AI 与智能应用 , AI 工程 , LLM 推理优化 , 阿里通义 , Hugging Face

#AI 与智能应用# AI 工程# LLM 推理优化# 阿里通义# Hugging Face

文章评论(12)

石佳琪13 天前

不错不错,已加入书签。

回复
郭超13 天前

看完了,收获满满,期待更多更新。

回复
雪影13 天前

看完了,收获满满,期待更多更新。

回复
晨沐雨13 天前

实测过类似工具,作者说的基本属实。

回复
石佳琪13 天前

赞同,实践出真知。

回复
蒋力13 天前

看完了,收获满满,期待更多更新。

回复
山问津13 天前

作者写得真不错,学到了不少。

回复
白向阳13 天前

实话,说的不明不白

回复
林拾贝13 天前

有没有更详细的教程,期待后续。

回复
林拾贝13 天前

思路清晰,干货满满。

回复
石佳琪13 天前

这篇文章分析得很透彻,收藏了!

回复
星知秋13 天前

路过

回复