GitHub - divagr18/qwenputer:一台被编译进语言模型权重中的计算机。Qwen3.5-4B 内部的一颗精确 CPU,以 Gated DeltaNet 状态作为内存。

王者归来已是老翁AI 前沿📡 BestBlogs·AI高分精选⭐ 932026-10-29126 阅读💛 264 收藏
GitHub - divagr18/qwenputer:一台被编译进语言模型权重中的计算机。Qwen3.5-4B 内部的一颗精确 CPU,以 Gated DeltaNet 状态作为内存。

📌 One-Sentence Summary

Qwenputer 是一个实验性模型,它将一颗 32 位 RISC-V CPU 直接嵌入 Qwen3.5-4B 的权重之中,并利用模型自身的 Gated DeltaNet 状态作为内存,从而执行精确的算术计算。

📝 Summary

Qwenputer 代表了一种模型增强的新思路:将完整的 RISC-V CPU 架构编译后,以 transformer 层的形式插入到基础 Qwen3.5-4B 模型之前。这使得模型能够通过执行真实的机器码来完成精确、确定性的计算(例如大整数乘除法),而不再依赖神经网络的近似预测。CPU 的内存由模型已有的 Gated DeltaNet 状态实现,从而确保计算始终发生在模型的前向传播过程中,无需调用外部工具。

💡 Main Points

嵌入式 CPU 架构

Qwenputer 将一颗 32 位 RISC-V CPU 编译为 transformer 层,并追加到基础 Qwen3.5-4B 模型之后,从而实现集成。这使得模型能够执行底层指令,完成精确的算术运算。

以 Gated DeltaNet 作为内存

模型将自身的 Gated DeltaNet 状态(一种循环记忆)用作 CPU 的内存。通过 delta 规则将数据写入特定内存地址,从而有效地把模型的内部状态转变为可写的内存空间。

基准测试表现

模型在算术基准测试中展现出显著提升,在整数乘除法任务上取得近乎满分的成绩,而基础模型在这些任务上表现不佳。这表明嵌入式 CPU 提供了一个可靠的高精度计算引擎。

自包含运行

与依赖外部 API 或沙箱工具进行复杂计算的传统模型不同,Qwenputer 的所有计算都在内部完成。模型读取题目、执行代码并写出答案,全部发生在同一次前向传播之中。

💬 Key Quotes

Qwenputer 是一种全新的实验性模型:Qwen3.5-4B 中直接编译并插入了一颗 32 位 RISC-V CPU 到其权重里。

CPU 将代码、数据、寄存器和程序计数器都保存在那里。CPU 在模型的前向传播中运行 C 和 MicroPython 代码,并通过了官方的 riscv-tests 测试套件。

计算机层读取调用,在 RISC-V CPU 上运行它,然后由模型自身逐位写出 。整个过程不涉及任何运行时、沙箱或工具执行器。

📊 Article Meta

AI Screening: 93

Source: Hacker News - Newest: "LLM"

Author: UncleOxidant

Category: 人工智能

Language: 英文

Read Time: 8 min

Word Count: 1876

Tags:

AI 与智能应用 , AI 编程 , 模型训练与推理 , AI 产品与应用 , AI 工程

#AI 与智能应用# AI 编程# 模型训练与推理# AI 产品与应用# AI 工程

文章评论(12)

郭超17 天前

路过

回复
松听风17 天前

赞同,实践出真知。

回复
墨沐雨18 天前

看完了,收获满满,期待更多更新。

回复
逐光而行17 天前

路过

回复
雪影17 天前

支持作者,持续关注中。

回复
风倚栏17 天前

思路清晰,干货满满。

回复
蓝临风17 天前

不错不错,已加入书签。

回复
月沐雨17 天前

这个观点很中肯,深有同感。

回复
墨向阳17 天前

思路清晰,干货满满。

回复
雪知秋17 天前

路过

回复
风拾光17 天前

路过

回复
蓝归舟17 天前

实话,说的不明不白

回复