GitHub - divagr18/qwenputer:一台被编译进语言模型权重中的计算机。Qwen3.5-4B 内部的一颗精确 CPU,以 Gated DeltaNet 状态作为内存。

📌 One-Sentence Summary
Qwenputer 是一个实验性模型,它将一颗 32 位 RISC-V CPU 直接嵌入 Qwen3.5-4B 的权重之中,并利用模型自身的 Gated DeltaNet 状态作为内存,从而执行精确的算术计算。
📝 Summary
Qwenputer 代表了一种模型增强的新思路:将完整的 RISC-V CPU 架构编译后,以 transformer 层的形式插入到基础 Qwen3.5-4B 模型之前。这使得模型能够通过执行真实的机器码来完成精确、确定性的计算(例如大整数乘除法),而不再依赖神经网络的近似预测。CPU 的内存由模型已有的 Gated DeltaNet 状态实现,从而确保计算始终发生在模型的前向传播过程中,无需调用外部工具。
💡 Main Points
嵌入式 CPU 架构
Qwenputer 将一颗 32 位 RISC-V CPU 编译为 transformer 层,并追加到基础 Qwen3.5-4B 模型之后,从而实现集成。这使得模型能够执行底层指令,完成精确的算术运算。
以 Gated DeltaNet 作为内存
模型将自身的 Gated DeltaNet 状态(一种循环记忆)用作 CPU 的内存。通过 delta 规则将数据写入特定内存地址,从而有效地把模型的内部状态转变为可写的内存空间。
基准测试表现
模型在算术基准测试中展现出显著提升,在整数乘除法任务上取得近乎满分的成绩,而基础模型在这些任务上表现不佳。这表明嵌入式 CPU 提供了一个可靠的高精度计算引擎。
自包含运行
与依赖外部 API 或沙箱工具进行复杂计算的传统模型不同,Qwenputer 的所有计算都在内部完成。模型读取题目、执行代码并写出答案,全部发生在同一次前向传播之中。
💬 Key Quotes
Qwenputer 是一种全新的实验性模型:Qwen3.5-4B 中直接编译并插入了一颗 32 位 RISC-V CPU 到其权重里。
CPU 将代码、数据、寄存器和程序计数器都保存在那里。CPU 在模型的前向传播中运行 C 和 MicroPython 代码,并通过了官方的 riscv-tests 测试套件。
计算机层读取调用,在 RISC-V CPU 上运行它,然后由模型自身逐位写出 。整个过程不涉及任何运行时、沙箱或工具执行器。
📊 Article Meta
AI Screening: 93
Source: Hacker News - Newest: "LLM"
Author: UncleOxidant
Category: 人工智能
Language: 英文
Read Time: 8 min
Word Count: 1876
Tags:
AI 与智能应用 , AI 编程 , 模型训练与推理 , AI 产品与应用 , AI 工程
路过
赞同,实践出真知。
看完了,收获满满,期待更多更新。
路过
支持作者,持续关注中。
思路清晰,干货满满。
不错不错,已加入书签。
这个观点很中肯,深有同感。
思路清晰,干货满满。
路过
路过
实话,说的不明不白