Edge0-145B:拥有 145B 参数的开源端侧 AI

📌 One-Sentence Summary
Edge0-145B 推出全球首个拥有 1450 亿参数的开源端侧 AI 模型,在编程、推理和智能体能力方面可与前沿云端模型媲美,同时能以 29GB 内存本地运行。
📝 Summary
Edge0-145B 和 Edge0-120B 是端侧 AI 的重大突破,拥有 1450 亿参数,可在兼容笔记本电脑上本地运行,峰值内存占用为 29GB。这些模型在编程(DeepSWE 1.1 得分 64.6)、推理(GPQA-Diamond 得分 90.4)和指令遵循(IFBench 得分 80.6)方面的表现可与前沿云端模型媲美。其关键创新包括可降低内存需求的共享稀疏专家架构、从一开始就针对本地运行进行设计的训练方式,以及配备流水线内存管理的统一推理框架。实际演示涵盖无人机导航、PCB 设计、3D 建模、游戏开发和视频制作,所有任务均在本地完成,无需支付云端 API 费用。该模型的预填充速度超过 1,100 tokens/s,解码速度超过 80 tokens/s,并支持 128K-256K 上下文。
💡 Main Points
Edge0-145B 通过架构创新,让个人硬件具备前沿级能力
该模型采用共享稀疏专家架构,每个推理步骤中只有约 10B 参数参与运算,因此总参数量达到 145B 时,内存占用仍仅为 29GB。相比之下,据估算,Qwen3.8-Flash-Next 要达到相近性能需要 70GB 内存。
综合基准测试表现可与领先的云端模型媲美
Edge0-145B 在 DeepSWE 1.1 上得分 64.6,在 GPQA-Diamond 上得分 90.4,在 IFBench 上得分 80.6,在 Terminal-Bench 2.1 上得分 86.52;在特定类别中,其表现超过或持平于 Qwen3.8-Flash-Next、DeepSeek-V4-Flash-0731 和 Claude-Opus-4.6。
完整的本地智能体工作流可消除对云端服务的依赖与费用
该模型能够规划、编写、执行、调试并通过视觉方式验证代码,可完成无人机编程、PCB 设计、3D 建模和游戏开发等复杂任务,无需支付云端 API 费用,也不依赖网络连接。
四层推理架构优化内存、带宽和功耗
该设计涵盖架构层(共享矩阵)、训练层(优先适配本地运行)、加载层(GPU/系统内存/SSD 流水线),以及调度层(CPU/GPU 并行处理和推测解码),以约 120W 的功耗维持超过 80 tokens/s 的解码速度。
💬 Key Quotes
Edge0-145B 是全球首个拥有 1450 亿参数的开源端侧 AI 模型。
它将可与前沿云端模型媲美的编程、推理和智能体能力带到你的电脑上。
Edge0-145B 让拥有 1450 亿参数的模型能够在个人笔记本电脑上使用。一个实用的本地模型必须能装入内存、及时处理提示词、以足够快的速度生成内容,并控制功耗。
本地推理无需支付云端模型相应的 token 或 API 费用;数据可以留在电脑上,核心能力也能在离线状态下继续使用。
Edge0-145B 在 DeepSWE 1.1 上得分 64.6,高于 Qwen3.8-Flash-Next 的 58.7 和 DeepSeek-V4-Flash-0731 的 54.4。
📊 Article Meta
AI Screening: 90
Featured: Yes
Source: Hacker News
Author: Edge0
Category: 人工智能
Language: 英文
Read Time: 14 min
Word Count: 3412
Tags:
编程与工程 , 模型发布 , 性能优化 , 开发者工具 , 安全
路过
楼主辛苦了,内容很有参考价值。
整理得太全面了,省了我不少时间。
思路清晰,干货满满。
赞同,实践出真知。
实测过类似工具,作者说的基本属实。
赞同,实践出真知。
实测过类似工具,作者说的基本属实。
看标题就点进来了,内容果然没让人失望。
看标题就点进来了,内容果然没让人失望。
这个观点很中肯,深有同感。
实测过类似工具,作者说的基本属实。