Edge0-145B:拥有 145B 参数的开源端侧 AI

林知秋行业资讯📡 BestBlogs·全站精选⭐ 902026-11-14370 阅读💛 48 收藏
Edge0-145B:拥有 145B 参数的开源端侧 AI

📌 One-Sentence Summary

Edge0-145B 推出全球首个拥有 1450 亿参数的开源端侧 AI 模型,在编程、推理和智能体能力方面可与前沿云端模型媲美,同时能以 29GB 内存本地运行。

📝 Summary

Edge0-145B 和 Edge0-120B 是端侧 AI 的重大突破,拥有 1450 亿参数,可在兼容笔记本电脑上本地运行,峰值内存占用为 29GB。这些模型在编程(DeepSWE 1.1 得分 64.6)、推理(GPQA-Diamond 得分 90.4)和指令遵循(IFBench 得分 80.6)方面的表现可与前沿云端模型媲美。其关键创新包括可降低内存需求的共享稀疏专家架构、从一开始就针对本地运行进行设计的训练方式,以及配备流水线内存管理的统一推理框架。实际演示涵盖无人机导航、PCB 设计、3D 建模、游戏开发和视频制作,所有任务均在本地完成,无需支付云端 API 费用。该模型的预填充速度超过 1,100 tokens/s,解码速度超过 80 tokens/s,并支持 128K-256K 上下文。

💡 Main Points

Edge0-145B 通过架构创新,让个人硬件具备前沿级能力

该模型采用共享稀疏专家架构,每个推理步骤中只有约 10B 参数参与运算,因此总参数量达到 145B 时,内存占用仍仅为 29GB。相比之下,据估算,Qwen3.8-Flash-Next 要达到相近性能需要 70GB 内存。

综合基准测试表现可与领先的云端模型媲美

Edge0-145B 在 DeepSWE 1.1 上得分 64.6,在 GPQA-Diamond 上得分 90.4,在 IFBench 上得分 80.6,在 Terminal-Bench 2.1 上得分 86.52;在特定类别中,其表现超过或持平于 Qwen3.8-Flash-Next、DeepSeek-V4-Flash-0731 和 Claude-Opus-4.6。

完整的本地智能体工作流可消除对云端服务的依赖与费用

该模型能够规划、编写、执行、调试并通过视觉方式验证代码,可完成无人机编程、PCB 设计、3D 建模和游戏开发等复杂任务,无需支付云端 API 费用,也不依赖网络连接。

四层推理架构优化内存、带宽和功耗

该设计涵盖架构层(共享矩阵)、训练层(优先适配本地运行)、加载层(GPU/系统内存/SSD 流水线),以及调度层(CPU/GPU 并行处理和推测解码),以约 120W 的功耗维持超过 80 tokens/s 的解码速度。

💬 Key Quotes

Edge0-145B 是全球首个拥有 1450 亿参数的开源端侧 AI 模型。

它将可与前沿云端模型媲美的编程、推理和智能体能力带到你的电脑上。

Edge0-145B 让拥有 1450 亿参数的模型能够在个人笔记本电脑上使用。一个实用的本地模型必须能装入内存、及时处理提示词、以足够快的速度生成内容,并控制功耗。

本地推理无需支付云端模型相应的 token 或 API 费用;数据可以留在电脑上,核心能力也能在离线状态下继续使用。

Edge0-145B 在 DeepSWE 1.1 上得分 64.6,高于 Qwen3.8-Flash-Next 的 58.7 和 DeepSeek-V4-Flash-0731 的 54.4。

📊 Article Meta

AI Screening: 90

Featured: Yes

Source: Hacker News

Author: Edge0

Category: 人工智能

Language: 英文

Read Time: 14 min

Word Count: 3412

Tags:

编程与工程 , 模型发布 , 性能优化 , 开发者工具 , 安全

#编程与工程# 模型发布# 性能优化# 开发者工具# 安全

文章评论(12)

墨沐雨2 天前

路过

回复
空向阳2 天前

楼主辛苦了,内容很有参考价值。

回复
空向阳2 天前

整理得太全面了,省了我不少时间。

回复
星知秋2 天前

思路清晰,干货满满。

回复
一叶知秋2 天前

赞同,实践出真知。

回复
龙文博2 天前

实测过类似工具,作者说的基本属实。

回复
邱文博2 天前

赞同,实践出真知。

回复
墨向阳2 天前

实测过类似工具,作者说的基本属实。

回复
杨丽华2 天前

看标题就点进来了,内容果然没让人失望。

回复
月沐雨2 天前

看标题就点进来了,内容果然没让人失望。

回复
一叶知秋1 天前

这个观点很中肯,深有同感。

回复
青柠微凉2 天前

实测过类似工具,作者说的基本属实。

回复