Release 0.7.4.dev1 · jundot/omlx

清风徐来AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-11-07287 阅读💛 48 收藏
Release 0.7.4.dev1 · jundot/omlx

📌 One-Sentence Summary

oMLX 0.7.4.dev1 推出面向 Mac 分布式推理的预填充加速器,大幅提升 DeepSeek V4.1、Qwen3.8 等模型的性能,并新增 TTS 支持、批量解码等功能及多项错误修复。

📝 Summary

oMLX 0.7.4.dev1 是一个开发版,新增预填充加速器功能,可让配备高速 GPU 的 Mac(如 M5 Max)为运行在更大容量 Mac(如 M3 Ultra 512GB)上的模型加速预填充操作。此版本提升了 DeepSeek V4.1 Flash 和 Qwen3.8 Flash-Next 模型的性能,预填充速度最高提升 195%,解码速度最高提升 62%。新增功能包括支持 Ming-3.0 模型的 TTS、批量解码优化,以及与 Codex 和 Copilot 的增强集成。此外,此版本还修复了多项问题,涉及工具结果排序、提示词缓存、VLM 分词和内存管理。

💡 Main Points

分布式推理预填充加速器

利用配备高速 GPU 的 Mac,为运行在更大容量 Mac 上的模型加速预填充;在 64K 提示词下,DeepSeek V4.1 Flash 的速度最高提升 195%。两台 Mac 需要运行相同版本的 oMLX,并通过 Thunderbolt 或 5GbE 连接。

主流模型性能优化

DeepSeek V4.1 Flash 在 M5 Ultra 上的预填充速度提升 43-48%,解码速度最高提升 269%。Qwen3.8 Flash-Next 在 M3 Ultra 上的解码速度最高提升 62%。通过改进内存管理,连续处理多个提示词时的长提示词处理性能也得到提升。

新增 TTS 和批量解码功能

Ming-3.0-tts 和 Ming-3.0 Tiny 模型现已支持文本转语音,并采用编译后的解码循环和融合 DiT 内核。批量解码优化使 6 行的 8 位层只需读取一次权重,从而提升多请求场景下的吞吐量。

增强集成并修复错误

新增用于 Codex 和 Copilot 集成的命令,可无缝切换模型。错误修复涉及工具结果排序、跨工具调用轮次复用提示词缓存、VLM 分词,以及内存报告准确性。

💬 Key Quotes

oMLX 0.7.4.dev1 让另一台配备高速 GPU 的 Mac 为只能在大容量 Mac 上运行的模型加速预填充,并提升 DeepSeek V4.1 和 Qwen3.8 Flash-Next 的速度。

64K 提示词下的预填充 tok/s:仅使用 M3 Ultra 512GB,以及搭配 M5 Max 加速器。DeepSeek V4.1 Flash:1,060 -> 3,123 (+195%)

Qwen3.8 Flash-Next 在 M3 Ultra 上的解码速度从 38.9 提升至 63.0 tok/s (+62%)

首次解码 600 个 token,着色器缓存未预热:12.4 -> 45.8 tok/s (+269%)

在 /v1/messages 和 /v1/chat/completions 接口中,并行工具结果会按工具调用的顺序传递给聊天模板

📊 Article Meta

AI Screening: 85

Source: Hacker News - Newest: "LLM"

Author: joshcsimmons

Category: 人工智能

Language: 英文

Read Time: 6 min

Word Count: 1372

Tags:

AI 与智能应用 , 模型训练与推理 , AI 工程 , 上下文工程 , 多模态 AI

#AI 与智能应用# 模型训练与推理# AI 工程# 上下文工程# 多模态 AI

文章评论(12)

北岛渔夫8 天前

思路清晰,干货满满。

回复
逐光而行8 天前

路过

回复
星观澜8 天前

这篇文章分析得很透彻,收藏了!

回复
龙文博8 天前

这篇文章分析得很透彻,收藏了!

回复
石佳琪8 天前

实测过类似工具,作者说的基本属实。

回复
龙文博8 天前

内容翔实,正好需要,先收藏再看。

回复
白向阳8 天前

思路清晰,干货满满。

回复
山问津8 天前

内容翔实,正好需要,先收藏再看。

回复
三分糖去冰8 天前

实测过类似工具,作者说的基本属实。

回复
逐光而行8 天前

这个观点很中肯,深有同感。

回复
墨向阳8 天前

不错不错,已加入书签。

回复
晨沐雨8 天前

赞同,实践出真知。

回复