Release 0.7.4.dev1 · jundot/omlx

📌 One-Sentence Summary
oMLX 0.7.4.dev1 推出面向 Mac 分布式推理的预填充加速器,大幅提升 DeepSeek V4.1、Qwen3.8 等模型的性能,并新增 TTS 支持、批量解码等功能及多项错误修复。
📝 Summary
oMLX 0.7.4.dev1 是一个开发版,新增预填充加速器功能,可让配备高速 GPU 的 Mac(如 M5 Max)为运行在更大容量 Mac(如 M3 Ultra 512GB)上的模型加速预填充操作。此版本提升了 DeepSeek V4.1 Flash 和 Qwen3.8 Flash-Next 模型的性能,预填充速度最高提升 195%,解码速度最高提升 62%。新增功能包括支持 Ming-3.0 模型的 TTS、批量解码优化,以及与 Codex 和 Copilot 的增强集成。此外,此版本还修复了多项问题,涉及工具结果排序、提示词缓存、VLM 分词和内存管理。
💡 Main Points
分布式推理预填充加速器
利用配备高速 GPU 的 Mac,为运行在更大容量 Mac 上的模型加速预填充;在 64K 提示词下,DeepSeek V4.1 Flash 的速度最高提升 195%。两台 Mac 需要运行相同版本的 oMLX,并通过 Thunderbolt 或 5GbE 连接。
主流模型性能优化
DeepSeek V4.1 Flash 在 M5 Ultra 上的预填充速度提升 43-48%,解码速度最高提升 269%。Qwen3.8 Flash-Next 在 M3 Ultra 上的解码速度最高提升 62%。通过改进内存管理,连续处理多个提示词时的长提示词处理性能也得到提升。
新增 TTS 和批量解码功能
Ming-3.0-tts 和 Ming-3.0 Tiny 模型现已支持文本转语音,并采用编译后的解码循环和融合 DiT 内核。批量解码优化使 6 行的 8 位层只需读取一次权重,从而提升多请求场景下的吞吐量。
增强集成并修复错误
新增用于 Codex 和 Copilot 集成的命令,可无缝切换模型。错误修复涉及工具结果排序、跨工具调用轮次复用提示词缓存、VLM 分词,以及内存报告准确性。
💬 Key Quotes
oMLX 0.7.4.dev1 让另一台配备高速 GPU 的 Mac 为只能在大容量 Mac 上运行的模型加速预填充,并提升 DeepSeek V4.1 和 Qwen3.8 Flash-Next 的速度。
64K 提示词下的预填充 tok/s:仅使用 M3 Ultra 512GB,以及搭配 M5 Max 加速器。DeepSeek V4.1 Flash:1,060 -> 3,123 (+195%)
Qwen3.8 Flash-Next 在 M3 Ultra 上的解码速度从 38.9 提升至 63.0 tok/s (+62%)
首次解码 600 个 token,着色器缓存未预热:12.4 -> 45.8 tok/s (+269%)
在 /v1/messages 和 /v1/chat/completions 接口中,并行工具结果会按工具调用的顺序传递给聊天模板
📊 Article Meta
AI Screening: 85
Source: Hacker News - Newest: "LLM"
Author: joshcsimmons
Category: 人工智能
Language: 英文
Read Time: 6 min
Word Count: 1372
Tags:
AI 与智能应用 , 模型训练与推理 , AI 工程 , 上下文工程 , 多模态 AI
思路清晰,干货满满。
路过
这篇文章分析得很透彻,收藏了!
这篇文章分析得很透彻,收藏了!
实测过类似工具,作者说的基本属实。
内容翔实,正好需要,先收藏再看。
思路清晰,干货满满。
内容翔实,正好需要,先收藏再看。
实测过类似工具,作者说的基本属实。
这个观点很中肯,深有同感。
不错不错,已加入书签。
赞同,实践出真知。