在 Mac Studio 上使用 MLX 与 RDMA 进行本地及分布式大语言模型推理

📌 One-Sentence Summary

Apple 的 MLX 团队展示了如何在 Mac Studio 上本地运行前沿级 LLM，通过 Thunderbolt 上的 RDMA 将接近万亿参数的 MoE 模型扩展到四台 M5 Ultra 机器上，达到每秒超过 36 个 token。

📝 Summary

Apple 的 MLX 团队详细介绍了在搭载 Apple 芯片的 Mac Studio 上进行前沿级 LLM 的本地与分布式推理。在配备 512GB 内存的单台 Mac Studio 上，Qwen 3.8（27B）和 Mistral Medium 3.5（128B）等稠密模型可以轻松运行，M5 Ultra 的 GPU 神经加速器将首 token 时间（TTFT）提升至多 4.6 倍，解码速度相比 M3 Ultra 提升 1.6 倍，而峰值功耗仅为 200-300W。对于 816B 参数的 MoE 模型 Muse Spark Open，其在 NVFP4 下需要约 493GB 内存，无法装入单台机器，文章展示了两种基于 MLX 的 jaccl 集合通信原语和 macOS 26.2 中新增的低延迟 RDMA-over-Thunderbolt 5 驱动的并行方案。流水线并行按深度切分模型，实现简单，解码速度基本不变，但在 65，536 token 上下文下可将预填充速度提升至多 1.8 倍。张量并行按宽度切分，需要低延迟通信，且随着机器数量增加扩展性更好：四台 M5 Ultra 在 Muse Spark Open 上达到 36.73 tokens/s，Mistral Medium 3.5 为 23.37，Qwen 3.8 为 50.89。文章最后展示了如何使用 mlx_lm.server 在本地为 OpenCode 等智能体编程工具提供这些模型的推理服务。

💡 Main Points

M5 Ultra 的 GPU 神经加速器大幅降低了计算密集型预填充的首 token 时间。

专用矩阵乘法硬件在 Qwen 3.8 和 Mistral Medium 3.5 上相比 M3 Ultra 将 TTFT 提升至多 4.6 倍，使 M5 Ultra 成为超长上下文场景的首选桌面设备。

解码速度受内存带宽限制，M5 Ultra 的 1.2 TB/s 统一内存带宽相比 M3 Ultra 的 819 GB/s 带来 1.6 倍的解码加速。

带宽提升直接转化为生成吞吐量，同时峰值功耗保持在约 200W（M3 Ultra）至 300W（M5 Ultra）的适中水平，适合在任何家庭或办公室环境中部署。

对于单台机器无法容纳的模型，如 816B 参数的 Muse Spark Open，可以通过 RDMA 上的流水线或张量并行拆分到多台 Mac Studio 上。

macOS 26.2 新增了低延迟 RDMA-over-Thunderbolt 5 驱动，MLX v0.30.1+ 提供了 jaccl 集合通信原语和 mlx.launch 辅助工具；流水线并行按深度切分且实现简单，张量并行按宽度切分且随机器增加扩展性更好。

流水线并行基本不改变解码速度，但通过重叠块计算在超大上下文下加速预填充。

MLX 将大上下文切分为 8，192 token 的块，使连续块在多台机器间重叠计算，在 65，536 token 时 TTFT 提升至多约 1.8 倍，但在 8，192 token 时没有提升。

张量并行随机器增加带来最大加速，四台 M5 Ultra 在 Muse Spark Open 上达到 36.73 tokens/s。

稠密架构在多机器上的扩展性更好；对于 MoE 模型，在超大上下文下通信开销可能抵消计算收益，但四台机器时该方案收益明显，每条链路使用两根 Thunderbolt 线缆可将 TTFT 从约 50.5 秒降至 40.6 秒。

💬 Key Quotes

在四台 Mac Studio 组成的集群上，Muse Spark Open 生成速度超过每秒 36 个 token（见图 1），远高于人类平均阅读速度。

首 token 时间（TTFT）本质上是计算受限的，而这正是 M5 Ultra GPU 中神经加速器大放异彩之处：GPU 神经加速器对快速矩阵乘法的专用硬件支持直接转化为 TTFT 的显著加速，相比 M3 Ultra 提升至多 4.6 倍。

生成速度（以每秒 token 数计）受内存带宽限制。M5 Ultra 芯片提供 1.2 TB/s 的统一内存带宽，相比 M3 Ultra 的 819 GB/s 有显著提升。

Mac Studio 在 LLM 推理方面也非常节能（见图 4）：搭载 M3 Ultra 的 Mac Studio 峰值功耗约为 200W，搭载 M5 Ultra 的约为 300W——仅为普通烤面包机功耗的一小部分。

借助 MLX，在本地驱动这些工具只需使用 `mlx_lm.server` 工具启动一个服务器即可。

📊 Article Meta

AI Screening： 90

Featured： Yes

Source： Hacker News - Newest: "LLM"

Author： ingve

Category： 人工智能

Language： 英文

Read Time： 12 min

Word Count： 2914

Tags：

AI 与智能应用 , Apple 芯片 , 本地与端侧 AI , 性能优化 , AI 硬件与芯片