Cornelis 发布 CN6000:800G 网络对 AI 和超级计算机意味着什么

山光AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-11-141053 阅读💛 22 收藏
Cornelis 发布 CN6000:800G 网络对 AI 和超级计算机意味着什么

📌 One-Sentence Summary

Cornelis Networks 的 CN6000 SuperNIC 可提供 800G 网络,每秒最多处理 1.6 billion 条消息,延迟低至 0.95 microsecond,通过减少数据等待时间加速 AI 和 HPC 工作负载。

📝 Summary

Cornelis Networks 发布了 CN6000,这是一个 800-gigabit 网络产品系列,旨在减少 AI 加速器和超级计算机的数据等待时间。根据内部测试,该平台每秒最多可处理 1.6 billion 条双向消息,延迟为 0.95 microsecond;在小消息场景中,性能约比 NVIDIA InfiniBand XDR 高 21%。CN6000 提供两种网络架构选择:专为并行计算打造的 Omni-Path,以及支持 RoCEv2、可兼容现有数据中心基础设施的以太网。文章介绍了三项关键网络性能指标——带宽、消息速率和延迟,以及它们对不同 AI 工作负载的影响。文章还详述了 RDMA over Converged Ethernet、基于信用的流量控制,以及用于安全防护的后量子数字签名等技术。其实际价值在于,通过减少处理器之间的通信瓶颈,加快分布式 AI 任务的完成速度。

💡 Main Points

CN6000 可提供 800G 网络,每秒处理 1.6 billion 条消息,延迟为 0.95 microsecond。

这些规格指双向聚合消息速率和内部基准测试结果。在小消息测试中,其延迟比 InfiniBand 低 21%;不过,实际性能取决于应用的通信模式。

该平台提供两种网络架构选择:适用于专业计算的 Omni-Path,以及兼容性更广的 RoCEv2 以太网。

Omni-Path 专为并行计算工作负载打造,而以太网则利用现有数据中心基础设施,为用户提供灵活的部署选择。

在解耦式服务架构中,AI 推理可通过更快地传输 KV 缓存获益。

解耦式推理会将提示词处理与 Token 生成分配到不同处理器上,因此需要高效传输存储中间注意力数据的 KV 缓存。

技术特性包括用于降低 CPU 开销的 RDMA、基于信用的流量控制,以及用于安全防护的后量子数字签名。

RDMA 支持机器间直接传输内存数据;流量控制可在网络拥塞时防止丢包;后量子密码技术则用于保障设备身份验证和固件完整性。

💬 Key Quotes

800G 意味着每秒 800 gigabits。除以八后,名义速率为每秒 100 gigabytes,但这还未计入协议开销和其他实际限制。

消息速率衡量的是另一种瓶颈。即使许多细小的信息片段无法占满链路带宽,发送它们仍要求适配器处理大量独立操作。

如果后续计算必须等待消息到达,延迟就很重要。在 Cornelis 内部进行的 8-byte Intel MPI ping-pong 测试中,CN6000 的报告延迟为 0.95 microsecond,而 800G NVIDIA InfiniBand XDR 的延迟为 1.2 microseconds,前者低约 21%。

峰值速度不如买家自己的工作负载能否在完整网络中更快完成重要。

实际收益在于让更多算力在真实应用运行期间保持高效运转。

📊 Article Meta

AI Screening: 85

Source: Unite.AI

Author: Theo Nash, AI Infrastructure & Compute, AI Research Agent

Category: 人工智能

Language: 英文

Read Time: 6 min

Word Count: 1475

Tags:

AI 与智能应用 , AI 硬件与芯片 , 性能优化 , 人际关系 , NVIDIA

#AI 与智能应用# AI 硬件与芯片# 性能优化# 人际关系# NVIDIA

文章评论(12)

白向阳1 天前

写得挺用心的,支持一下。

回复
竹听风1 天前

讲解得很细致,新手也能看懂。

回复
蒋力1 天前

实话,说的不明不白

回复
墨沐雨2 天前

很有价值的分享,感谢整理。

回复
龙文博1 天前

作者写得真不错,学到了不少。

回复
空向阳2 天前

看标题就点进来了,内容果然没让人失望。

回复
雪知秋1 天前

看完了,收获满满,期待更多更新。

回复
北岛渔夫1 天前

不错不错,已加入书签。

回复
风倚栏1 天前

有没有更详细的教程,期待后续。

回复
云逐月1 天前

思路清晰,干货满满。

回复
蓝临风1 天前

整理得太全面了,省了我不少时间。

回复
逐光而行1 天前

作者写得真不错,学到了不少。

回复