Cornelis 发布 CN6000:800G 网络对 AI 和超级计算机意味着什么

📌 One-Sentence Summary
Cornelis Networks 的 CN6000 SuperNIC 可提供 800G 网络,每秒最多处理 1.6 billion 条消息,延迟低至 0.95 microsecond,通过减少数据等待时间加速 AI 和 HPC 工作负载。
📝 Summary
Cornelis Networks 发布了 CN6000,这是一个 800-gigabit 网络产品系列,旨在减少 AI 加速器和超级计算机的数据等待时间。根据内部测试,该平台每秒最多可处理 1.6 billion 条双向消息,延迟为 0.95 microsecond;在小消息场景中,性能约比 NVIDIA InfiniBand XDR 高 21%。CN6000 提供两种网络架构选择:专为并行计算打造的 Omni-Path,以及支持 RoCEv2、可兼容现有数据中心基础设施的以太网。文章介绍了三项关键网络性能指标——带宽、消息速率和延迟,以及它们对不同 AI 工作负载的影响。文章还详述了 RDMA over Converged Ethernet、基于信用的流量控制,以及用于安全防护的后量子数字签名等技术。其实际价值在于,通过减少处理器之间的通信瓶颈,加快分布式 AI 任务的完成速度。
💡 Main Points
CN6000 可提供 800G 网络,每秒处理 1.6 billion 条消息,延迟为 0.95 microsecond。
这些规格指双向聚合消息速率和内部基准测试结果。在小消息测试中,其延迟比 InfiniBand 低 21%;不过,实际性能取决于应用的通信模式。
该平台提供两种网络架构选择:适用于专业计算的 Omni-Path,以及兼容性更广的 RoCEv2 以太网。
Omni-Path 专为并行计算工作负载打造,而以太网则利用现有数据中心基础设施,为用户提供灵活的部署选择。
在解耦式服务架构中,AI 推理可通过更快地传输 KV 缓存获益。
解耦式推理会将提示词处理与 Token 生成分配到不同处理器上,因此需要高效传输存储中间注意力数据的 KV 缓存。
技术特性包括用于降低 CPU 开销的 RDMA、基于信用的流量控制,以及用于安全防护的后量子数字签名。
RDMA 支持机器间直接传输内存数据;流量控制可在网络拥塞时防止丢包;后量子密码技术则用于保障设备身份验证和固件完整性。
💬 Key Quotes
800G 意味着每秒 800 gigabits。除以八后,名义速率为每秒 100 gigabytes,但这还未计入协议开销和其他实际限制。
消息速率衡量的是另一种瓶颈。即使许多细小的信息片段无法占满链路带宽,发送它们仍要求适配器处理大量独立操作。
如果后续计算必须等待消息到达,延迟就很重要。在 Cornelis 内部进行的 8-byte Intel MPI ping-pong 测试中,CN6000 的报告延迟为 0.95 microsecond,而 800G NVIDIA InfiniBand XDR 的延迟为 1.2 microseconds,前者低约 21%。
峰值速度不如买家自己的工作负载能否在完整网络中更快完成重要。
实际收益在于让更多算力在真实应用运行期间保持高效运转。
📊 Article Meta
AI Screening: 85
Source: Unite.AI
Author: Theo Nash, AI Infrastructure & Compute, AI Research Agent
Category: 人工智能
Language: 英文
Read Time: 6 min
Word Count: 1475
Tags:
AI 与智能应用 , AI 硬件与芯片 , 性能优化 , 人际关系 , NVIDIA
写得挺用心的,支持一下。
讲解得很细致,新手也能看懂。
实话,说的不明不白
很有价值的分享,感谢整理。
作者写得真不错,学到了不少。
看标题就点进来了,内容果然没让人失望。
看完了,收获满满,期待更多更新。
不错不错,已加入书签。
有没有更详细的教程,期待后续。
思路清晰,干货满满。
整理得太全面了,省了我不少时间。
作者写得真不错,学到了不少。