为了满足业务活动的快节奏需求,百亿亿次级 HPC 和万亿参数的 AI 模型需要服务器集群中的每一个 GPU 之间实现平滑流畅的高速通信,以实现大规模加速。
第四代 NVLink 可通过 NVIDIA DGX™ 和 HGX™ 服务器扩展多 GPU 输入和输出 (IO),每个 GPU 的双向传输速率可达 900 GB/s,比 PCIe 5.0 的带宽高 7 倍。
第三代 NVIDIA NVSwitch™ 支持 SHARP™ 网络计算技术,打破了该技术只能通过 InfiniBand 提供的传统。此外,八卡 H200 或 H100 GPU 服务器与上一代 A100 Tensor Core GPU 系统相比,all-reduce 吞吐量增加了两倍。
配备 NVLink Switch 系统的 DGX GH200 系统支持由多达 256 个相互连接的 H200 组成的集群,同时提供 57.6 TB/s 的 all-to-all 带宽。