为了加快业务速度,百亿亿次级 HPC 和万亿参数的 AI 模型需要服务器集群中每个 GPU 之间高速、无缝的通信,以实现大规模加速。
第四代 NVLink 是一种纵向扩展互联技术。当与新的外部 NVLink 交换机结合使用时,NVLink Switch 系统现在可以跨多个服务器以每个 GPU 900 GB/s 的双向带宽扩展多 GPU IO,比 PCIe 5.0 的带宽高 7 倍。NVLink Switch 系统支持由多达 256 个相互连接的 H100 组成的集群,且带宽比 Ampere 架构上的 InfiniBand HDR 高 9 倍。
此外,NVLink 现在支持名为 SHARP 的网络计算(以前只能在 InfiniBand 上使用),并且可提供惊人的 1 exaFLOP FP8 稀疏 AI 计算能力,同时提供 57.6 TB/s 的 all-to-all 带宽。