可支持服务器内和服务器间实现高级多 GPU 通信的基础模组。
AI 和高性能计算 (HPC)(包括新兴的万亿参数模型)领域的计算需求不断增长,在这一趋势的推动下,对于能够在每个 GPU 之间实现无缝高速通信的多节点、多 GPU 系统的需求也在与日俱增。要打造功能强大且能够满足业务速度需求的端到端计算平台,可扩展的快速互连必不可少。
第四代 NVIDIA® NVLink® 技术可为多 GPU 系统配置提供高于以往 1.5 倍的带宽,以及增强的可扩展性。单个 NVIDIA H100 Tensor Core GPU 支持多达 18 个 NVLink 连接,总带宽为 900 GB/s,是 PCIe 5.0 带宽的 7 倍。
NVIDIA DGX™ H100 等服务器可利用这项技术来提高可扩展性,进而实现超快速的深度学习训练。
支持 NVLink GPU 之间连接的 NVIDIA H100
NVLink in NVIDIA H100 increases inter-GPU communication bandwidth 1.5X compared to the previous generation, so researchers can use larger, more sophisticated applications to solve more complex problems.
第三代 NVIDIA NVSwitch™ 基于 NVLink 的高级通信能力构建,可为计算密集型工作负载提供更高带宽和更低延迟。为了支持高速集合运算,每个 NVSwitch 都有 64 个 NVLink 端口,并配有 NVIDIA SHARP™ 引擎,可用于网络内归约和组播加速。
NVSwitch 使 NVIDIA DGX H100 系统中的 8 个 GPU 能够在一个具有全带宽连接的集群中协同工作。
NVLink 是一种 GPU 之间的直接互连,可扩展服务器内的多 GPU 输入/输出 (IO)。NVSwitch 可连接多个 NVLink,在单节点内和节点间实现以 NVLink 能够达到的最高速度进行多对多 GPU 通信。
NVLink 和 NVSwitch 的结合使 NVIDIA 成功达到了 AI 领域的首个行业基准 MLPerf 1.1。
借助 NVSwitch,NVLink 连接可在节点间扩展,以创建无缝、高带宽的多节点 GPU 集群,从而有效地形成数据中心大小的 GPU。通过在服务器外部添加第二层 NVSwitch,NVLink 网络可以连接多达 256 个 GPU,并提供 57.6 TB/s 的惊人多对多带宽,从而快速完成大型 AI 作业。
该 NVIDIA NVLink 交换机配备 128 个 NVLink 端口,无阻塞交换能力为每秒 3.2 TB/s。机架交换机可为 NVIDIA DGX 和 NVIDIA HGX™ 系统提供高带宽和低延迟,支持第四代外部 NVLink 连接。
NVSwitch 是首款节点交换架构,可在单个服务器节点中支持 8 到 16 个全互联的 GPU。第三代 NVSwitch 能以惊人的 900GB/s 的速度互连每对 GPU。它还支持完整的多对多通信。这些 GPU 可用作单个高性能加速器,拥有高达 15 petaFLOPS 的深度学习计算性能。
NVLink 和 NVSwitch 是整个 NVIDIA 数据中心解决方案的必要基础模组,该解决方案包含来自 NVIDIA AI Enterprise 软件套件和 NVIDIA NGC™ 目录的硬件、网络、软件、库以及优化的 AI 模型和应用程序。作为强大的端到端 AI 和高性能计算平台,它让研究人员能够更快地得到的结果,并能将解决方案部署到生产环境中,从而在各种规模上实现出色的加速。
初步规格,可能会有所变更