NVIDIA Spectrum-X 以太网网络平台

与通用以太网 (OTS) 相比,将 AI 网络性能提升 1.6 倍。

概览

业界第一款专为 AI 打造的以太网网络平台

使用 NVIDIA Spectrum-X™ 以太网网络平台训练和部署大规模 AI 任务。该平台由 NVIDIA Spectrum-X 以太网交换机和 NVIDIA Spectrum-X 以太网 SuperNIC™ 联合组成,用于数据中心的 AI 计算网络,为 AI 计算提供极致性能,使用 Spectrum-XGS 以太网实现多个 AI 数据中心连接扩展,支持创新的光电一体封装硅光技术,进一步提高能效和 AI 工作负载可靠性。

NVIDIA Spectrum-X 多平面:依托更扁平、高可靠性网络,实现 AI 工厂超大规模扩展

Spectrum-X 多平面使以太网能够扩展到前所未有的规模,同时避免了增加另一个网络层所产生的延迟、抖动以及成本。

NVIDIA 以太网加速 xAI 构建的全球最大 AI 超级计算机

NVIDIA Spectrum-X 以太网为使用十万张 NVIDIA Hopper™ GPU 构建庞大的 AI 系统创造可能。

优势

强大性能助力 AI 云

Spectrum-X 是一种革命性的解决方案,用于使用以太网构建多租户、超大规模 AI 云。助力客户显著提高 AI 云的性能和能效,并获得更高的可预测性和一致性,从而缩短上市时间并提高竞争优势。

大规模场景的极致带宽性能

超低延迟

端到端的全栈优化

高级 RoCE 扩展特性助力可扩展 AI 通信

确定性性能和性能隔离

开放网络操作系统:SONiC 和 NVIDIA® Cumulus®


提升 AI 云性能

NVIDIA Spectrum-X 以太网可将网络性能提升 1.6 倍,从而加速 AI 工作负载的处理、分析和执行,进而加速 AI 解决方案的开发和部署。

适用于超大规模机群的加速以太网

Spectrum-X 以太网完全基于标准的以太网技术,支持云规模的开放以太网软件栈 (例如 SONiC),并融合了 NVIDIA 网络创新技术。

全栈优化和仿真

Spectrum-X 以太网为 NVIDIA 硬件和软件全栈系统实现优化和验证,为 AI 云创建了出色的以太网解决方案。NVIDIA DSX Air 将 Spectrum-X 以太网仿真与全栈 AI 工厂相集成,包括 NVIDIA 和生态系统合作伙伴的出色组件。

跨数据中心连接,实现十亿瓦级 AI

NVIDIA Spectrum-XGS 以太网专为跨多个不同的数据中心 (位于不同的建筑物或相距数百公里) 进行扩展而构建,使它们能够作为单个统一的 AI 超级工厂使用。Spectrum-XGS 以太网采用拓扑感知的拥塞控制算法、精确延迟管理和端到端遥测技术,可为跨数据中心通信提供高达 1.9 倍的 NCCL 性能。

NVIDIA 硅光技术

Spectrum-X 以太网硅光技术通过将硅光器件与交换机 ASIC 封装在一起,进一步降低功耗、提高可靠性并提升 AI 生产力。与传统基于可插拔收发器的网络相比,Spectrum-X 以太网硅光技术可将网络能效提高 5 倍,网络可靠性提高,AI 应用持续运行时间提高 5 倍。

Spectrum-X 多平面

多平面使以太网能够使用两层扁平拓扑将扩展规模从数千个 GPU 提升到数十万个 GPU。通过将每个 GPU 的 SuperNIC 拆分到两个或多个独立的网络平面,克服了单平面规模限制,提高了性能和可靠性。采用 Spectrum-X 以太网两层组网支持扩展至 12.8 万个 GPU,比单平面网络组网方案提升了 64 倍。

机架级 Spectrum-X 以太网

Spectrum-X 以太网与 NVIDIA MGX™ ETL 机架级架构完美集成,为超高密度计算机架提供高性能以太网网络,将 MGX 液冷方案和可靠性创新扩展到更广泛的计算选项。基于铜介质的节能电缆架 (Cable Cartridge) 将液冷式 Spectrum-X 以太网交换机托盘与机架内的多达 256 个 GPU 进行连接,而前面板光纤连接则可扩展到更大的 GPU 域。

产品

平台内包含的产品

NVIDIA Spectrum-X 以太网交换机

NVIDIA Spectrum-X 以太网交换机专为加速超大规模生成式 AI 网络而打造。Spectrum-X 以太网交换机为 AI 工厂提供高效的带宽和性能隔离,助力基础设施扩展至数十万个 GPU,实现全球超大型 AI 模型的训练和部署。

NVIDIA Spectrum-X 以太网 SuperNIC

NVIDIA Spectrum-X 以太网 SuperNIC 是新型网络加速器,专为增强超大规模 AI 工作负载而打造。NVIDIA SuperNIC 专为网络密集型大规模并行计算而设计,为 GPU 服务器之间通信提供高带宽 RDMA over Converged Ethernet (RoCE) 网络连接,优化峰值 AI 工作负载效率。

应用

如何使用 Spectrum-X 以太网技术

AI 计算结构

Spectrum-X 非常适合 GPU 到 GPU 通信,可提供 AI 训练和分布式推理所需的高效带宽和实现性能隔离。

AI 存储

NVIDIA 和存储生态系统正在将 Spectrum-X 创新扩展到数据存储网络结构,从而加快 AI 部署,并最大化投资回报。

合作伙伴

我们的合作伙伴

资源

继续探索 Spectrum-X

Spectrum-X 数据手册

Spectrum-X 技术白皮书

Scale-In 网络技术博客

Spectrum-X 多平面技术博客

Spectrum-X 以太网经过验证的解决方案

面向 AI 的网络技术白皮书

面向 AI 的网络技术博客

SuperNIC 技术白皮书

NVIDIA Spectrum-X 以太网平台常见问题解答

NVIDIA Spectrum-X 以太网平台是全球首个面向多租户生成式 AI 工厂的端到端 AI 优化的以太网平台。平台融合专用以太网交换机与 SuperNIC,为超大规模 AI 基础设施提供高有效带宽、低延迟以及可靠的性能隔离能力,整体基于标准以太网构建。

NVIDIA Spectrum-X 以太网专为运行超大规模多租户 AI 工作负载的云服务提供商与大型企业打造。支持从大型企业部署到拥有数十万 GPU 连接的大规模云 AI 工厂等环境。

Spectrum-X 以太网采用先进的基于遥测的拥塞控制技术,实现租户间的干扰隔离。内置性能隔离能力可保障各租户 AI 工作负载稳定、可预测地运行,提升并行 AI 作业的服务质量。

自适应路由是一项核心特性:Spectrum-X 以太网交换机与 SuperNIC 紧密协同工作,动态调度流量,为 AI 网络架构实现最高有效带宽与网络可靠性。专为无损网络设计,以避免大规模性能下降。

Spectrum-X 以太网可通过高效的两层叶脊拓扑,扩展至数十万 GPU 连接规模。借助 Spectrum-X 多平面技术,将每个 GPU 的 SuperNIC 流量分流至两个及以上独立网络平面,两层拓扑下网络规模最高可支持 128,000 块 GPU,为单平面网络的 64 倍。

Spectrum-XGS 以太网是 Spectrum-X 平台的扩展,面向“十亿瓦级”AI 场景设计,可让相隔数百公里的多个分布式数据中心,如同一个 AI 超级工厂协同工作。它引入了可感知设施间距的改进型拥塞控制算法,相比传统方案,可将多站点 NCCL 集合通信性能提升 1.9 倍。

最新一代产品 (面向 NVIDIA Vera Rubin AI 工厂) 基于 Spectrum-6 ASIC,单芯片带宽可达 102.4 Tb/s,搭载 200G SerDes,单通道带宽为上一代的两倍。SN6600 配备 128 个 800 G OSFP 端口;SN6800 为 5U 机架规格,集成 512 个 800 G 端口。

Spectrum-X 以太网硅光交换机采用光电一体封装 (CPO) 技术。与传统可插拔光模块的交换机相比,平均中断间隔 (MTBI) 提升 10 倍,正常运行时间延长 5 倍,能效提升 5 倍。该交换机采用超高密度 MMC-16 光纤规格,节省机柜空间。

Spectrum-X 以太网平台支持三款跨代的 SuperNIC:BlueField™-3 (适配 NVIDIA Hopper 架构系统,针对 RDMA/RoCE 与多租户隔离优化);ConnectX™-8 (2×400 G,总吞吐量 800 Gb/s,PCIe Gen6,适配 NVIDIA Blackwell 系统);ConnectX-9 (4×200 G SerDes,单 GPU 带宽 1600 Gb/s,PCIe Gen6,适配 NVIDIA Vera Rubin NVL72 系统)。全部 SuperNIC 均可卸载集合通信负载,并为自适应路由提供遥测数据。

NVIDIA NetQ™ 提供流级可视化,可追踪从 GPU 到 SuperNIC 的链路性能,对交换机端口与 RoCE 队列的逐跳行为进行测绘。在部署方面,NVIDIA DSX Air 能够模拟完整 AI 工厂生态,帮助客户验证硬件及合作伙伴方案,缩短首 Token 生成时间,保障系统上线即具备大规模高性能。

后续步骤

免费试用 NVIDIA 网络软件

使用 NVIDIA DSX Air 仿真全自动化的网络拓扑。

探索 AI 时代的网络

网络决定 AI 终极性能,成为数据中心的支柱,释放生成式 AI 的强大能力。

了解 Spectrum-X 以太网平台

Spectrum-X 以太网平台配备 Spectrum-X 以太网交换机,专为提高基于以太网的 AI 基础设施的性能和效率而设计。

注册以接收 NVIDIA 发布的最新消息。

Augtera is now a part of NVIDIA 

Augtera was acquired by NVIDIA Corporation of Santa Clara, CA in December 2024. It will become a part of NVIDIA Spectrum-X product portfolio.