NVIDIA Rubin 平台

NVIDIA Rubin 平台

塑造新一代 AI。

概览

引领代理式 AI 时代

NVIDIA Rubin 平台专为代理式 AI 和推理时代而构建,用于应对大规模多步骤问题求解和长上下文工作流。通过消除通信和内存移动中的关键瓶颈,Rubin 平台强效助力推理,与 NVIDIA Blackwell 架构产品相比,每瓦可提供更多 token,并降低了每 token 成本。

NVIDIA 发布 Rubin,开启新一代 AI 平台——六款全新芯片,一台超凡 AI 超级计算机

这一前沿平台推动了主流应用的规模化发展,通过五项突破性技术大幅降低了每个 token 的成本,从而为推理和代理式 AI 模型提供了更高效的支持。

深入了解技术突破

Transformer 引擎

Rubin 平台采用了全新的 Transformer 引擎,该引擎通过硬件加速的自适应压缩技术,在保持精度的同时提升 NVFP4 性能,支持高达 50 PFLOPS 的 NVFP4 推理能力。该 Transformer 引擎与 NVIDIA Blackwell 完全兼容,确保无缝升级,使之前经过优化的代码能够轻松迁移到 Rubin 平台。

第三代机密计算

NVIDIA 机密计算的第三代产品通过 NVIDIA Vera Rubin NVL72 将安全性扩展到整机架规模。这个平台在所有36个 NVIDIA Vera CPU、72 个 NVIDIA Rubin GPU 以及无缝连接它们的 NVIDIA NVLink™ 互连结构之间创建了一个统一的信任执行环境。该平台可跨 CPU、GPU 和 NVLink 域保持数据安全。通过提供用于合规性加密验证服务,在实现超大规模扩展的同时确保无妥协的安全防护,为全球规模最大的专有模型、训练数据及推理工作负载提供全方位保护。

第六代 NVLink 和 NVLink 交换机

第六代 NVLink 实现了 NVIDIA 高速 GPU 互连结构的重大飞跃,该结构将 72 个 NVIDIA Rubin GPU 整合为一个统一的性能域。与 NVIDIA Blackwell 相比,Rubin 的性能翻倍,为每个 GPU 提供每秒 3.6 万亿字节 (TB/s) 的带宽,以及低延迟的 260TB/s 的连接能力,以实现更快的通信。结合 NVIDIA® Scalable Hierarchical Aggregation and Reduction Protocol (SHARP),可将聚合运算的网络拥塞率降低高达 50%,从而大规模且无损地加速全球大型模型的训练和推理。

第二代可靠性、可用性和可服务性 (RAS) 引擎

NVIDIA Vera Rubin NVL72 凭借先进的可靠性特性,提供机架级弹性。NVIDIA Rubin GPU 特征是配备专用第二代 RAS 引擎,支持主动维护和实时健康检查而无需宕机时间,同时 NVIDIA Vera CPU 通过 SOCAMM LPDDR5X 内存和 CPU 内核的在线自检功能增强了可服务性。该机架引入了模块化、无电缆的托盘设计,与 NVIDIA Blackwell 相比,组装和维护速度提高了18倍。同时,它结合了智能弹性功能和软件定义的 NVLink 路由,可确保持续运行并降低维护成本。

NVIDIA Vera CPU

NVIDIA Vera CPU 专为跨加速系统的数据移动和代理式推理而设计,并提供全面的机密计算支持。它与 NVIDIA GPU 无缝搭配,或独立运行于分析、云计算、编排、存储和高性能计算 (HPC) 工作负载。Vera 结合了 88个NVIDIA 设计的内核、高达 1.2TB/s 的 LPDDR5X 内存带宽以及 NVIDIA 可扩展一致性结构,为数据密集型和内存密集型工作负载提供可预测且节能的性能,同时完全兼容 Arm® 架构。集成的 NVLink-C2C 连接可实现高带宽、一致的CPU-GPU内存访问,以最大化系统利用率和效率。

探索 NVIDIA Rubin 产品

NVIDIA Vera Rubin NVL72

NVIDIA Vera Rubin NVL72 集成了 72 颗 NVIDIA Rubin GPU、36 颗 NVIDIA Vera CPU、144 颗 NVIDIA ConnectX®-9 SuperNIC 和 18 颗 NVIDIA BlueField®-4 DPU。它通过 NVLink 6 在一致性的机架级平台上纵向扩展智能,并通过 NVIDIA Quantum-X800 InfiniBand 和 NVIDIA Spectrum-X™ 以太网横向扩展,大规模驱动 AI 工业革命。

NVIDIA DGX Vera Rubin NVL72

NVIDIA DGX Vera Rubin NVL72 为企业提供了基于 NVIDIA Vera Rubin 架构的一站式、随时可部署型 AI 基础设施解决方案,专门设计用于大规模部署,以加速最复杂的 AI 模型。

NVIDIA DGX Rubin NVL8

NVIDIA DGX Rubin NVL8 是一款液冷 AI 系统,由八颗 NVIDIA Rubin GPU 和第六代 NVLink 提供支持,专为加速各类 AI 工作负载的训练、推理和后训练而构建。

深入了解 NVIDIA Rubin 平台:六款新芯片,一台 AI 超级计算机

NVIDIA Vera Rubin 通过极致的协同设计构建,将数据中心而非芯片作为计算单元,为高效、安全、可预测的大规模智能生产奠定新的基础。