NVIDIA Magnum IO

适用于现代 GPU 加速型数据中心的 IO 子系统

更大限度地提高数据中心存储和网络 IO 性能

该全新计算单元为数据中心,其核心为 NVIDIA GPU 和 NVIDIA 网络。加速计算要求加速输入/输出 (IO),以更大限度提升性能。现代数据中心的 IO 子系统 NVIDIA Magnum IO 是适用于并行异步智能数据中心 IO 的架构,能更大限度提升存储和网络 IO 性能,为多 GPU、多节点加速提供支持。

Magnum IO 近期动态

云原生超级计算 Magnum IO 架构

Magnum IO 是数据中心的 IO 子系统,它引入了新的增强功能,以加速多租户数据中心的 IO 通信,称为云原生超级计算 Magnum IO 技术。

云原生超级计算 Magnum IO 架构
由 Magnum IO 和 Verizon 5G 提供支持的立体视频

立体视频有赖于 Magnum IO 和 Verizon 5G 技术

运行在 InfiniBand 网络上的 Magnum IO GPUDirect 助力实现 Verizon 的突破性分布式立体视频(volumetric video)架构。通过将其技术应用到位于美国各地的体育中心和 Verizon 设施的边缘计算中心,他们能够为媒体带来3D体验,可将您置身其中,为您提供全新的体验方式。

Magnum IO 关键优势

经过优化的 IO 性能

绕过 CPU,在 GPU 显存、网络和存储中实现直接 IO,进而将带宽提升至十倍。

系统平衡和利用率

通过减少 CPU 争用构建更平衡的 GPU 加速型系统,可提供最大 IO 带宽,使 CPU 核心数减少至十分之一,CPU 利用率降低至三十分之一。

无缝集成

提供适用于现有和未来平台的优化实现,无论数据传输是细粒度的延迟敏感型,还是粗粒度的带宽敏感型,抑或是两者混合型。

Magnum IO 优化堆栈

Magnum IO 利用存储 IO、网络 IO、网内计算和 IO 管理,简化并加速多 GPU、多节点系统的数据传输、访问和管理。Magnum IO 支持 NVIDIA CUDA-X™ 库,并充分利用各类 NVIDIA GPU 和 NVIDIA 网络硬件拓扑来实现更高的吞吐和更低的延迟。

 [开发者博客] Magnum IO:加速现代数据中心内的 IO

Magnum IO 优化堆栈

存储 IO

在多节点、多 GPU 系统中,运行缓慢的 CPU 单线程性能严重影响了从本地或远程存储设备访问数据的效率。借助存储 IO 加速,GPU 可绕过 CPU 和系统内存,通过八个 200Gb/s NIC 访问远程存储,实现高达 1.6Tb/s 的原始存储带宽。

相关技术包括:

网络 IO

NVIDIA NVLink® 架构和基于 RDMA 的网络 IO 加速可降低 IO 开销,绕过 CPU,并实现 GPU 到 GPU 的线速直接数据传输。

相关技术包括:

网内计算

网内计算可实现网络内处理,消除遍历端点或过程中发生跳跃导致的延迟。数据处理单元 (DPU) 采用软件定义、网络硬件加速的计算,包括预配置的数据处理引擎和可编程引擎。

相关技术包括:

IO 管理

用户需要先进的遥测和深度故障排除技术,才能实现计算、网络和存储等各类 IO 优化。Magnum IO 管理平台可助力研究和工业数据中心操作人员对现代数据中心架构进行高效预配、监控与管理以及预防性维护。

相关技术包括:

跨应用加速 IO

Magnum IO 可与 NVIDIA CUDA-X 高性能计算 (HPC) 和人工智能 (AI) 库交互,加速 IO,使其用于各类用例,涵盖 AI 和科学可视化等领域。

  • 数据分析
  • 高性能计算
  • 深度学习
数据分析

数据分析

目前,数据科学和机器学习 (ML) 是计算能力需求最大的领域。预测式 ML 模型的准确性即便提升微小,最少也能带来数十亿美元的价值。为提升准确性,RAPIDS 加速器库基于 UCX 构建了内置 Apache Spark shuffle,可将其配置为利用 GPU 对 GPU 通信和 RDMA 功能。NVIDIA 数据中心平台与 NVIDIA 网络、Magnum IO 软件、GPU 加速型 Spark 3.0 和 RAPIDS 相结合,具有独特的优势,能够以出色的性能和效率加速这些大规模工作负载。

 Adobe 借助 Databricks 上的 Spark 3.0,将模型训练速度提升了七倍,同时节省了 90% 的成本

高性能计算

高性能计算

为点燃新一代发现的火花,科学家们希望通过仿真,更好地理解复杂分子结构以支持药物发现,理解物理现象以寻找新能源,理解大气数据以更好地预测极端天气状况。Magnum IO 提供硬件级加速引擎和智能分流,例如 RDMA、GPUDirect 和 NVIDIA SHARP 功能,同时支持 400Gb/s 高宽带和 NVIDIA Quantum 2 InfiniBand 网络超低延迟。

使用多租户时,各用户应用程序可能并不知晓相邻应用程序流量的不加选择的干扰。在新 NVIDIA Quantum 2 InfiniBand 平台上的 Magnum IO,具有新的改进功能,能够减轻对用户性能的负面影响。这可以实现理想结果,并取得任何规模下高性能计算 (HPC) 和机器学习部署的更高效率。

 规模最大的交互式立体数据可视化 - 150TB 的 NASA 火星着陆器仿真

深度学习

深度学习

当今的 AI 模型需要应对对话式 AI 和深度推荐系统等新型挑战,这促使其复杂度持续呈爆炸式增长。与 ResNet-50 等图像分类模型相比,训练 NVIDIA Megatron-BERT 等对话式 AI 模型所需的算力增加了 3000 多倍。研究人员需要强大的性能和巨大的可扩展性,才能不断在 AI 领域取得突破性进展。HDR 200Gb/s InfiniBand 网络和 Magnum IO 软件堆栈结合后,可实现单集群中数千台 GPU 的高效可扩展性。

Facebook 数据中心的深度学习训练:纵向扩展和横向扩展系统的设计

注册以获取新闻和更新。