AI 基础架构的通用系统
NVIDIA DGX™ A100 是适用于各种 AI 工作负载的通用系统,能够为率先推出的 5 petaFLOPS AI 系统提供之前难以实现的计算密度、性能和灵活性。DGX A100 采用 NVIDIA A100 Tensor Core GPU,使企业能够将训练、推理和分析整合到一个易于部署的统一 AI 基础架构中,该基础架构具备直接联系 NVIDIA AI 专家的功能。
NVIDIA DGX A100 是适用于所有 AI 基础架构,包括分析、训练、推理的通用系统。它为计算密度设立了一个新标准,将 5 petaFLOPS 的 AI 性能打包到一个 6U 的外形尺寸中,用一个平台取代了传统的基础架构孤岛,可用于每个 AI 工作负载。
NVIDIA DGXperts 是一个拥有 2 万多位 AI 专业人士的全球团队,这些团队成员在过去十年间积累了丰富的经验,能够帮助您更大限度地提升 DGX 投资价值。
NVIDIA DGX A100 是世界上第一个基于 NVIDIA A100 Tensor Core GPU 构建的 AI 系统。该系统集成了 8 个 A100 GPU 和 320GB 和 640GB GPU 内存选项,此系统可出色完成加速任务,并可针对 NVIDIA CUDA-X™ 软件和整套端到端 NVIDIA 数据中心解决方案进行全面优化。
NVIDIA DGX A100 配备 NVIDIA® ConnectX®-7 InfiniBand 或以太网网卡,双向带宽峰值为 500 GB/s。此优势是使 DGX A100 成为 NVIDIA DGX SuperPOD™ 等大型 AI 集群基本构建模块的诸多因素之一,它是可扩展 AI 基础设施的企业蓝图。
NVIDIA AI 初学者工具包为您的团队提供所需的一切,从世界级的 AI 平台,到优化的软件和工具,再到咨询服务,让您的人工智能计划快速启动并运行。无需浪费时间和金钱建立人工智能平台。在一天内接通电源,在一周内确定用例,并更快地开始生产模型。
详细了解 NVIDIA DGX A100 系统
DLRM 训练
在大型模型上将 AI 训练吞吐量提升高达 3 倍
HugeCTR 框架上的 DLRM,精度 = FP16 | 1x DGX A100 640GB 批量大小 = 48 | 2x DGX A100 320GB 批量大小 = 32 | 1x DGX-2 (16x V100 32GB) 批量大小 = 32。归一化为 GPU 数量的加速性能。
RNN-T 推理:单流
AI 推理吞吐量提升高达 1.25 倍
使用 (1/7) MIG 分片测量 MLPerf 0.7 RNN-T。框架:TensorRT 7.2,数据集 = LibriSpeech,精度 = FP16。
大数据分析基准测试
吞吐量比 CPU 提升高达 83 倍,比 DGX A100 320GB 提升高达两倍
大数据分析基准测试 | 在 10TB 数据集上运行 30 次分析零售查询、ETL、ML、NLP | CPU:19x 英特尔至强金牌 6252 2.10 GHz,Hadoop | 16x DGX-1(每个 8x V100 32GB),RAPIDS/Dask | 12x DGX A100 320GB 和 6x DGX A100 640GB,RAPIDS/Dask/BlazingSQL。归一化为 GPU 数量的加速性能
1八块 NVIDIA A100 GPU,GPU 总显存高达 640 GB 每块 GPU 支持 12 个 NVLink 连接, GPU 至 GPU 带宽高达 600 GB/s
2六个第二代 NVSwitch 双向带宽高达 4.8 TB/s, 比上一代产品高出 2 倍
3 九个 Mellanox ConnectX-6 VPI HDR InfiniBand/200 Gb 以太网 双向带宽峰值高达 500 GB/s
4 两块 64 核 AMD CPU 和 2 TB 系统内存 以 3.2 倍核心数量满足超密集的 AI 作业
5 30 TB 第四代 NVME SSD 带宽峰值高达 50 GB/s, 比三代 NVME SSD 快两倍
NVIDIA A100 Tensor Core GPU 可针对 AI、数据分析和高性能计算 (HPC) 实现出色的加速,应对极其严峻的计算挑战。借助第三代 NVIDIA Tensor Core 提供的巨大性能提升,A100 GPU 可高效扩展至数千块,或在使用多实例 GPU 时,可将其分配为七个较小的专用实例对各种规模工作负载进行加速。
借助 MIG,可将 DGX A100 中的八块 A100 GPU 配置为多达 56 个 GPU 实例,每个实例都具有自己的高带宽内存,高速缓存和计算核心,完全隔离。这使管理员可合理调配 GPU 资源,确保多个工作负载的服务质量。
DGX A100 中的第三代 NVIDIA® NVLink® 使 GPU 至 GPU 直接带宽提高一倍,达到600 GB/s,几乎比 PCIe 4.0 高出 10 倍。DGX A100 还采用新一代 NVIDIA NVSwitch™,其速度是前一代的两倍。
DGX A100 配备 NVIDIA ConnectX-7 InfiniBand 和 VPI(Infiniband 或以太网)适配器,每个适配器都以每秒 200 Gb (Gb/s) 的速度运行,为大规模 AI 工作负载创建高速结构。 DGX A100 系统还提供 ConnectX-6 适配器。
DGX A100 集成经过测试和优化的 DGX 软件堆栈,包括通过 AI 调整的基本操作系统、所有必需的系统软件以及 GPU 加速应用、预训练的模型以及 NGC™ 提供的更多功能。
DGX A100 采用多层方法为 AI 部署提供了最强大的安全性,该方法可以保护所有主要的硬件和软件组件,包括自加密驱动、签名软件容器、安全管理和监控等。
了解 NVIDIA DGX 系统的企业级支持
NVIDIA 企业服务为您的 DGX 基础设施提供支持、教育和专业服务。 NVIDIA 专家随时为您的 AI 之旅的每一步提供服务,企业服务可以帮助您快速成功地启动和运行项目。
前沿 AI 基础架构
NVIDIA 隐私政策