创造 MLPERF 新纪录

NVIDIA 训练和推理解决方案在业界先进的 AI 性能基准测试 MLPerf 中表现出了创记录的出色性能。

什么是 MLPerf?

MLPerf 是由来自学术界、研究实验室和相关行业的 AI 领导者组成的联盟,旨在“构建公平和有用的基准测试”,在规定的条件下,针对硬件、软件和服务的训练和推理性能提供公平的评估。为确保始终站在行业趋势的前沿,MLPerf 不断演进,定期进行新的测试并添加代表 AI 领域当前水平的新工作负载。

MLPERF 提交类别

MLPerf Training v0.7 是第三个训练版本,由八个不同的工作负载组成,涵盖了各种用例,其中包括视觉、语言、推荐系统和增强学习。

MLperfs v0.5 测试了三个用例,跨越5个不同的神经网络,其中4个和计算机视觉相关,第5个是语言翻译相关

图像分类

图像分类

从一组固定类别中选出一个标签分配给输入图像,这适用于自动驾驶汽车等计算机视觉问题。详细信息

目标检测(轻量级)

目标检测(轻量级)

在图像或视频中寻找现实目标的实例(如人脸、自行车和建筑物等),并在每个目标周围指定边界框。详细信息

目标检测(重量级)

目标检测(重量级)

检测图像中出现的不同目标,并为每个目标分别标识像素掩码。详细信息

翻译(递归)

翻译(递归)

使用循环神经网络 (RNN) 将文本翻译为另一种语言。详细信息

翻译(非递归)

翻译(非递归)

使用前馈神经网络将文本从一种语言翻译为另一种。详细信息

自然语言处理 (NLP)

自然语言处理 (NLP)

使用一段文本中不同单词之间的关系来理解文本。能够支持回答问题、解释句子和多个与语言相关的用例。详细信息

推荐

推荐

通过了解用户与服务项目(如产品或广告)之间的交互方式和内容,在社交媒体或电子商务网站等面向用户的服务中提供个性化结果。详细信息

增强学习

增强学习

评估不同的可能行为,以在 19x19 的网格中畅玩围棋这一策略游戏时,赢得更高的奖励。详细信息

NVIDIA 的 MLPERF 基准测试结果

  • 训练

    训练

  • 推理

    推理

NVIDIA A100 Tensor Core GPU 和 NVIDIA DGX SuperPOD 在商用系统的每个芯片和大规模工作负载方面打破了全部 16 项训练性能记录。这种突破性性能得益于硬件、软件和系统层面技术的紧密结合。NVIDIA 在全栈性能上的持续投资使得其吞吐量相较于之前的三次 MLPerf 测试提交有所提高。

在 MLPERF 推出的 1 年半中,性能提升高达 4 倍

NVIDIA 的全栈创新促进持续改进

UP TO 4X THE PERFORMANCE IN 1.5 YEAR​S OF MLPERF

NVIDIA 打破全部 16 项记录

适用于商用解决方案

  Max Scale Records Per-Accelerator Records
Recommendation (DLRM) 3.33 min 0.44 hrs
NLP (BERT) 0.81 min 6.53 hrs
Reinforcement Learning (MiniGo) 17.07 min 39.96 hrs
Translation (Non-recurrent) (Transformer) 0.62 min 1.05 hrs
Translation (Recurrent) (GNMT) 0.71 min 1.04 hrs
Object Detection (Heavyweight) (Mask R-CNN) 10.46 min 10.95 hrs
Object Detection (Lightweight) (SSD) 0.82 min 1.36 hrs
Image Classification (ResNet-50 v1.5) 0.76 min 5.30 hrs

NVIDIA 在所有四个场景(服务器、离线、单流和多流)中均获得最佳结果。此外,我们还在全部五个基准测试中提供了商用产品中的最佳各加速器性能。这些结果不仅证明 NVIDIA 在推理性能上出类拔萃,还证明其推理平台具有通用性。

数据中心和边缘设备的服务器场景

NVIDIA Turing 架构

  NVIDIA T4
(Inferences/Second)
NVIDIA TITAN RTX
(Inferences/Second)
NVIDIA Jetson Xavier
(Max Inferences/Query)
MobileNet-v1 16,884 47,775 302
ResNet-50 v1.5 5,193 15,008 100
SSD MobileNet-v1 7,078 20,501 102
SSD ResNet-34 126 338 2
GNMT 198 645 N/A

助力实现出色结果的技术

AI 的复杂性要求平台的各个方面实现紧密结合。正如 MLPerf 基准测试中所展现的,凭借先进的 GPU、强大且可扩展的互联技术以及尖端软件(一种端到端解决方案,可在数据中心、云端或边缘部署,并可提供出色结果),NVIDIA AI 平台可提供他人难以超越的性能。

经过优化的软件,加速 AI 工作流程

经过优化的软件,加速 AI 工作流程

NGC 是 NVIDIA 平台和 MLPerf 训练和推理结果的重要组成部分,它是适用于 GPU 优化 AI、高性能计算 (HPC) 和数据分析软件的中心,可简化和加速端到端工作流程。凭借 150 多个企业级容器(包括适用于对话式 AI推荐系统的工作负载)、100 多个模型,以及可在本地、云端或在边缘部署的行业特定 SDK,NGC 助力数据科学家、研究人员和开发者以超乎寻常的速度构建强大的解决方案、收集见解,并以更快的速度提供业务价值。

前沿的 AI 基础设施

要在训练和推理方面获得领先的结果,就需要能够应对各种复杂的 AI 挑战的专用基础设施。NVIDIA AI 平台可提供 NVIDIA A100 Tensor Core GPUNVIDIA T4 Tensor Core GPU 的强大功能,以及 NVIDIA 互联技术(NVLink®NVSwitch 和 Mellanox ConnectX-6 VPI)的可扩展性和灵活性。这些都是 NVIDIA DGX A100 的核心,而正是 NVIDIA DGX™ A100 助力我们在基准测试中提供出色性能。

NVIDIA DGX 系统提供了可扩展性、快速部署能力和惊人的计算能力,可使各个企业都能构建领先的 AI 基础设施。

前沿的 AI 基础设施

详细了解我们的数据中心训练和推理产品性能。