NVIDIA Home NVIDIA Home Menu Menu icon Menu Menu icon Close Close icon Close Close icon Close Close icon Caret down icon Accordion is closed, click to open. Caret down icon Accordion is closed, click to open. Caret up icon Accordion is open, click to close. Caret right icon Click to expand Caret right icon Click to expand Caret right icon Click to expand menu. Caret left icon Click to collapse menu. Caret left icon Click to collapse menu. Caret left icon Click to collapse menu. Shopping Cart Click to see cart items Search icon Click to search
Skip to main content
NVIDIA 引领人工智能计算
    • 游戏和娱乐
      • GeForce 显卡
      • 游戏笔记本电脑
      • G-SYNC 显示器
    • 笔记本电脑和工作站
      • 游戏笔记本电脑
      • NVIDIA RTX 桌面工作站
      • 专业笔记本电脑中的 NVIDIA RTX
      • NVIDIA RTX 数据科学工作站
      • Studio 设计本
    • 云和数据中心
      • 概览
      • Grace CPU
      • DGX 系统
      • NVIDIA OVX
      • EGX 平台
      • IGX 平台
      • HGX 平台
      • DRIVE Constellation
    • 网络
      • 概览
      • DPU
      • 以太网
      • InfiniBand
    • GPU
      • GeForce
      • NVIDIA RTX / Quadro
      • 数据中心
      • Titan RTX
    • 嵌入式系统
      • Jetson
      • DRIVE AGX
      • Clara AGX
    • 应用框架
      • 元宇宙应用 – Omniverse
      • 汽车 - DRIVE
      • 云端 AI 视频流 - Maxine
      • 语音 AI - Riva
      • 数据分析 - RAPIDS
      • 医疗健康 - Clara
      • 高性能计算
      • 智能视频分析 - Metropolis
      • 推荐系统 - Merlin
      • 机器人 - Isaac
      • 电信 - Aerial
    • 应用和工具
      • 应用目录
      • NGC 目录
      • NVIDIA NGC
      • 3D 工作流 – Omniverse
      • 数据中心
      • GPU 监控
      • NVIDIA RTX Experience
      • NVIDIA RTX 桌面管理器
      • RTX 加速的创意应用程序
      • 视频会议
      • NVIDIA 工作台
    • 游戏和创作
      • GeForce Experience
      • NVIDIA Broadcast App
      • 动画 – Machinima
      • Modding - RTX Remix
    • 基础架构
      • AI Enterprise 套件
      • 云原生支持
      • 集群管理
      • 边缘部署管理
      • 推理服务
      • IO 加速
      • 软件
      • 虚拟 GPU
    • 云服务
      • 元宇宙 – Omniverse
    • AI 和数据科学
      • 概览
      • 数据分析
      • 机器学习
      • 深度学习训练
      • 深度学习推理
      • 对话式 AI
      • 预测与预报
      • 语音 AI
      • 大型语言模型
      • 实操实验
    • 数据中心和云计算
      • 概览
      • 面向企业 IT 的加速计算
      • 云计算
      • 托管
      • 边缘计算
      • 网络
      • 虚拟化
      • MLOps
      • 实操实验
    • 设计和仿真
      • 概览
      • 增强现实和虚拟现实
      • 多显示器
      • 渲染
      • 开发者大会
      • 图像虚拟化
      • 工程模拟
      • 直播
      • 实操实验
    • 机器人开发和边缘计算
      • 概览
      • AI-on-5G
      • 智能视频分析
      • 工业
      • 机器人
      • 边缘部署管理
      • 边缘解决方案
      • 实操实验
    • 高性能计算
      • 概览
      • 高性能计算和 AI
      • 仿真与建模
      • 科学可视化
      • 实操实验
    • 自动驾驶汽车
      • 概览
      • Chauffeur
      • Concierge
      • 训练
      • 高精地图
      • 仿真
      • 自驾计程车
      • 货车运输业
      • ADAS
    • 行业
      • 概览
      • 建筑,工程,施工和运营
      • 消费互联网
      • 网络安全
      • 能源
      • 金融服务
      • 医疗健康和生命科学
      • 高等教育
      • 游戏开发
      • 制造业
      • 媒体和娱乐
      • 公共部门
      • 餐厅
      • 零售业和 CPG
      • 机器人
      • 智慧城市
      • 超级计算
      • 电信
      • 交通运输
    • 初创公司
    • 技术培训
    • 社区研讨会
    • NVIDIA Studio
      • 概览
      • 加速应用
      • 产品
      • GPU 比较
    • 行业
      • 媒体和娱乐
      • 制造业
      • 建筑、工程和建造
      • 所有行业 >
    • 业务解决方案
      • 数据中心 / 云
      • 笔记本电脑 / 台式机
      • 虚拟增强 / 虚拟现实
      • 多显示器
      • 渲染
      • 元宇宙 – Omniverse
      • 图像虚拟化
      • 工程模拟
    • 行业
      • 金融服务
      • 消费互联网
      • 医疗健康
      • 高等教育
      • 零售
      • 公共部门
      • 所有行业 >
    • 解决方案
      • 数据分析
      • 机器学习
      • 深度学习训练
      • 深度学习推理
      • 对话式 AI
      • 预测与预报
      • 大型语言模型
    • 软件
      • NGC 目录
      • NVIDIA NGC
      • RAPIDS
      • Apache Spark
      • 推理服务
      • 推荐系统 - Merlin
      • 开源软件
      • AI Enterprise 套件
      • NVIDIA 工作台
    • 产品
      • PC
      • 笔记本电脑和工作站
      • 数据中心
      • 云
    • 资源
      • 专业服务
      • 技术培训
      • 初创公司
      • AI 加速器计划
      • 内容库
      • NVIDIA Research
      • 开发者博客
      • Kaggle Grandmaster
    • 开发者资源
      • 加入开发者计划
      • NGC 目录
      • NVIDIA NGC
      • 技术培训
      • 博客
      • NVIDIA GPU 技术大会
      • 初创公司
      • 社区研讨会
      • 开发者网站首页 >
    • 应用框架
      • 元宇宙 – Omniverse
      • 汽车 - DRIVE
      • 云端 AI 视频流 - Maxine
      • 语音 AI - Riva
      • 数据分析 - RAPIDS
      • 医疗健康 - Clara
      • 高性能计算
      • 智能视频分析 - Metropolis
      • 推荐系统 - Merlin
      • 机器人 - Isaac
      • 电信 - Aerial
    • 常用 SDK 和函数库
      • 并行程序开发 - CUDA 工具箱
      • 边缘 AI 应用程序 - Jetpack
      • BlueField 边缘数据处理 - DOCA
      • 加速函数库 - CUDA-X 函数库
      • 深度学习推理 - TensorRT
      • 深度学习训练 - cuDNN
      • 深度学习框架
      • 对话式 AI - NeMo
      • 智能视频分析 - DeepStream
      • NVIDIA Unreal Engine 4
      • 光线追踪 - RTX
      • 视频解码/编码
    • GeForce
      • GeForce 显卡
      • 游戏笔记本电脑
      • G-SYNC 显示器
      • RTX 游戏
      • GeForce Experience
      • GeForce 驱动程序
      • 论坛
      • 支持
    • 解决方案
      • 数据中心(本地)
      • 边缘计算
      • 云计算
      • 网络
      • 虚拟化
      • 企业 IT 解决方案
    • 软件
      • AI Enterprise 套件
      • 云原生支持
      • 集群管理
      • 边缘部署管理
      • 推理服务
      • IO 加速
      • 网络
      • 虚拟 GPU
    • 应用和工具
      • 数据中心
      • GPU 监控
      • NVIDIA RTX Experience
      • NVIDIA RTX 桌面管理器
    • 资源
      • 数据中心和 IT 资源
      • 技术培训和认证
      • 企业支持
      • 驱动程序
      • 安全
      • 产品文档
      • 论坛
      • 论坛(中国)
      • NVIDIA Research 首页
      • 研究领域
      • AI Playground
      • 抗疫研究
      • NGC 目录
      • 技术培训
      • 初创公司
      • 新闻
      • 开发者博客
      • 开源软件
      • Cambridge-1 超级计算机
      • 3D 深度学习研究
    • 产品
      • AI 训练 - DGX
      • 边缘计算 - EGX
      • 嵌入式计算 - Jetson
    • 软件
      • 机器人 - Isaac SDK
      • 模拟 - Issac Sim
      • TAO 工具包
      • 视觉 AI - DeepStream SDK
      • 边缘部署管理
      • 合成数据生成 – Replicator
    • 使用案例
      • 医疗健康
      • 制造业
      • 公共部门
      • 零售
      • 机器人
      • 更多 >
    • 资源
      • NVIDIA 博客
      • 机器人研究
      • 开发者博客
      • 技术培训
      • 初创公司
  • 驱动程序
  • 支持
  • 登录 登出
Skip to main content
  • 0
    Cart
  • Login LogOut
NVIDIA NVIDIA logo
  • 产品
    • 硬件
      • 游戏和娱乐
        • GeForce 显卡
        • 游戏笔记本电脑
        • G-SYNC 显示器
      • 笔记本电脑和工作站
        • 游戏笔记本电脑
        • NVIDIA RTX 桌面工作站
        • 专业笔记本电脑中的 NVIDIA RTX
        • NVIDIA RTX 数据科学工作站
        • Studio 设计本
      • 云和数据中心
        • 概览
        • Grace CPU
        • DGX 系统
        • NVIDIA OVX
        • EGX 平台
        • IGX 平台
        • HGX 平台
        • DRIVE Constellation
      • 网络
        • 概览
        • DPU
        • 以太网
        • InfiniBand
      • GPU
        • GeForce
        • NVIDIA RTX / Quadro
        • 数据中心
        • Titan RTX
      • 嵌入式系统
        • Jetson
        • DRIVE AGX
        • Clara AGX
    • 软件
      • 应用框架
        • 元宇宙应用 – Omniverse
        • 汽车 - DRIVE
        • 云端 AI 视频流 - Maxine
        • 语音 AI - Riva
        • 数据分析 - RAPIDS
        • 医疗健康 - Clara
        • 高性能计算
        • 智能视频分析 - Metropolis
        • 推荐系统 - Merlin
        • 机器人 - Isaac
        • 电信 - Aerial
      • 应用和工具
        • 应用目录
        • NGC 目录
        • NVIDIA NGC
        • 3D 工作流 – Omniverse
        • 数据中心
        • GPU 监控
        • NVIDIA RTX Experience
        • NVIDIA RTX 桌面管理器
        • RTX 加速的创意应用程序
        • 视频会议
        • NVIDIA 工作台
      • 游戏和创作
        • GeForce Experience
        • NVIDIA Broadcast App
        • 动画 – Machinima
        • Modding - RTX Remix
      • 基础架构
        • AI Enterprise 套件
        • 云原生支持
        • 集群管理
        • 边缘部署管理
        • 推理服务
        • IO 加速
        • 软件
        • 虚拟 GPU
      • 云服务
        • 元宇宙 – Omniverse
  • 解决方案
    • AI 和数据科学
      • 概览
      • 数据分析
      • 机器学习
      • 深度学习训练
      • 深度学习推理
      • 对话式 AI
      • 预测与预报
      • 语音 AI
      • 大型语言模型
      • 实操实验
    • 数据中心和云计算
      • 概览
      • 面向企业 IT 的加速计算
      • 云计算
      • 托管
      • 边缘计算
      • 网络
      • 虚拟化
      • MLOps
      • 实操实验
    • 设计和仿真
      • 概览
      • 增强现实和虚拟现实
      • 多显示器
      • 渲染
      • 开发者大会
      • 图像虚拟化
      • 工程模拟
      • 直播
      • 实操实验
    • 机器人开发和边缘计算
      • 概览
      • AI-on-5G
      • 智能视频分析
      • 工业
      • 机器人
      • 边缘部署管理
      • 边缘解决方案
      • 实操实验
    • 高性能计算
      • 概览
      • 高性能计算和 AI
      • 仿真与建模
      • 科学可视化
      • 实操实验
    • 自动驾驶汽车
      • 概览
      • Chauffeur
      • Concierge
      • 训练
      • 高精地图
      • 仿真
      • 自驾计程车
      • 货车运输业
      • ADAS
  • 行业
    • 行业
      • 概览
      • 建筑,工程,施工和运营
      • 消费互联网
      • 网络安全
      • 能源
      • 金融服务
      • 医疗健康和生命科学
      • 高等教育
      • 游戏开发
      • 制造业
      • 媒体和娱乐
      • 公共部门
      • 餐厅
      • 零售业和 CPG
      • 机器人
      • 智慧城市
      • 超级计算
      • 电信
      • 交通运输
  • 为您推荐
    • 创意产业 / 设计师
      • NVIDIA Studio
        • 概览
        • 加速应用
        • 产品
        • GPU 比较
      • 行业
        • 媒体和娱乐
        • 制造业
        • 建筑、工程和建造
        • 所有行业 >
      • 业务解决方案
        • 数据中心 / 云
        • 笔记本电脑 / 台式机
        • 虚拟增强 / 虚拟现实
        • 多显示器
        • 渲染
        • 元宇宙 – Omniverse
        • 图像虚拟化
        • 工程模拟
    • 数据科学家
      • 行业
        • 金融服务
        • 消费互联网
        • 医疗健康
        • 高等教育
        • 零售
        • 公共部门
        • 所有行业 >
      • 解决方案
        • 数据分析
        • 机器学习
        • 深度学习训练
        • 深度学习推理
        • 对话式 AI
        • 预测与预报
        • 大型语言模型
      • 软件
        • NGC 目录
        • NVIDIA NGC
        • RAPIDS
        • Apache Spark
        • 推理服务
        • 推荐系统 - Merlin
        • 开源软件
        • AI Enterprise 套件
        • NVIDIA 工作台
      • 产品
        • PC
        • 笔记本电脑和工作站
        • 数据中心
        • 云
      • 资源
        • 专业服务
        • 技术培训
        • 初创公司
        • AI 加速器计划
        • 内容库
        • NVIDIA Research
        • 开发者博客
        • Kaggle Grandmaster
    • 开发人员
      • 开发者资源
        • 加入开发者计划
        • NGC 目录
        • NVIDIA NGC
        • 技术培训
        • 博客
        • NVIDIA GPU 技术大会
        • 初创公司
        • 社区研讨会
        • 开发者网站首页 >
      • 应用框架
        • 元宇宙 – Omniverse
        • 汽车 - DRIVE
        • 云端 AI 视频流 - Maxine
        • 语音 AI - Riva
        • 数据分析 - RAPIDS
        • 医疗健康 - Clara
        • 高性能计算
        • 智能视频分析 - Metropolis
        • 推荐系统 - Merlin
        • 机器人 - Isaac
        • 电信 - Aerial
      • 常用 SDK 和函数库
        • 并行程序开发 - CUDA 工具箱
        • 边缘 AI 应用程序 - Jetpack
        • BlueField 边缘数据处理 - DOCA
        • 加速函数库 - CUDA-X 函数库
        • 深度学习推理 - TensorRT
        • 深度学习训练 - cuDNN
        • 深度学习框架
        • 对话式 AI - NeMo
        • 智能视频分析 - DeepStream
        • NVIDIA Unreal Engine 4
        • 光线追踪 - RTX
        • 视频解码/编码
    • 玩家
      • GeForce
        • GeForce 显卡
        • 游戏笔记本电脑
        • G-SYNC 显示器
        • RTX 游戏
        • GeForce Experience
        • GeForce 驱动程序
        • 论坛
        • 支持
    • IT 专业人士
      • 解决方案
        • 数据中心(本地)
        • 边缘计算
        • 云计算
        • 网络
        • 虚拟化
        • 企业 IT 解决方案
      • 软件
        • AI Enterprise 套件
        • 云原生支持
        • 集群管理
        • 边缘部署管理
        • 推理服务
        • IO 加速
        • 网络
        • 虚拟 GPU
      • 应用和工具
        • 数据中心
        • GPU 监控
        • NVIDIA RTX Experience
        • NVIDIA RTX 桌面管理器
      • 资源
        • 数据中心和 IT 资源
        • 技术培训和认证
        • 企业支持
        • 驱动程序
        • 安全
        • 产品文档
        • 论坛
        • 论坛(中国)
    • 研究人员
        • NVIDIA Research 首页
        • 研究领域
        • AI Playground
        • 抗疫研究
        • NGC 目录
        • 技术培训
        • 初创公司
        • 新闻
        • 开发者博客
        • 开源软件
        • Cambridge-1 超级计算机
        • 3D 深度学习研究
    • 机器人专家
      • 产品
        • AI 训练 - DGX
        • 边缘计算 - EGX
        • 嵌入式计算 - Jetson
      • 软件
        • 机器人 - Isaac SDK
        • 模拟 - Issac Sim
        • TAO 工具包
        • 视觉 AI - DeepStream SDK
        • 边缘部署管理
        • 合成数据生成 – Replicator
      • 使用案例
        • 医疗健康
        • 制造业
        • 公共部门
        • 零售
        • 机器人
        • 更多 >
      • 资源
        • NVIDIA 博客
        • 机器人研究
        • 开发者博客
        • 技术培训
        • 初创公司
    • 初创公司
    • 技术培训
    • 社区研讨会
    • 驱动程序
    • 支持
深度学习培训中心
在线自主培训
讲师指导的培训班
教师免费资源
企业解决方案
更多资源
  • 在线自主培训
  • 讲师指导的培训班
  • 教师免费资源
  • 企业解决方案
  • 更多资源
  • 在线自主培训
  • 讲师指导的培训班
  • 教师免费资源
  • 企业解决方案
  • 更多资源

 讲师指导的培训班
数据并行 —— 用多 GPU 训练神经网络

报名 AI 培训班
咨询和购买企业专属培训

现代“深度学习”正面临的数据集规模和模型复杂程度不断增加的挑战。因此,要想卓有成效且高效地训练模型,需要有强大的计算能力。学习在深度学习模型训练期间在多个 GPU 之间分配数据,使得更多基于深度学习应用开发成为可能。

此外,有效使用配备多个 GPU 的系统可缩短训练时间,从而加快应用开发速度并进一步缩短迭代周期。能够使用多个 GPU 执行训练的团队将具有更大的优势,可以在更短的时间内构建基于更多数据进行训练的模型,大幅提高工程师的工作效率。

此课程将为您讲解如何应用各种技术在多 GPU 上进行数据并行的深度学习训练,以缩短数据密集型应用所需的训练时间。通过使用深度学习工具、框架和工作流来运作神经网络训练,您将学习如何通过将数据分配到多个 GPU 来缩短模型训练时间,同时保持单个 GPU 上的训练准确性。

 

学习目标

 

完成本课程后,您将能够:
  • 了解如何运用多个 GPU 进行数据并行深度学习训练
  • 在训练时实现更大吞吐量,以充分利用多个 GPU
  • 使用 Pytorch 分布式数据并行将训练分发到多个 GPU
  • 了解并运用关于多 GPU 训练性能和准确性的算法的注意事项

下载课程大纲 (PDF 294 KB)

课程大纲

议题 说明
课程介绍
(15 分钟)
  • 讲师介绍
  • 登录 DLI 学习平台
随机梯度下降和批量大小的影响
(120 分钟)
学习在多个 GPU 上进行训练时,随机梯度下降的重要性
  • 了解单一线程顺序数据处理的问题,以及通过并行处理加速应用的原理
  • 理解损失函数、梯度下降和随机梯度下降 (SGD)
  • 了解批量大小对准确性和训练时间的影响,并着眼于其对多 GPU 系统的运用
休息(60 分钟)
使用 PyTorch 分布式数据并行 (DDP) 在多个 GPU 上进行训练
(120 分钟)
学习使用 PyTorch 分布式数据并行将单个 GPU 上的训练转换到多个 GPU
  • 学习 DDP 如何协调在多个 GPU 之间的训练
  • 重构单 GPU 训练的程序,以便使用 DDP 在多个 GPU 上运行
休息(15 分钟)
在扩展到多个 GPU 时保持模型准确性
(90 分钟)
理解并应用关键算法考虑因素,以在多个 GPU 上训练时保持准确性
  • 了解在多个 GPU 上并行训练时,哪些情况可能会导致准确性降低
  • 学习将训练扩展到多个 GPU 时保持准确性的技巧
评估测试
(30 分钟)
运用课上所学,完成本课程的测验题目,以获得培训证书
总结
(15 分钟)
  • 回顾今日所学
  • 填写反馈表
下一步 学习更多 DLI 相关课程:
  • 模型并行 —— 构建和部署大型神经网络
 

培训详情

课程时长:8 小时,课后 6 个月内可以继续使用课件和实验

课程模式:讲师实时授课,每位学员可使用云端完全配置的 GPU 加速工作站实验练习

价格:

  • AI 培训班:每人 3500 元(提供发票)
  • 企业专属培训:联系我们,微信添加 NVIDIALearn

预备知识:

  • 使用 Python 进行深度学习训练的经验

技术:PyTorch、PyTorch 分布式数据并行、NCCL

课程测评问题类型:基于技能的编码测试,评估学员在多个 GPU 上训练深度学习模型的能力

培训证书: 成功完成本课程和测试后,学员将获得 NVIDIA DLI 培训证书,证明在相关领域的能力,为职业发展提供证明

学习此课程的硬件要求:您需要一台笔记本电脑或台式机,且能够运行最新版 Chrome 或 Firefox 浏览器。我们为您提供在云端完全配置的 GPU 加速工作站的专用访问权限

课程语言:中文

即将举行的公开培训

模型并行 —— 构建和部署大型神经网络
2022 年 11 月 17 日(星期四)凌晨 1:00 至上午 9:00(北京时间)

加速计算基础知识 – CUDA C/C++
2023 年 1 月 12 日(星期四)凌晨 1:00 至上午 9:00(北京时间)

用于工业检测的计算机视觉
2023 年 1 月 19 日(星期四)凌晨 1:00 至上午 9:00(北京时间)

立即注册

学习更多 DLI 课程

基础知识
新内容

模型并行 —— 构建和部署大型神经网络

8 学时 | 中文 | 收费培训 | PyTorch, Megatron-LM, DeepSpeed, Slurm, Triton Inference Server, NVIDIA Nsight™

 有培训证书

基础知识

构建基于 Transformer 的自然语言处理应用

8 学时 | 中文 | 收费培训 | PyTorch, Pandas, NVIDIA NeMo ™, NVIDIA Triton ™ 推理服务器

 有培训证书

基础知识

构建智能推荐系统

8 学时 | 中文 | 收费培训 | CuDF, CuPy, TensorFlow 2, NVIDIA Triton 推理服务器

 有培训证书

如果您的企业希望获取或提升在 AI、加速数据科学或加速计算方面的核心技能,NVIDIA DLI 有讲师指导的培训将是您的信心之选。

请求参加培训

如果您的企业希望获取或提升在 AI、加速数据科学或加速计算方面的核心技能,NVIDIA DLI 有讲师指导的培训将是您的信心之选。

咨询企业专属培训

遇到问题?

如有深度学习培训疑问请联系我们

  1. Section
  • Section

可选

阅读常见问题解答

查看公开课常见问题解答

NVIDIA 深度学习培训中心 (DLI) 服务

咨询 NVIDIA DLI 培训。

NVIDIA 开发者论坛

关于技术问题,请访问 NVIDIA 开发者论坛

NVIDIA DLI 培训证书

NVIDIA 深度学习培训中心 (DLI) 培训证书可以证明在相关领域的能力,助力您的职业发展。部分在线自主培训和全部讲师指导的培训班课程,提供此证书。

在 LinkedIn 上张贴 DLI 证书,可以突显您的新技能。这样做有机会增加对招聘者的吸引力,从而推动您的职业生涯发展。参考这里的操作步骤来更新您的简历,将证书添加到“证书”一项中。

DLI 培训方案
  • 在线自主培训
  • 讲师指导的培训班
  • 教师免费资源
  • 企业解决方案
产品
  • NVIDIA DGX 系统
  • DGX A100
  • DGX Station
  • EGX 平台
  • 数据中心 GPU
  • 虚拟 GPU
  • 自动驾驶
  • NVIDIA Isaac
  • Jetson
  • GeForce RTX
技术
  • CUDA-X AI
  • NGC 目录
  • 数据分析
  • 深度学习 SDKs
  • 深度学习框架
  • 会话式 AI
  • 推荐系统
  • 行业框架
资源
  • 技术资源
  • NVIDIA 开发者
  • NVIDIA Research
  • GTC 大会
  • 人才招聘
  • 新闻中心
  • 深度学习博客
  • NVIDIA On-Demand
Follow NVIDIA
Facebook Twitter LinkedIn Instagram YouTube
NVIDIA
中国
  • 隐私声明
  • 管理我的隐私
  • 法律事宜
  • 无障碍访问
  • 产品安全性
  • 联系我们
Copyright © 2023 NVIDIA Corporation