日益增大的数据集和愈发复杂的模型给深度学习带来了巨大的挑战,这就需要有足够强大的计算能力来快速有效地训练模型。

本课程教授如何在多GPU上训练深度神经网络的技能,以缩短数据密集型应用所需的训练时间。 在完全配置的云端GPU 加速工作站上,您将使用深度学习工具,框架和工作流程训练神经网络。 您将学习如何应用Horovod多GPU方法,降低编写高效的分布式软件的复杂性,并在跨多个GPU训练模型时保持模型的准确率。

 

学习目标

完成本课程后,您将能够了解:

> 并行化训练的重要工具——随机梯度下降法。

> 批量大小及其对训练时间和准确性的影响。

> 将一个单GPU应用转换为一个 Horovod 多 GPU 应用。

> 在跨多个GPU训练时保持高准确性的技术。

下载课程大纲 (PDF 73.3 KB)

课程大纲

介绍
(15 分钟)
  • 讲师介绍
  • 登录课程
随机梯度下降和 批量大小的影响
(120 分钟)
  • 了解单一线程顺序数据处理的问题,和通过并行处理加速应用原理
  • 探索损失函数、梯度下降和随机梯度下降 (SGD)
  • 学习批量大小对训练时间和准确性的影响
休息 (60 分钟)
使用Horovod多GPU训练
(120 分钟)
  • 使用Horovod在多个GPU上训练的价值
  • 使用Fashion MNIST数据集,学习将单个 GPU训练转换为 Horovod 多 GPU 实践
休息 (15 分钟)
在扩展到多个GPU时保持模型精度
(120 分钟)
  • 了解在多个GPU上并行化训练会降低精准度的原因
  • 探索将训练扩展到多个GPU时可以保持精准度的工具
总结
(15 分钟)
  • 回顾所学关键内容
  • 完成测试,获取证书
  • 填写调查表
 

培训详情

课程时长:8 学时

价格:

> 公开课:每人 3500 元(提供发票)

> 企业专属培训:联系我们,微信添加 NVIDIALearn

预备知识:

> 具有训练梯度下降模型的经验 (可参阅《深度学习》一书的第 8 章 Deep Learning Book 获取详细信息)

> 具有基础的深度学习知识(可先学习DLI课程 《深度学习基础 —— 理论与实践入门》

工具、库和框架:Tensorflow, Keras, Horovod

课程测评问题类型:基于技能的编码测试

培训证书:成功完成本课程和测试后,您将获得 NVIDIA DLI 证书,以证明您在这一主题领域的能力,助力您的职业发展。

学习此课程的硬件要求:您需要一台笔记本电脑或台式机,且能够运行最新版 Chrome 或 Firefox 浏览器。我们为您提供在云端完全配置的 GPU 加速工作站的专用访问权限。

课程语言:中文

学习更多 DLI 课程

深度学习基础——理论与实践入门

构建智能推荐系统

深度学习——工业检测

如果您的企业希望获取或提升在 AI、加速数据科学或加速计算方面的核心技能,NVIDIA DLI 有讲师指导的培训将是您的信心之选。

遇到问题 ?