现代“深度学习”正面临的数据集规模和模型复杂程度不断增加的挑战。因此，要想卓有成效且高效地训练模型，需要有强大的计算能力。学习在深度学习模型训练期间在多个 GPU 之间分配数据，使得更多基于深度学习应用开发成为可能。
此外，有效使用配备多个 GPU 的系统可缩短训练时间，从而加快应用开发速度并进一步缩短迭代周期。能够使用多个 GPU 执行训练的团队将具有更大的优势，可以在更短的时间内构建基于更多数据进行训练的模型，大幅提高工程师的工作效率。
此课程将为您讲解如何应用各种技术在多 GPU 上进行数据并行的深度学习训练，以缩短数据密集型应用所需的训练时间。通过使用深度学习工具、框架和工作流来运作神经网络训练，您将学习如何通过将数据分配到多个 GPU 来缩短模型训练时间，同时保持单个 GPU 上的训练准确性。
学习目标
完成本课程后，您将能够：
- 了解如何运用多个 GPU 进行数据并行深度学习训练
- 在训练时实现更大吞吐量，以充分利用多个 GPU
- 使用 Pytorch 分布式数据并行将训练分发到多个 GPU
- 了解并运用关于多 GPU 训练性能和准确性的算法的注意事项
下载课程大纲 (PDF 294 KB)
