NVIDIA Home NVIDIA Home Menu Menu icon Menu Menu icon Close Close icon Close Close icon Close Close icon Caret down icon Accordion is closed, click to open. Caret down icon Accordion is closed, click to open. Caret up icon Accordion is open, click to close. Caret right icon Click to expand Caret right icon Click to expand Caret right icon Click to expand menu. Caret left icon Click to collapse menu. Caret left icon Click to collapse menu. Caret left icon Click to collapse menu. Shopping Cart Click to see cart items Search icon Click to search
Skip to main content
NVIDIA 引领人工智能计算
    • 游戏和娱乐
      • GeForce 显卡
      • 游戏笔记本电脑
      • G-SYNC 显示器
    • 笔记本电脑和工作站
      • 游戏笔记本电脑
      • NVIDIA RTX 桌面工作站
      • 专业笔记本电脑中的 NVIDIA RTX
      • NVIDIA RTX 数据科学工作站
      • Studio 设计本
    • 云和数据中心
      • 概览
      • Grace CPU
      • DGX 系统
      • NVIDIA OVX
      • EGX 平台
      • IGX 平台
      • HGX 平台
      • DRIVE Constellation
    • 网络
      • 概览
      • DPU
      • 以太网
      • InfiniBand
    • GPU
      • GeForce
      • NVIDIA RTX / Quadro
      • 数据中心
      • Titan RTX
    • 嵌入式系统
      • Jetson
      • DRIVE AGX
      • Clara AGX
    • 应用框架
      • 元宇宙应用 – Omniverse
      • 汽车 - DRIVE
      • 云端 AI 视频流 - Maxine
      • 语音 AI - Riva
      • 数据分析 - RAPIDS
      • 医疗健康 - Clara
      • 高性能计算
      • 智能视频分析 - Metropolis
      • 推荐系统 - Merlin
      • 机器人 - Isaac
      • 电信 - Aerial
    • 应用和工具
      • 应用目录
      • NGC 目录
      • NVIDIA NGC
      • 3D 工作流 – Omniverse
      • 数据中心
      • GPU 监控
      • NVIDIA RTX Experience
      • NVIDIA RTX 桌面管理器
      • RTX 加速的创意应用程序
      • 视频会议
      • NVIDIA 工作台
    • 游戏和创作
      • GeForce Experience
      • NVIDIA Broadcast App
      • 动画 – Machinima
      • Modding - RTX Remix
    • 基础架构
      • AI Enterprise 套件
      • 云原生支持
      • 集群管理
      • 边缘部署管理
      • 推理服务
      • IO 加速
      • 软件
      • 虚拟 GPU
    • 云服务
      • 元宇宙 – Omniverse
    • AI 和数据科学
      • 概览
      • 数据分析
      • 机器学习
      • 深度学习训练
      • 深度学习推理
      • 对话式 AI
      • 预测与预报
      • 语音 AI
      • 大型语言模型
      • 实操实验
    • 数据中心和云计算
      • 概览
      • 面向企业 IT 的加速计算
      • 云计算
      • 托管
      • 边缘计算
      • 网络
      • 虚拟化
      • MLOps
      • 实操实验
    • 设计和仿真
      • 概览
      • 增强现实和虚拟现实
      • 多显示器
      • 渲染
      • 开发者大会
      • 图像虚拟化
      • 工程模拟
      • 直播
      • 实操实验
    • 机器人开发和边缘计算
      • 概览
      • AI-on-5G
      • 智能视频分析
      • 工业
      • 机器人
      • 边缘部署管理
      • 边缘解决方案
      • 实操实验
    • 高性能计算
      • 概览
      • 高性能计算和 AI
      • 仿真与建模
      • 科学可视化
      • 实操实验
    • 自动驾驶汽车
      • 概览
      • Chauffeur
      • Concierge
      • 训练
      • 高精地图
      • 仿真
      • 自驾计程车
      • 货车运输业
      • ADAS
    • 行业
      • 概览
      • 建筑,工程,施工和运营
      • 消费互联网
      • 网络安全
      • 能源
      • 金融服务
      • 医疗健康和生命科学
      • 高等教育
      • 游戏开发
      • 制造业
      • 媒体和娱乐
      • 公共部门
      • 餐厅
      • 零售业和 CPG
      • 机器人
      • 智慧城市
      • 超级计算
      • 电信
      • 交通运输
    • 初创公司
    • 技术培训
    • 社区研讨会
    • NVIDIA Studio
      • 概览
      • 加速应用
      • 产品
      • GPU 比较
    • 行业
      • 媒体和娱乐
      • 制造业
      • 建筑、工程和建造
      • 所有行业 >
    • 业务解决方案
      • 数据中心 / 云
      • 笔记本电脑 / 台式机
      • 虚拟增强 / 虚拟现实
      • 多显示器
      • 渲染
      • 元宇宙 – Omniverse
      • 图像虚拟化
      • 工程模拟
    • 行业
      • 金融服务
      • 消费互联网
      • 医疗健康
      • 高等教育
      • 零售
      • 公共部门
      • 所有行业 >
    • 解决方案
      • 数据分析
      • 机器学习
      • 深度学习训练
      • 深度学习推理
      • 对话式 AI
      • 预测与预报
      • 大型语言模型
    • 软件
      • NGC 目录
      • NVIDIA NGC
      • RAPIDS
      • Apache Spark
      • 推理服务
      • 推荐系统 - Merlin
      • 开源软件
      • AI Enterprise 套件
      • NVIDIA 工作台
    • 产品
      • PC
      • 笔记本电脑和工作站
      • 数据中心
      • 云
    • 资源
      • 专业服务
      • 技术培训
      • 初创公司
      • AI 加速器计划
      • 内容库
      • NVIDIA Research
      • 开发者博客
      • Kaggle Grandmaster
    • 开发者资源
      • 加入开发者计划
      • NGC 目录
      • NVIDIA NGC
      • 技术培训
      • 博客
      • NVIDIA GPU 技术大会
      • 初创公司
      • 社区研讨会
      • 开发者网站首页 >
    • 应用框架
      • 元宇宙 – Omniverse
      • 汽车 - DRIVE
      • 云端 AI 视频流 - Maxine
      • 语音 AI - Riva
      • 数据分析 - RAPIDS
      • 医疗健康 - Clara
      • 高性能计算
      • 智能视频分析 - Metropolis
      • 推荐系统 - Merlin
      • 机器人 - Isaac
      • 电信 - Aerial
    • 常用 SDK 和函数库
      • 并行程序开发 - CUDA 工具箱
      • 边缘 AI 应用程序 - Jetpack
      • BlueField 边缘数据处理 - DOCA
      • 加速函数库 - CUDA-X 函数库
      • 深度学习推理 - TensorRT
      • 深度学习训练 - cuDNN
      • 深度学习框架
      • 对话式 AI - NeMo
      • 智能视频分析 - DeepStream
      • NVIDIA Unreal Engine 4
      • 光线追踪 - RTX
      • 视频解码/编码
    • GeForce
      • GeForce 显卡
      • 游戏笔记本电脑
      • G-SYNC 显示器
      • RTX 游戏
      • GeForce Experience
      • GeForce 驱动程序
      • 论坛
      • 支持
    • 解决方案
      • 数据中心(本地)
      • 边缘计算
      • 云计算
      • 网络
      • 虚拟化
      • 企业 IT 解决方案
    • 软件
      • AI Enterprise 套件
      • 云原生支持
      • 集群管理
      • 边缘部署管理
      • 推理服务
      • IO 加速
      • 网络
      • 虚拟 GPU
    • 应用和工具
      • 数据中心
      • GPU 监控
      • NVIDIA RTX Experience
      • NVIDIA RTX 桌面管理器
    • 资源
      • 数据中心和 IT 资源
      • 技术培训和认证
      • 企业支持
      • 驱动程序
      • 安全
      • 产品文档
      • 论坛
      • 论坛(中国)
      • NVIDIA Research 首页
      • 研究领域
      • AI Playground
      • 抗疫研究
      • NGC 目录
      • 技术培训
      • 初创公司
      • 新闻
      • 开发者博客
      • 开源软件
      • Cambridge-1 超级计算机
      • 3D 深度学习研究
    • 产品
      • AI 训练 - DGX
      • 边缘计算 - EGX
      • 嵌入式计算 - Jetson
    • 软件
      • 机器人 - Isaac SDK
      • 模拟 - Issac Sim
      • TAO 工具包
      • 视觉 AI - DeepStream SDK
      • 边缘部署管理
      • 合成数据生成 – Replicator
    • 使用案例
      • 医疗健康
      • 制造业
      • 公共部门
      • 零售
      • 机器人
      • 更多 >
    • 资源
      • NVIDIA 博客
      • 机器人研究
      • 开发者博客
      • 技术培训
      • 初创公司
  • 驱动程序
  • 支持
  • 登录 登出
Skip to main content
  • 0
    Cart
  • Login LogOut
NVIDIA NVIDIA logo
  • 产品
    • 硬件
      • 游戏和娱乐
        • GeForce 显卡
        • 游戏笔记本电脑
        • G-SYNC 显示器
      • 笔记本电脑和工作站
        • 游戏笔记本电脑
        • NVIDIA RTX 桌面工作站
        • 专业笔记本电脑中的 NVIDIA RTX
        • NVIDIA RTX 数据科学工作站
        • Studio 设计本
      • 云和数据中心
        • 概览
        • Grace CPU
        • DGX 系统
        • NVIDIA OVX
        • EGX 平台
        • IGX 平台
        • HGX 平台
        • DRIVE Constellation
      • 网络
        • 概览
        • DPU
        • 以太网
        • InfiniBand
      • GPU
        • GeForce
        • NVIDIA RTX / Quadro
        • 数据中心
        • Titan RTX
      • 嵌入式系统
        • Jetson
        • DRIVE AGX
        • Clara AGX
    • 软件
      • 应用框架
        • 元宇宙应用 – Omniverse
        • 汽车 - DRIVE
        • 云端 AI 视频流 - Maxine
        • 语音 AI - Riva
        • 数据分析 - RAPIDS
        • 医疗健康 - Clara
        • 高性能计算
        • 智能视频分析 - Metropolis
        • 推荐系统 - Merlin
        • 机器人 - Isaac
        • 电信 - Aerial
      • 应用和工具
        • 应用目录
        • NGC 目录
        • NVIDIA NGC
        • 3D 工作流 – Omniverse
        • 数据中心
        • GPU 监控
        • NVIDIA RTX Experience
        • NVIDIA RTX 桌面管理器
        • RTX 加速的创意应用程序
        • 视频会议
        • NVIDIA 工作台
      • 游戏和创作
        • GeForce Experience
        • NVIDIA Broadcast App
        • 动画 – Machinima
        • Modding - RTX Remix
      • 基础架构
        • AI Enterprise 套件
        • 云原生支持
        • 集群管理
        • 边缘部署管理
        • 推理服务
        • IO 加速
        • 软件
        • 虚拟 GPU
      • 云服务
        • 元宇宙 – Omniverse
  • 解决方案
    • AI 和数据科学
      • 概览
      • 数据分析
      • 机器学习
      • 深度学习训练
      • 深度学习推理
      • 对话式 AI
      • 预测与预报
      • 语音 AI
      • 大型语言模型
      • 实操实验
    • 数据中心和云计算
      • 概览
      • 面向企业 IT 的加速计算
      • 云计算
      • 托管
      • 边缘计算
      • 网络
      • 虚拟化
      • MLOps
      • 实操实验
    • 设计和仿真
      • 概览
      • 增强现实和虚拟现实
      • 多显示器
      • 渲染
      • 开发者大会
      • 图像虚拟化
      • 工程模拟
      • 直播
      • 实操实验
    • 机器人开发和边缘计算
      • 概览
      • AI-on-5G
      • 智能视频分析
      • 工业
      • 机器人
      • 边缘部署管理
      • 边缘解决方案
      • 实操实验
    • 高性能计算
      • 概览
      • 高性能计算和 AI
      • 仿真与建模
      • 科学可视化
      • 实操实验
    • 自动驾驶汽车
      • 概览
      • Chauffeur
      • Concierge
      • 训练
      • 高精地图
      • 仿真
      • 自驾计程车
      • 货车运输业
      • ADAS
  • 行业
    • 行业
      • 概览
      • 建筑,工程,施工和运营
      • 消费互联网
      • 网络安全
      • 能源
      • 金融服务
      • 医疗健康和生命科学
      • 高等教育
      • 游戏开发
      • 制造业
      • 媒体和娱乐
      • 公共部门
      • 餐厅
      • 零售业和 CPG
      • 机器人
      • 智慧城市
      • 超级计算
      • 电信
      • 交通运输
  • 为您推荐
    • 创意产业 / 设计师
      • NVIDIA Studio
        • 概览
        • 加速应用
        • 产品
        • GPU 比较
      • 行业
        • 媒体和娱乐
        • 制造业
        • 建筑、工程和建造
        • 所有行业 >
      • 业务解决方案
        • 数据中心 / 云
        • 笔记本电脑 / 台式机
        • 虚拟增强 / 虚拟现实
        • 多显示器
        • 渲染
        • 元宇宙 – Omniverse
        • 图像虚拟化
        • 工程模拟
    • 数据科学家
      • 行业
        • 金融服务
        • 消费互联网
        • 医疗健康
        • 高等教育
        • 零售
        • 公共部门
        • 所有行业 >
      • 解决方案
        • 数据分析
        • 机器学习
        • 深度学习训练
        • 深度学习推理
        • 对话式 AI
        • 预测与预报
        • 大型语言模型
      • 软件
        • NGC 目录
        • NVIDIA NGC
        • RAPIDS
        • Apache Spark
        • 推理服务
        • 推荐系统 - Merlin
        • 开源软件
        • AI Enterprise 套件
        • NVIDIA 工作台
      • 产品
        • PC
        • 笔记本电脑和工作站
        • 数据中心
        • 云
      • 资源
        • 专业服务
        • 技术培训
        • 初创公司
        • AI 加速器计划
        • 内容库
        • NVIDIA Research
        • 开发者博客
        • Kaggle Grandmaster
    • 开发人员
      • 开发者资源
        • 加入开发者计划
        • NGC 目录
        • NVIDIA NGC
        • 技术培训
        • 博客
        • NVIDIA GPU 技术大会
        • 初创公司
        • 社区研讨会
        • 开发者网站首页 >
      • 应用框架
        • 元宇宙 – Omniverse
        • 汽车 - DRIVE
        • 云端 AI 视频流 - Maxine
        • 语音 AI - Riva
        • 数据分析 - RAPIDS
        • 医疗健康 - Clara
        • 高性能计算
        • 智能视频分析 - Metropolis
        • 推荐系统 - Merlin
        • 机器人 - Isaac
        • 电信 - Aerial
      • 常用 SDK 和函数库
        • 并行程序开发 - CUDA 工具箱
        • 边缘 AI 应用程序 - Jetpack
        • BlueField 边缘数据处理 - DOCA
        • 加速函数库 - CUDA-X 函数库
        • 深度学习推理 - TensorRT
        • 深度学习训练 - cuDNN
        • 深度学习框架
        • 对话式 AI - NeMo
        • 智能视频分析 - DeepStream
        • NVIDIA Unreal Engine 4
        • 光线追踪 - RTX
        • 视频解码/编码
    • 玩家
      • GeForce
        • GeForce 显卡
        • 游戏笔记本电脑
        • G-SYNC 显示器
        • RTX 游戏
        • GeForce Experience
        • GeForce 驱动程序
        • 论坛
        • 支持
    • IT 专业人士
      • 解决方案
        • 数据中心(本地)
        • 边缘计算
        • 云计算
        • 网络
        • 虚拟化
        • 企业 IT 解决方案
      • 软件
        • AI Enterprise 套件
        • 云原生支持
        • 集群管理
        • 边缘部署管理
        • 推理服务
        • IO 加速
        • 网络
        • 虚拟 GPU
      • 应用和工具
        • 数据中心
        • GPU 监控
        • NVIDIA RTX Experience
        • NVIDIA RTX 桌面管理器
      • 资源
        • 数据中心和 IT 资源
        • 技术培训和认证
        • 企业支持
        • 驱动程序
        • 安全
        • 产品文档
        • 论坛
        • 论坛(中国)
    • 研究人员
        • NVIDIA Research 首页
        • 研究领域
        • AI Playground
        • 抗疫研究
        • NGC 目录
        • 技术培训
        • 初创公司
        • 新闻
        • 开发者博客
        • 开源软件
        • Cambridge-1 超级计算机
        • 3D 深度学习研究
    • 机器人专家
      • 产品
        • AI 训练 - DGX
        • 边缘计算 - EGX
        • 嵌入式计算 - Jetson
      • 软件
        • 机器人 - Isaac SDK
        • 模拟 - Issac Sim
        • TAO 工具包
        • 视觉 AI - DeepStream SDK
        • 边缘部署管理
        • 合成数据生成 – Replicator
      • 使用案例
        • 医疗健康
        • 制造业
        • 公共部门
        • 零售
        • 机器人
        • 更多 >
      • 资源
        • NVIDIA 博客
        • 机器人研究
        • 开发者博客
        • 技术培训
        • 初创公司
    • 初创公司
    • 技术培训
    • 社区研讨会
    • 驱动程序
    • 支持
深度学习培训中心
在线自主培训
讲师指导的培训班
教师免费资源
企业解决方案
更多资源
  • 在线自主培训
  • 讲师指导的培训班
  • 教师免费资源
  • 企业解决方案
  • 更多资源
  • 在线自主培训
  • 讲师指导的培训班
  • 教师免费资源
  • 企业解决方案
  • 更多资源

 讲师指导的培训班 
模型并行 —— 构建和部署大型神经网络

报名 AI 培训班
咨询和购买企业专属培训

超大型的深度神经网络 (DNN),无论是用于自然语言处理 (如 GPT-3)、计算机视觉 (如规模巨大的视觉 Transformer),还是语音 AI (如 Wave2Vec 2),都具有区别于其较小规模同类模型的特殊属性。基于海量数据集训练出来的 DNN 的规模越来越大,使得它们只需再经过少量示例训练就能够适应新任务要求,从而加快了向通用人工智能的迈进。使用庞大的数据集,训练包含数百亿到千亿参数的模型并非易事,这需要独特的方法来综合运用人工智能、高性能计算 (HPC) 和系统知识。本课程的目标就是学习如何训练超大型的神经网络并将其部署到生产中。

 

学习目标


完成本课程后,您将能够:
  • 跨多个服务器训练神经网络
  • 使用激活检查点、梯度累积和各种形式的模型并行等技术,来克服与大型模型内存占用相关的挑战
  • 捕获并了解训练性能特征以优化模型架构
  • 使用 NVIDIA Triton™ 推理服务器将超大型多 GPU 模型部署到生产环境

下载课程大纲 (PDF 518 KB)

课程大纲

议题 说明
课程介绍(15 分钟)
  • 讲师介绍
  • 登录课件系统
  • 训练大模型(120 分钟)
  • 了解训练大型模型的需求和主要挑战
  • 了解训练大规模所需的基本技术和工具
  • 了解分布式训练和 Slurm 作业调度程序
  • 使用数据并行训练基于 Megatron-LM 的 GPT 模型
  • 分析训练过程并理解执行的性能
  • 休息(60 分钟)
    模型并行高级技能(120 分钟)
  • 使用一系列节省内存的技术来增加模型规模
  • 了解 tensor 和并行工作流
  • 超越自然语言处理,了解 DeepSpeed
  • 自动调整模型性能
  • 了解混合专家(MoE)模型
  • 休息(15 分钟)
    大模型推理(120 分钟)
  • 理解与大型模型相关的部署挑战
  • 探索模型缩减技术
  • 学习使用 NVIDIA® TensorRT™ 和 Faster Transformer 库
  • 学习使用 Triton 推理服务器
  • 理解将 GPT 检查点部署到生产环境的过程
  • 查看提示工程的示例
  • 总结(30 分钟)
  • 回顾今日所学
  • 完成评估测试和获取证书
  • 填写反馈表
  • 了解如何设置您自己的 AI 应用开发环境
  • 下一步 继续学习更多 DLI 课程:
  • 《深度学习基础 —— 用多 GPU 训练神经网络》
  • 《构建基于 Transformer 的自然语言处理应用》
  •  

    培训详情

    课程时长:8 小时,课后 6 个月内可以继续使用课件和实验

    课程模式:讲师实时授课,每位学员可使用云端完全配置的 GPU 加速工作站实验练习

    价格:

    • AI 培训班:每人 3500 元(提供发票)
    • 企业专属培训:联系我们,微信添加 NVIDIALearn 

    预备知识:

    • 熟悉 PyTorch
    • 熟悉深度学习和数据并行训练概念
    • 先学习过《深度学习基础 —— 用多 GPU 训练神经网络》和《构建基于 Transformer 的自然语言处理应用》课程会很有帮助(可选)

    技术:PyTorch, Megatron-LM, DeepSpeed, Slurm, Triton Inference Server, NVIDIA Nsight™

    课程测评问题类型:

    • 回答与课程内容相关的一系列问题
    • 完成一个编程练习:要求将独立的 DNN 训练程序迁移到 DeepSpeed,将其执行分布到集群当中,并引入内存节省技术,这将允许进行有效的大规模训练。

    培训证书:成功完成本课程和测试后,将获得 NVIDIA DLI 培训证书,证明在相关领域的能力,为职业发展提供证明

    学习此课程的硬件要求:您需要一台笔记本电脑或台式机,且能够运行最新版 Chrome 或 Firefox 浏览器。我们为您提供在云端完全配置的 GPU 加速工作站的专用访问权限。

    课程语言:中文

    学习更多 DLI 课程

    通用基础

    深度学习基础——理论与实践入门

    8 学时 | 中文 | 收费培训 | Tensorflow 2 with Keras, Pandas

     有培训证书

    通用基础
     

    构建基于 Transformer 的自然语言处理应用

    8 学时 | 中文 | 收费培训 | PyTorch, Pandas, NVIDIA NeMo ™, NVIDIA Triton ™ 推理服务器

     有培训证书

    通用基础
     

    深度学习基础——用多 GPU 训练神经网络

    8 学时 | 中文 | 收费培训 | Tensorflow, Keras, Horovod

     有培训证书

    如果您的企业希望获取或提升在 AI、加速数据科学或加速计算方面的核心技能,NVIDIA DLI 有讲师指导的培训将是您的信心之选。

    咨询企业专属培训

    遇到问题 ?

    如有深度学习培训疑问请联系我们

    1. Section
    • Section

    可选

    Read our FAQs

    查看公开课常见问题解答

    NVIDIA Deep Learning institute services

    咨询 NVIDIA DLI 培训。

    NVIDIA Developer Forums

    关于技术问题,请访问 NVIDIA 开发者论坛

    NVIDIA DLI 培训证书

    NVIDIA 深度学习培训中心 (DLI) 培训证书可以证明在相关领域的能力,助力您的职业发展。部分在线自主培训和全部讲师指导的培训班课程,提供此证书。

    在 LinkedIn 上张贴 DLI 证书,可以突显您的新技能。这样做有机会增加对招聘者的吸引力,从而推动您的职业生涯发展。参考这里的操作步骤来更新您的简历,将证书添加到“证书”一项中。

    DLI 培训方案
    • 在线自主培训
    • 讲师指导的培训班
    • 教师免费资源
    • 企业解决方案
    产品
    • NVIDIA DGX 系统
    • DGX A100
    • DGX Station
    • EGX 平台
    • 数据中心 GPU
    • 虚拟 GPU
    • 自动驾驶
    • NVIDIA Isaac
    • Jetson
    • GeForce RTX
    技术
    • CUDA-X AI
    • NGC 目录
    • 数据分析
    • 深度学习 SDKs
    • 深度学习框架
    • 会话式 AI
    • 推荐系统
    • 行业框架
    资源
    • 技术资源
    • NVIDIA 开发者
    • NVIDIA Research
    • GTC 大会
    • 人才招聘
    • 新闻中心
    • 深度学习博客
    • NVIDIA On-Demand
    Follow NVIDIA
    Facebook Twitter LinkedIn Instagram YouTube
    NVIDIA
    中国
    • 隐私声明
    • 管理我的隐私
    • 法律事宜
    • 无障碍访问
    • 产品安全性
    • 联系我们
    Copyright © 2023 NVIDIA Corporation