Video Player is loading.
Current Time 0:00
Duration 0:00
Loaded: 0%
Stream Type LIVE
Remaining Time 0:00
 
1x
    • Chapters
    • descriptions off, selected
    • subtitles off, selected
      • Quality

      TorchAcc:基于 TorchXLA 的分布式训练框架

      , 阿里云研究员,阿里云人工智能平台 PAI 技术负责人, 阿里云
      TorchAccelerator (简称 TorchAcc)是一个分布式训练加速框架,它能在 PyTorch 上将动态执行转化为基于图的中间表示。通过编译优化和手动算子优化,TorchAcc 可以有效加速 PyTorch 上的模型训练任务,并结合 NVIDIA CUTLASS 等计算库实现模型训练过程中 GPU 计算资源的高效利用。本次演讲将介绍围绕 TorchAcc 的工作内容,包括分布式策略、内存优化、运行时优化以及网络优化。
      活动: GTC 24
      日期: March 2024
      行业: 所有行业
      NVIDIA 技术: Cloud / Data Center GPU,CUDA,HGX
      级别: 中级技术
      话题: Training AI Models
      语言: 简体中文
      所在地: