Video Player is loading.
Current Time 0:00
Duration 0:00
Loaded: 0%
Stream Type LIVE
Remaining Time 0:00
 
1x
    • Chapters
    • descriptions off, selected
    • subtitles off, selected
      • Quality

      PIT:通过置换不变性优化深度学习模型的动态稀疏计算

      , 高级研究员, 微软亚洲研究院
      动态稀疏性,即在运行时才确定的稀疏模式,广泛存在于深度学习任务中但是难与优化。现有的通过预处理特定稀疏模式的方法在应对动态稀疏计算时存在很大开销。我们提出了一种名为 PIT 的针对动态稀疏计算的深度学习编译器。PIT 提出了一种新颖的平铺机制,利用了置换不变变换(Permutation Invariant Transformation),在不改变计算结果的前提下,将多种稀疏模式的 Micro-tile 拼接成可以在 GPU 上高效运行的 Dense Tile,从而实现高 GPU 利用率和低覆盖浪费。通过我们提出的 SRead 和 SWrite 原语,PIT 可以以极快的检测计算的稀疏性并快速执行。对多种模型进行的广泛评估表明,PIT 可以加速动态稀疏计算高达 5.9 倍(平均 2.43 倍) 。
      活动: GTC 24
      日期: March 2024
      话题: Accelerated Computing Libraries
      级别: 高级技术
      行业: 所有行业
      NVIDIA 技术: CUDA,Nsight Compute,Nsight Systems
      语言: 简体中文
      所在地: