NVIDIA 多实例 GPU

一个 GPU 可划分成多个大小不同的 MIG 实例。例如，在 NVIDIA GB200 上，管理员可以创建两个各有 95GB 显存的实例、四个各有 45GB 的实例，或七个各有 23GB 的实例。

管理员还可以动态重新配置 MIG 实例，从而根据不断变化的用户需求和业务需求调整 GPU 资源。例如，白天可以使用七个 MIG 实例进行低吞吐量推理，夜间则可以重新配置为一个大型 MIG 实例，以便进行深度学习训练。

每个 MIG 实例都拥有一组专用的计算、内存和缓存硬件资源，因此能够实现稳定可靠的服务质量和故障隔离。这意味着，如果某个实例上运行的应用发生故障，将不会影响其他实例上运行的应用。

这还意味着，不同的实例可以运行不同类型的工作负载，包括交互式模型开发、深度学习训练、AI 推理、高性能计算应用等工作负载。由于这些实例并行运行，因此工作负载也都是在同一个物理 GPU 上并行运行，但它们相互独立、彼此隔离。