概览
借助动态编排加速 AI 工作流
NVIDIA Run:ai 通过动态资源分配、全面的 AI 生命周期支持和战略资源管理来解决关键的基础设施挑战，从而加速 AI 和机器学习操作。通过跨环境汇集资源并利用高级编排，NVIDIA Run:ai 显著提高了 GPU 效率和工作负载容量。NVIDIA Run:ai 支持公有云、私有云、混合环境或本地部署数据中心，提供无与伦比的灵活性和适应性。
什么是 NVIDIA Run:ai？
NVIDIA Run:ai 在整个 AI 生命周期内通过动态编排加速 AI 操作，最大限度地提高 GPU 效率，扩展工作负载，并无缝集成到混合 AI 基础设施中，无需人工干预。
NVIDIA Run:ai 提供无缝贯穿 AI 生命周期，通过 GPU 编排进行高级 AI 工作负载编排，以及强大的策略引擎，将资源管理转变为战略资产，确保资源利用率优化并与业务目标保持一致。
适用于可扩展 AI 运营的 NVIDIA Run:ai
NVIDIA Run:ai 现已成为 NVIDIA AI Enterprise 的一部分，可简化大规模运行 AI 工作负载的流程。它可更大限度地提高 GPU 利用率，提高工作负载吞吐量，并集中管理策略和治理，从而在训练、实验和推理中提供安全、可靠和高效的 AI 运营。
特性
AI 工作负载和 GPU 编排，以大规模构建、训练和部署 AI 工作负载
性能
现实世界中的 AI 加速：经过验证的大规模 GPU 编排
动态调度和编排可加速 AI 吞吐量、实现无缝扩展并更大限度地提高 GPU 利用率。
解决方案
来自 NVIDIA Run:ai 的开源解决方案
优势
释放 AI 基础设施的全部潜力
NVIDIA Run:ai 专为 AI 调度和基础设施管理而打造，可在 AI 整个生命周期中加速 AI 工作负载，缩短价值实现时间。
更大限度地提高 GPU 利用率，最大限度地降低成本，并提高 AI 效率
NVIDIA Run:ai 在混合环境中动态地汇集和编排 GPU 资源。通过消除浪费、最大限度地利用资源，并将计算能力与业务优先级保持一致，企业实现了卓越的投资回报率，降低了运营成本，并快速扩展 AI 计划。
从开发到部署无缝加速 AI
NVIDIA Run:ai 可在 AI 生命周期中实现从开发到训练和部署的无缝过渡。通过编排资源并将不同的 AI 工具集成到统一的工作流中，该平台可减少瓶颈，缩短开发周期，并更快地将 AI 解决方案扩展到生产环境中，从而取得切实的业务成果。
集中式编排以实现全面 AI 控制
NVIDIA Run:ai 提供对分布式 AI 基础设施、工作负载和用户的端到端可视化和控制。该技术的集中式编排整合来自云端、本地部署和混合环境的资源，为企业提供可行的见解、策略驱动式治理和精细资源管理，从而实现高效和可扩展的 AI 运营。
跨越各种环境灵活集成
NVIDIA Run:ai 以卓越的灵活性和可用性为现代 AI 工厂提供支持。其开放式体系架构可与任何机器学习工具、框架或基础设施无缝集成，无论是在公有云、私有云、混合环境中，亦或本地部署数据中心。
用例
借助智能编排加速 AI 工作负载
NVIDIA Run:ai 专为 AI 工作负载而打造，可提供智能编排，最大限度地提高计算效率，并动态扩展 AI 训练和推理。
-
扩展 AI
-
分片推理
-
缓解冷启动问题
企业 AI 加速
NVIDIA Run:ai 帮助企业高效扩展 AI 工作负载，从而降低成本并改善 AI 开发周期。通过动态分配 GPU 资源，企业组织可更大限度地提高计算利用率，减少空闲时间，并加速机器学习计划。NVIDIA Run:ai 还通过提供统一的管理界面简化 AI 运营，实现数据科学家、工程师和 IT 团队之间的无缝协作。
更大限度地提高 Token 吞吐量
在共享 GPU 基础设施上同时运行各种 AI 工作负载，以大幅提高总吞吐量和利用率。通过对推理、嵌入、生成任务进行 GPU 分片分配，企业可以并行运行更多模型，且不会出现资源争抢。与单模型、全 GPU 执行相比，混合工作负载可在 GPU、主机和集群级别提供更高的总吞吐量，从而更大限度地提高基础设施效率，同时加速跨团队的 AI 输出。
缓解模型冷启动问题
通过在 GPU 和主机之间动态交换模型存储，在不牺牲性能的情况下，降低模型部署成本。NVIDIA 的 GPU 显存交换技术可以让活跃的模型继续保留在 GPU 显存中，同时对非活跃的模型采用分页调度从 GPU 显存置换到主机内存上，从而支持在更少的 GPU 上运行更多的模型任务。这能够降低基础设施投入、减少资源空闲时间，并为生产环境部署提供高性价比的推理支持，尤其适用于内存密集型的大语言模型任务。
技术
通过跨 NVIDIA 的动态编排实现加速 AI 运营
NVIDIA Run:ai 为 NVIDIA 的 AI 平台带来了先进的编排和调度功能，使企业能够以最低的复杂性和最高的性能扩展 AI 运营。
后续步骤
准备好开始了吗？
借助 NVIDIA Run:ai 的智能编排加速 AI 从开发到部署。
NVIDIA Run:ai 文档
查找产品更新、安装和使用指南，以及 NVIDIA Run:ai 的支持详情。
需要选择合适的合作伙伴帮助？
查看通过 NVIDIA Run:ai 认证的 NVIDIA 合作伙伴列表。
