概览
AI 成功的基石
NVIDIA 参考架构 (RA) 使企业组织能够利用经过验证、可重复的基础设施来设计、部署和扩展高性能 AI 工厂。这些设计将经认证的计算、高速东西向和南北向网络、可观测性工具以及基础设施软件相结合,确保从四节点集群到企业级环境都能实现可扩展的性能。
NVIDIA 参考架构
完整系列指南
用于在数据中心部署集群的全套指南现已发布。
优势
NVIDIA 参考架构的战略价值
利用经过验证、合作伙伴就绪的配置,解锁可扩展的高性能 AI 基础设施。
AI 工作负载发挥峰值性能
通过确保多节点集群间 GPU 充分利用及性能一致性的架构,满足 AI 推理、微调和训练的严苛需求。
降低复杂性和 TCO
简化部署流程和高效设计,降低复杂性和总体拥有成本 (TCO),同时缩短实现价值的时间。
可支持性
遵循特定的、标准化的设计模式,实现不同安装之间的一致操作,减少频繁支持的需求,并缩短问题解决时间。
合作伙伴
合作提升绩效
我们很荣幸与领先的合作伙伴合作,将企业 AI 工厂解决方案推向市场。这些合作伙伴的认可设计已通过我们的设计审查板,提供的指南在以下一个或多个领域赢得了我们的认可:基础设施、和 Spectrum-X 网络架构。
资源
了解更多关于 NVIDIA RA 的信息
NVIDIA AI 工厂驱动企业级规模化创新
借助 NVIDIA 参考架构,NVIDIA 构建了统一的 AI 工厂,将生成式 AI 和智能体工作流扩展至整个企业,确保安全性、性能和一致性。该平台支持数百个 AI 智能体,可加速创新、简化软硬件工程,并优化供应链运营 —— 将规划时间缩短 95% 以上,在短短一年内实现数十年的工程工作。
后续步骤
NVIDIA 参考架构常见问题解答
NVIDIA 参考架构为 NVIDIA 全球系统合作伙伴和企业客户提供清晰、统一的集群设计指导,帮助他们构建企业 AI 工厂。它们涵盖计算、网络、存储和基础设施软件,将 NVIDIA 认证系统、NVIDIA 认证存储、NVIDIA 网络和 NVIDIA AI Enterprise 软件引入生产级 AI 基础设施的集成设计。
选择 RTX PRO AI Factory,针对广泛的企业 AI,包括智能体和物理 AI、视觉计算、分析、仿真以及大到中型模型推理。
选择 HGX AI Factory,针对高性能多节点训练、微调和大规模推理。
选择 NVL72 AI Factory,针对最密集的工作负载,包括万亿参数模型训练、实时推理和高吞吐量大规模推理。
从工作负载类型、用户数量、模型大小、性能目标、数据量和增长计划开始。NVIDIA 为每种体系架构发布设计要点,包括 16 和 32 节点 RTX PRO 系统、32、64 和 128 节点 HGX 系统,以及 2、4 和 8 机架 NVL72 系统。与 NVIDIA 系统合作伙伴合作,确认您部署的设计和材质清单。
代码遵循 CPU-GPU-网络适配器-带宽格式。在 2-8-5-200 中,系统有 2 个 CPU 插槽、8 个 GPU、5 个网卡,其中 1 个用于南北向流量,4 个用于东西向流量,每 GPU 平均 200GbE 东西向带宽。
NVIDIA 的参考架构为计算、网络、存储、基础设施软件和部署提供指导。NVIDIA Enterprise AI 工厂验证设计增加了经过精选与版本控制的 NVIDIA 和合作伙伴软件全栈,以支持 AI 工作负载。团队可以使用 RA 来规划 AI 基础设施 (最高至 Kubernetes 层),并使用经过验证的设计在该基础设施上部署和运行软件栈。
思科、戴尔科技、慧与、联想和超微提供基于 NVIDIA RA 的设计,并获得 NVIDIA 设计审查板的认可。在选择系统之前,查看 NVIDIA RA 文档,了解当前服务器型号、GPU 配置、扩展点和认证状态。
NVIDIA 认证系统验证节点:指经过测试以满足 NVIDIA 对企业 AI 性能、可管理性、安全性和可扩展性要求的服务器。
NVIDIA 参考架构定义了集群:NVIDIA 认证系统、NVIDIA 网络、存储和 NVIDIA AI Enterprise 软件如何以可重复配置的方式整合,以构建企业 AI 工厂。
简而言之:NVIDIA 认证告诉客户系统已为 AI 做好准备;NVIDIA RA 向合作伙伴和客户展示如何将这些系统组装为可扩展的 AI 工厂部署。
