NVIDIA Grace CPU

专为训练全球大型模型而打造

为巨型 AI 和高性能计算工作负载打造的突破性 CPU

随他们通过数千亿的参数改进对话式 AI,通过嵌入数万亿字节数据表增强深度推荐系统,并获得新的科学发现,AI 模型的复杂性和规模正在爆炸式增长。这些庞大的模型正在挑战当今系统的极限。继续扩展它们以实现高度准确性和通用性,需要能够快速访问大的内存池并使 CPU 和 GPU 紧密耦合。

专为解决复杂问题而设计

NVIDIA Grace CPU 利用 Arm 架构的灵活性来创建 CPU 和服务器架构,这是为了加速计算而从头开始设计的。与当今运行超快的服务器相比,这种创新设计将聚合带宽提高 30 倍,对于运行数万亿字节数据的应用,性能将提高 10 倍。NVIDIA Grace 旨在使科学家和研究人员能够研发规模超大的模型来解决复杂的问题。

新的技术创新

第四代 NVIDIA NVLink

解决重大的 AI 和 HPC 问题需要高容量和高带宽内存 (HBM)。第四代 NVIDIA® NVLink® 在 NVIDIA Grace CPU 和 NVIDIA GPU 之间提供每秒 900 千兆字节 (GB/s) 的双向带宽。该连接提供了统一、与缓存一致的内存地址空间,该地址空间将系统和 HBM GPU 显存结合在一起,能够简化可编程性。CPU 和 GPU 之间这种一致、高带宽的连接是加速解决未来复杂的 AI 和 HPC 问题的关键。

采用具有 ECC 功能的 LPDDR5x 的新型高带宽内存子系统

内存带宽是影响服务器性能的一个重要因素,标准双倍数据速率 (DDR) 内存占整体功耗的很大一部分。NVIDIA Grace CPU 是首款通过纠错码 (ECC) 等机制利用具有服务器级可靠性的 LPDDR5x 内存来满足数据中心需求的服务器 CPU,其内存带宽为当今常规服务器内存的 2 倍,能效更是高达 10 倍。NVIDIA Grace LPDDR5x 解决方案搭配超大的高性能最后一级缓存,可提供大型模型所需的带宽,同时降低系统功率,最大限度提升新一代工作负载的性能。

新一代 Arm Neoverse 核心

随着 GPU 的并行计算能力不断提高,工作负载仍可通过在 CPU 上运行的串行任务进行控制。快速高效的 CPU 是系统设计的重要组件,可充分实现工作负载加速。NVIDIA Grace CPU 集成新一代 Arm Neoverse 核心,以高效节能的设计提供高性能,让科学家和研究人员能够更轻松地完成日常工作。

请观看 NVIDIA 创始人兼首席执行官黄仁勋在 GTC 上提供的重要主题演讲,了解 NVIDIA Grace CPU,并请阅读新闻稿,以了解更多信息。