NVIDIA Base Command Manager

AI 基础设施解决方案

AI 网格

通过在地理位置分布式 AI 基础设施上编排工作负载,扩展 AI 原生应用。

概览

适用于生成式、代理式和物理 AI 的分布式基础设施

现代 AI 应用具备实时、超个性化且数据密集型特性,为全球数百万用户、智能体和机器提供服务。电信运营商以其独特的优势,将现有的基础设施转化为 AI 网格,使 AI 更贴近智能实际发挥作用的场景。

AI 网格是一个分布式、互连、编排的 AI 基础设施平台,可让每项工作负载在最适合其运行的位置执行。它将 AI 工厂与区域中心和边缘站点连接起来,从而使数据、模型和智能体能够在作为统一系统运行的分布式站点之间安全流动。 

NVIDIA 提供加速计算、网络和软件栈,为 AI 网格提供支持,帮助运营商快速释放分布式 AI 能力,为新的 AI 原生体验提供支持

NVIDIA 和电信行业领导者构建 AI 网格,优化分布式网络的推理

随着 AI 原生应用扩展到更多用户、智能体和设备,电信网络正成为分发 AI 的下一个前沿。

借助 NVIDIA 轻松构建和部署 AI 网格

NVIDIA AI grid 参考设计为运营商提供了一套统一的方式,可在分布式站点上构建、部署和编排 AI。

优势

在最佳位置运行每个 AI 工作负载

可预测的延迟

通过在最接近用户、智能体和机器的基础设施上运行推理,确保 AI 原生服务保持敏捷响应。这帮助运营商满足实时语音、视觉和控制体验的严格服务级别协议 (SLA)。

更佳的 Token 经济学

在计算和网络成本最优的节点上运行高 Token 密度工作负载,减少网络数据流量,降低出站成本,同时不牺牲服务质量。

更高的利用率和弹性

将众多分布式站点视为单一的 AI 容量库,以提升 GPU 利用率并降低闲置资源。如果站点发生故障,工作负载会自动在网格上重新平衡,以保持服务连续性。

大规模并发

在众多分布式站点上运行 AI 原生服务,以应对并发用户、应用和智能体数量的激增,同时保持一致的体验质量和成本。

产品

AI 网格的基础模组

NVIDIA 提供统一的平台,为分布式站点配备全栈 AI 基础设施,将其转化为互联且编排的 AI 网格。

高性能 GPU

在集中式 AI 工厂中,NVIDIA GB300 NVL72 等机架级系统为训练、微调和大规模推理工作负载提供极致吞吐量。在分布式网格站点上,NVIDIA RTX PRO™ 6000 Blackwell 服务器版 GPU 提供了一个通用且经济高效的推理平台,只需极少改造即可融入现有电信设施部署环境。

NVIDIA Spectrum-X 以太网

通过远程直接内存访问 (RDMA) 融合以太网 (RoCE) 自适应路由和优化的拥塞控制,NVIDIA Spectrum-X™ 以太网可将存储性能提升近 50%,并减少通信瓶颈。借助该技术,企业可在高效扩展 AI 应用的同时,最大限度地提高 AI 系统利用率。

NVIDIA BlueField DPU

NVIDIA® BlueField® DPU 可在 AI 工厂和全球分布式环境中卸载、加速和隔离基础设施服务,使多个租户和工作负载能够安全、高效地共享统一的高性能基础设施。电信运营商集成 BlueField 以增强安全性并优化 AI 吞吐量和效率。

TensorRT LLM

NVIDIA TensorRT™ LLM 是一个开源库,用于 NVIDIA GPU 上进行高性能、实时的大语言模型 (LLM) 推理。借助模块化 Python 运行时、PyTorch 原生创作和稳定的生产 API,经优化后可更大限度提升吞吐量、最小化成本并提供快速的用户体验。

NVIDIA Dynamo

NVIDIA Dynamo 是一个分布式推理服务框架,用于在多节点环境中以 AI 工厂规模部署模型。它通过分解推理、优化路由以及通过数据缓存将内存扩展到经济高效的存储层来简化分布式服务。

NVIDIA NIM 微服务

NVIDIA NIM™ 是一套易于使用的推理微服务,可用于加快基础模型部署速度并保证数据安全。NVIDIA NIM 已针对企业级推理进行了优化。

应用案例

分布式智能落地实践

探索 NVIDIA 驱动的 AI 网格如何为需要实时、经济高效地大规模访问智能的 AI 原生应用提供支持。

物理 AI

物理 AI 使机器人、车辆、摄像头和物联网系统能够在现实世界中感知、推理并执行动作。AI 网格让 NVIDIA Metropolis 能够运行城市级的视觉 AI,并靠近摄像头进行实时分析,而当本地嵌入式算力不足时,自主机器人则可将更繁重的规划与推理任务卸载到附近站点。

实时 AI

对话式 AI 助手等交互式 AI 服务依赖严格的端到端时延与抖动控制,才能实现自然且灵敏的交互体验。AI 网格在物理位置靠近数据的节点上执行这些工作负载,保留延迟余量,并将每个请求路由至最佳可用资源,即使在需求激增或局部故障期间也能保持稳定运行。

超个性化

个性化 AI 助手、媒体和体育类体验以及企业级应用必须针对数千或数百万个并发会话进行实时响应调节。在 AI 网格上,运营商可以在区域节点上缓存用户或租户上下文,并在更靠近用户的位置执行个性化逻辑和生成,从而改善尾延迟,并使始终在线的个性化服务在成本上具备可持续性。

AI 原生网络功能

RAN、流量导向和用户平面优化等网络工作负载越来越依赖 AI,来分析流量并做出实时决策。AI 网格与应用一样,在同一分布式基础设施上运行 AI 原生网络功能,提高利用率,并实现更智能的路由、策略执行和体验质量。

后续步骤

准备好开始了吗?

借助 NVIDIA AI Grid 参考设计大规模构建 AI 网格,提供统一的硬件和软件栈,将分布式站点转变为互联、可编排的 AI 基础设施。

联系我们

提出问题或请求更多信息。我们的专家随时为您提供帮助。

及时了解 NVIDIA 新闻

注册以从 NVIDIA 获取最新 AI 和电信资讯。