AI 推理解决方案

更出色的 AI 性能，复利式收益提升

更智能的思考方式，选择 NVIDIA 推理。

开始使用

下载电子书 | 性能基准测试 | 开发者学习资料

概览
优势
软件
客户案例
资源
后续步骤

概览
优势
软件
客户案例
资源
后续步骤

开始使用

概览

如何高效扩展 AI 推理能力？

一个提示词 (prompt)。一组用于回答问题的 token。这就是 AI 推理。随着模型规模和复杂性不断增加，企业需采用全栈方法和端到端工具，才能在这个 AI 扩展定律的新时代取得成功。

随着推理思考模型生成的 AI token 数量呈指数级增长，算力需求激增。为了应对这一挑战，各行各业都需要 AI 工厂 (基于 NVIDIA Blackwell 架构构建、针对大规模推理进行优化的专用基础设施) 实现性能、效率以及投资回报率的提升。

全栈推理优化是确保您在 AI 工厂规模下实现智能扩展 AI 的关键。

大规模推理：AI 和 ROI 的前沿

在本视频中，我们分析了现代 AI 推理中性能、功耗和盈利能力之间的微妙平衡。了解更智能的推理和全栈基础设施如何推动未来 AI 工厂的经济效益。

观看视频

NVIDIA Blackwell Sets Standard for Inference ROI

NVIDIA Blackwell swept the new SemiAnalysis InferenceMAX™ v1 benchmarks, achieving the highest AI inference performance and best overall efficiency. NVIDIA Blackwell enables the highest AI factory revenue: A $5M investment in GB200 NVL72 generates $75 million in token revenue—a 15x return on investment.

Explore Key Results

NVIDIA Blackwell Maximizes ROI in AI Inference

NVIDIA Blackwell enables the highest AI factory revenue, including up to 15x ROI. This is a result of extreme co-design across NVIDIA Blackwell, NVLink™, and NVLink Switch for scale-out; NVFP4 for low-precision accuracy; and NVIDIA Dynamo and TensorRT™ LLM for speed and flexibility—as well as development with community frameworks SGLang, vLLM, and more.

$5M GB200 NVL72 Investment Can Generate $75M Token Revenue

DeepSeek-R1 8K/1K results show a 15x performance benefit and revenue opportunity for NVIDIA Blackwell GB200 NVL72 over Hopper H200.

优势

了解采用 NVIDIA AI 加速推理的优势

经过优化的全栈部署

跨应用、AI 框架、各种开放和专有模型架构和规模以及平台，实现 AI 模型部署的标准化。

轻松集成和扩展

轻松与公有云、本地数据中心和边缘上的工具和平台集成。

降低成本，最大化收益

通过 AI 基础设施实现高吞吐量和利用率，从而降低成本。这就是推理经济学实现 AI 价值最大化的方式。

高性能

该平台在领先的 AI 行业基准测试——MLPerf 中持续创下多项记录，让您体验行业领先的推理性能。

软件

了解 NVIDIA AI 推理软件

NVIDIA AI 推理包括 NVIDIA Dynamo 平台、TensorRT™-LLM、NVIDIA NIM™ 和其他工具，可简化 AI 应用的构建、共享和部署。NVIDIA 的推理平台集成了顶级开源工具，可加速性能，并支持跨企业级基础设施、软件和生态系统进行可扩展、可信的部署。

借助分布式推理动态扩展和提供 AI 服务

NVIDIA Dynamo 是一款开源推理软件，用于加速 AI 工厂规模的 AI 模型部署。借助 P/D 分离服务，Dynamo 可将推理任务分解为更小的组件，将工作负载动态路由并重定向到当时可用的最优计算资源。

详细了解 NVIDIA Dynamo

借助 NIM 加速 AI 部署

NVIDIA NIM™ 提供经过优化的预构建推理微服务，可在任何 NVIDIA 加速的基础设施 (云、数据中心、工作站或边缘) 上快速部署最新的 AI 模型。

详细了解 NVIDIA NIM

TensorRT-LLM 提供行业领先推理性能的 SDK

TensorRT-LLM 是一个开源库，用于在 NVIDIA GPU 上进行高性能实时 LLM 推理。借助模块化 Python 运行时、PyTorch 原生创作和稳定的生产 API，它经过优化，可更大限度地提高吞吐量、降低成本并提供快速的用户体验。

详细了解 TensorRT-LLM

NVIDIA DGX Cloud Serverless 推理

高性能、无服务器的 AI 推理解决方案，具有自动扩展、经济高效的 GPU 利用率、多云灵活性和无缝可扩展性，可加速 AI 创新。

详细了解 DGX Cloud Serverless 推理

Hardware

Explore Our AI Inference Infrastructure

Get unmatched AI performance with NVIDIA AI inference software optimized for NVIDIA-accelerated infrastructure. The NVIDIA Blackwell Ultra, H200 GPU, NVIDIA RTX PRO™ 6000 Blackwell Server Edition, and NVIDIA RTX™ technologies deliver exceptional speed and efficiency for AI inference workloads across data centers, clouds, and workstations.

NVIDIA GB300 NVL72

AI inference demand is surging—and NVIDIA Blackwell Ultra is built to meet that moment. Delivering 1.4 exaFLOPS in a single rack, the NVIDIA GB300 NVL72 unifies 72 NVIDIA Blackwell Ultra GPUs with NVIDIA NVLink™ and NVFP4 to power massive models with extreme efficiency, achieving 50x higher AI factory output while reducing token costs and accelerating real-time reasoning at scale.

Learn More About GB300 NVL72

NVIDIA H200 GPU

The NVIDIA H200 GPU—part of the NVIDIA Hopper Platform— supercharges generative AI and high-performance computing (HPC) workloads with game-changing performance and memory capabilities. As the first GPU with HBM3e, the H200’s larger and faster memory fuels the acceleration of generative AI and large language models (LLMs) while advancing scientific computing for HPC workloads.

Learn More About H200

NVIDIA RTX PRO 6000 Blackwell Server Edition

The RTX PRO 6000 Blackwell Server Edition GPU delivers supercharged inferencing performance across a broad range of AI models, achieving up to 5x higher performance for enterprise-scale agentic and generative AI applications compared to the previous-generation NVIDIA L40S. NVIDIA RTX PRO™ Servers, available from global system partners, bring the performance and efficiency of the Blackwell architecture to every enterprise data center.

Learn More RTX PRO 6000 Blackwell Server Edition

NVIDIA RTX PRO 6000 Blackwell Workstation Edition

The RTX PRO 6000 Blackwell Workstation Edition is the first desktop GPU to offer 96 GB of GPU memory. The power of the Blackwell GPU architecture, combined with large GPU memory and the NVIDIA AI software stack, enables RTX PRO-powered workstations to deliver incredible acceleration for generative AI and LLM inference directly on the desktop.

Learn More About RTX PRO 6000 Blackwell Workstation Edition

探索大规模 AI 背后的故事

有没有想过复杂的 AI 权衡如何转化为实际成果？探索下方性能曲线中的不同点，亲身体验硬件和部署配置方面的创新如何影响数据中心效率和用户体验。

TPS / user

–

TPS / MW

–

Simulated Chat Experience

DeepSeek R1 ISL = 32K, OSL = 8K，在 GB300 NVL72 上使用 FP4 和 Dynamo 做 P/D 分离部署。在 H100 上使用 FP8 实时批处理 (in-flight batching)。该数据仅作为技术探讨和参考使用，上述推理性能将随实际的生产环境而改变。

想知道不同配置如何影响真实的用户体验？您可独立调整参数观察曲线变化，或跟随 TJ 的交互式引导，右侧模拟对话区域将实时呈现效果差异。

进一步了解 NVIDIA Dynamo AI Configurator