概览
如何实现 AI 推理的盈利性规模化
AI 推理 — 通过聊天机器人、copilot 和创意工具体验 AI — 正在以双倍指数级的速度扩展。在智能体工作流、长推理思考以及混合专家模型 (MoE) 的推动下，每次交互生成的 AI token 数量急剧增加，同时，用户采用率也持续攀升。
为了实现如此大规模的推理，NVIDIA 每年都会提供数据中心级架构。我们卓越的硬件和软件协同设计实现了性能数量级的飞跃，并持续降低单位 token 成本，从而使先进的 AI 体验在规模化应用中具有经济可行性。
基于 NVIDIA Blackwell 架构的高性能计算平台每瓦 token 数是 Hopper™ 的 50 倍，成本降低了 35 倍 ，从而在相同的功率预算内更大限度地提高收益，提高利润空间。持续软件优化可在芯片、机架和数据中心规模上实现更高性能，随着时间的推移进一步提高投资回报率。
优势
更高的性能更大限度地提高收益
凭借出色的硬件和软件协同设计，NVIDIA Blackwell 架构高性能计算平台每瓦可提供比 Hopper 高 50 倍的 token 数，从而在相同的功率预算内更大限度地提高 AI 工厂的收入。 持续软件优化可在芯片、机架和数据中心规模上实现更高性能，随着时间的推移进一步提高投资回报率。
更低的 token 成本，拓展了利润空间
与 NVIDIA Hopper 相比，NVIDIA Blackwell 高性能计算平台可将每个 token 的成本降至降低 35 倍，从而提高 AI 工厂的利润空间。每一代的性能提升都会远远超过基础设施成本，创造更好的经济效益，从而实现大规模的高级 AI 体验。
全栈优化每个模型和用例
NVIDIA 支持生成式 AI、传统机器学习、科学计算、生物学和物理 AI 领域的各种模型。从对延迟敏感的实时应用到高吞吐量的批量处理，NVIDIA 可为每个用例提供出色性能。该平台提供了极大的灵活性和可编程性，可根据不断变化的工作负载和业务需求选择最佳配置。
原生集成加速部署
NVIDIA 的生产就绪型软件 (包括 Dynamo 和 TensorRT™ LLM) 以及与 PyTorch、vLLM、SGLang 和 llm-d 等领先框架的原生集成，可提供强大的 AI 推理堆栈。随着模型架构和推理技术的快速发展，NVIDIA 的堆栈可确保提供从创新到生产的最快途径。
平台
极致的硬件软件协同设计
强大的硬件若缺乏智能编排，便会浪费潜能；优秀的软件若没有高速硬件支撑，只会带来迟缓的推理性能。NVIDIA 推理平台提供持续优化的全栈解决方案，通过协同设计的计算、网络、存储与软件，可在各种工作负载中实现更高性能。
探索一些关键的 NVIDIA 硬件和软件创新。
客户案例
行业领导者如何利用 AI 推理推动创新
资源
最新 AI 推理相关的学习资源
-
博客
-
会议
-
训练
-
视频
后续步骤
