深度学习推理平台

适用于云、数据中心、边缘和自主机器的推理软件和加速器

NVIDIA 赢得新的 AI 推理基准测试,扩大了在 AI 领域的领导地位

更快速的 AI。更低的成本。

现今,先进的 AI 服务愈加受到市场青睐,其中包括图像和语音识别、自然语言处理、视觉搜索和个性化推荐。与此同时,数据集不断扩大,网络也变得越来越复杂,用户期望的延迟要求也愈发严格。

NVIDIA 的推理平台可在云中、数据中心、网络边缘以及自主机器等平台上提供至关重要的性能、效率和响应速度,以支持新一代 AI 产品和服务。

注册以下载推理技术概览

借助 NVIDIA TensorRT 发挥 NVIDIA GPU 的全部潜能

TensorRT 是一款高性能推理平台,在充分发挥 NVIDIA Tensor Core GPU 的强大功能方面发挥着关键作用。与仅使用 CPU 的平台相比,TensorRT 最多可使吞吐量提升 40 倍,同时还可最大限度地降低延迟。使用 TensorRT,您可以从任何框架入手,并在生产环境中快速优化、验证和部署经过训练的神经网络。

统一的端到端可扩展深度学习推理

通过搭载统一架构,各深度学习框架上的神经网络均可由 NVIDIA TensorRT 进行训练和优化,并针对边缘实时推理进行部署。通过 NVIDIA DGX™ 系统NVIDIA Tesla®NVIDIA Jetson™NVIDIA DRIVE,NVIDIA 提供了一个端到端的完全可扩展的深度学习平台。

显著节省成本

要使服务器保持最高生产效率,数据中心管理者必须在性能与效率之间进行权衡。对于深度学习推理应用程序和服务而言,一台 NVIDIA Tesla T4 服务器可取代多台通用 CPU 服务器,从而降低能耗并节约购置和运营成本。

推理解决方案

了解如何实现更快速的 AI

深入了解 NVIDIA 深度学习推理在线研讨会系列