边缘设备中的实时人工智能 (AI)

实时与客户通信。当数据从数十亿个传感器(从工厂车间到商店货架)流出时,快速从容应对。即时诊断疾病,并提供挽救生命的病患护理。如今,强大的 AI 和 NVIDIA EGX 平台可将加速 AI 计算的性能引入边缘设备,这使得智能零售, 智能医疗保健, 智能制造, 智能运输智慧城市 等一切任务皆有可能实现。

高性能且可扩展

EGX 采用小型  NVIDIA® Jetson Nano, ,可以为图像识别等任务提供每秒 0.5 万亿次运算 (TOPS) 的处理速度,而且功耗低。该平台可以一直扩展为一套完整的 NVIDIA T4 服务器,可提供超过 10,000 TOPS 的处理速度,为数百名用户提供实时语音识别和其他复杂的 AI 体验。

混合云和多云物联网

NVIDIA EGX 在体系结构上与由主要云提供的 NVIDIA AI 计算相兼容。在云端开发的 AI 应用程序可以在 NVIDIA EGX 上运行,反之亦然。NVIDIA Edge Stack 可以连接主要云物联网服务,客户可以从 AWS IoT Greengrass 和 Microsoft Azure IoT Edge 远程管理其服务。

企业级且安全

NVIDIA Edge Stack 已在 Red Hat OpenShift(领先的企业级 Kubernetes 容器协调平台)上进行了优化。Mellanox 智能网卡 (Smart NIC) 可以减轻软件定义网络的负担并实现其加速,从而可实现更高级别的隔离和安全性,而不会影响 CPU 的性能。

我们已在 Seagate 的制造工厂中部署了基于 GPU 的智能边缘视觉解决方案,用于检查硬盘读写磁头的质量。NVIDIA EGX 平台可显著加快边缘设备的推理速度,让我们可以看到人类操作员过去无法看到的细微缺陷。我们有望将制造生产量提高高达 10%,并且通过提高效率和质量,实现高达 300% 的投资回报率 (ROI)。

— Seagate Technology 高级首席数据科学家 Bruce King

AI 是实现精准医疗的根本,必须能从云端到边缘设备普遍可用,甚至可在医疗设备上直接使用。借助 NVIDIA EGX,GE Healthcare 能够将 NVIDIA T4 GPU 直接嵌入我们的医疗设备,从而加快 MR 采集速度,提高影像质量并减少可变性 - 所有这些都是为了进一步提升患者治疗效果。实时重症监护用例需要边缘 AI。因此,我们创建了 Edison 智能产品,与 NVIDIA 合作将 AI 引入我们的医疗设备和 Edison 边缘设备,并与 ACR AI-LAB 合作以实现 AI 大众化。

—GE Healthcare MR 应用程序总经理 Jason Polzin 博士

Red Hat 致力于为从混合云到边缘的任何工作负载、封装和位置提供一致的体验。通过结合使用 Red Hat OpenShift 和支持 NVIDIA EGX 的平台,客户可以通过一致、高性能、以容器为中心的环境更好地优化其分布式操作。

— Red Hat 首席技术官 Chris Wright

富士康 PC 生产线受到检查速度的限制,因为目前手工检查每个部件需要 4 秒。我们的目标是使用 NVIDIA EGX 平台,将 PC 生产线的吞吐量提高 40% 以上,实现边缘实时智能决策。我们的模型使用在 NVIDIA GPU 上运行的快速神经网络,可对 16 种缺陷类型和位置进行检测和分类,在实现非凡的吞吐率的同时确保 98% 的准确率。

— 富士康 D 集团总经理 Mark Chien

Mellanox 智能网卡 (Smart NIC) 和交换机为数据访问提供了理想的 I/O 连接,可实现边缘乃至超大规模数据中心的数据访问。高性能、低延迟和加速网络的组合实现了一种全新的基础设施计算层,其对于 NVIDIA EGX 等边缘平台上的新一代更先进的 AI 解决方案所需的高效数据访问和供给至关重要。

— Mellanox Technologies 首席技术官 Michael Kagan

适用于边缘的企业级软件堆栈

适用于边缘的企业级软件堆栈

NVIDIA Edge Stack 是优化型软件堆栈,包括 NVIDIA 驱动程序、CUDA® 插件、CUDA 容器运行时、CUDA-X 库和容器化 AI 框架及应用程序,并包括 NVIDIA TensorRT、TensorRT 推理服务器和 DeepStream。NVIDIA Edge Stack 针对经过认证的服务器进行了优化,并且可以通过 NVIDIA NGC 注册表进行下载。

EGX 合作伙伴

  • 边缘服务器
  • 边缘微型服务器

NVIDIA EGX 详解

详细了解 NVIDIA EGX 边缘计算平台。