This site requires Javascript in order to view all its content. Please enable Javascript in order to access all the functionality of this web site. Here are the instructions how to enable JavaScript in your web browser.

GPU 加速的 Apache Spark

用于数据分析、机器学习和深度学习流程。

在不更改代码的情况下加速 Apache Spark 3™ 数据科学工作流，加快数据处理和模型训练速度，同时大幅降低基础设施成本。

了解详情

Spark 在 NVIDIA GPU 上的主要优势

Apache Spark 的 GPU 加速可以节省时间、成本和功耗。（来自 GCP Dataproc 上运行的 3TB 基准测试的示例数据。）

Apache Spark 的 GPU 加速可以节省时间、成本和功耗。（来自 GCP Dataproc 上运行的 3TB 基准测试的示例数据。）

更快的执行时间

加速数据准备任务的性能，以快速进入流程的下一阶段。这可以更快地训练模型，同时让数据科学家和工程师能够专注于最关键的活动。

GPU acceleration for Apache Spark can save time, costs, and power. (Example data from a 3TB benchmark running on GCP Dataproc.)

降低基础设施成本

用更少的资源取得更多的成果：与 CPU 相比，基于 NVIDIA® GPU 的 Spark 能以更少的硬件更快地完成作业，从而节省组织时间、本地资本成本或云端运营成本。

GPU acceleration for Apache Spark can save time, costs, and power. (Example data from a 3TB benchmark running on GCP Dataproc.)

简化 AI 之旅

使用 NVIDIA AI Enterprise（包含 RAPIDS 加速器的端到端 AI 软件平台）加速从数据准备和处理到大规模模型训练、模拟和推理的端到端 AI 工作流，从而缩短生产时间。

基于 NVIDIA GPU 的 Spark 的主要优势

执行时间加快

数据科学家和工程师可以基于 NVIDIA GPU 加速 Apache Spark™ ETL 工作负载，以加快查询并减少长期工作流程的端到端总时间。这样一来，他们便有时间和精力去专注于更重要的工作。

简化人工智能分析

Spark 3 可以协调各种端到端作业，包括数据收集、模型训练以及可视化。相同的 GPU 加速架构可用于 Spark 和 ML/DL（深度学习）框架，免除使用不同集群的需求，使整个流程得到 GPU 加速

降低基础设施成本

借助内在并行性，GPU 可比 CPU 完成更多的工作。因此，基于 NVIDIA GPU 的 Spark 需要更少的总硬件即可完成一项工作，让组织可节省本地资金成本或云端运营成本。

前期见解

使用智能工作负载优化工具来获得资格并评估适合 GPU 加速的 Apache Spark™ 工作负载的成本优势。这为节省成本和提高性能提供了推荐的优化 GPU 参数。

分析工具

将 Apache Spark 的运行速度提高 4 倍

评估 GPU 加速工作负载，并了解如何配置集群以大幅节省成本。

了解详情

Spark 3 创新

鉴于许多数据处理任务的并行性“令人尴尬”，自然应将 GPU 架构用于 Spark 数据处理查询，这与 GPU 在 AI 中加速深度学习工作负载的方式类似。GPU 加速对开发者是透明的，无需更改代码即可获得优势。Spark 3 的三项关键进步有助于实现透明的 GPU 加速：

适用于 Spark 3 的 RAPIDS 加速器

NVIDIA CUDA®是一个革命性的并行计算平台，支持在 NVIDIA GPU 架构上加速计算操作。由 NVIDIA 孵化的 RAPIDS 是一套基于 CUDA 的开源库，可实现数据科学流程的 GPU 加速。

NVIDIA 为 Spark 3 创建了 RAPIDS 加速器，可显著提高 Spark SQL 和 DataFrame 操作的性能，从而截取和加速提取、转换和加载流程。

对 Spark 组件的修改

Spark 3 在 Catalyst 查询优化器中提供列式处理支持，这是 RAPIDS 加速器用于加速 SQL 和 DataFrame 运算符的插件。执行查询计划后，这些运算符可以在 Spark 集群内的 GPU 上运行。

NVIDIA 还创建了新的 Spark shuffle 实现，以优化 Spark 进程之间的数据传输。此 shuffle 实现基于 GPU 加速的通信库构建，包括 UCX、RDMA 和 NCCL。

Spark 中的 GPU 感知调度

Spark 3 将 GPU 与 CPU 和系统内存一起视为一级资源。这使 Spark 3 能够将 GPU 加速的工作负载直接放在包含加速和完成作业所需 GPU 资源的服务器上。

NVIDIA 工程师为这一重要的 Spark 增强功能做出了贡献，从而能够在 Spark Standalone、YARN 和 Kubernetes 集群中的 GPU 资源上启动 Spark 应用程序。

deep-learning-apache-spark-3-innovations-refactored

In Spark 3, users can now access a single pipeline, from data ingest to data preparation to model training. Data preparation operations are now GPU accelerated, and data science infrastructure is consolidated and simplified.

企业就绪型 Spark 加速

适用于 Apache Spark 的 RAPIDS 加速器NVIDIA AI Enterprise。从本地到云端，通过认证平台（包括 Amazon EMR、Google Cloud Dataproc 和 Databricks）获得企业级支持、安全性和稳定性的完整访问权限，从而优化 Spark 部署的性能。利用有保证的响应时间、优先安全通知以及与 NVIDIA 数据科学专家交流的机会。

联系我们

Spark 上加速的 ETL 和 AI

随着 ML 和 DL 越来越多地应用于更大的数据集，在为学习阶段准备原始输入数据时，Spark 已成为数据预处理和特征工程的常用工具。Spark 社区致力于将此端到端作业的两个阶段结合在一起，以便数据科学家可以处理单一 Spark 集群，避免在阶段之间将数据移动到外部数据湖而带来的代价。Horovod（由 Uber 支持）和 TensorflowOnSpark（由 Yahoo 支持）就是这种方法的示例。

Spark 3 代表关键里程碑，因为 Spark 现在可以利用 GPU 在 Spark 集群上调度 GPU 加速的 ML 和 DL 应用。此加速数据科学作业的完整堆栈如下所示：

开始使用 GPU 加速的 Spark

下载适用于 Spark 3 的 RAPIDS 加速器，借助 GPU 加速您的 Apache Spark™ 数据科学工作流。在我们的精心策划的 LaunchPad 实验中试用，或通过 NVAIE 获得企业支持。您还可以在此处联系 GitHub 上的 Nvidia Spark 团队。

下载 Spark

Cloudera 和 NVIDIA 的集成将使我们能够使用数据驱动的见解为任务关键型用例提供支持。我们目前正在实施这一集成，并且已经实现了 10 倍以上的速度提升，而我们的数据工程和数据科学工作流程的成本只有一半。

– IRS 研究应用分析和统计学技术部门主管 Joe Ansaldi

我们发现，与在 CPU 上运行 Spark 相比，NVIDIA 加速的 Spark 3 的性能明显更快。随着这些颠覆性的 GPU 性能提升，我们在全套 Adobe Experience Cloud 应用中增强 AI 驱动功能的可能性也随之出现。

– William Yan，Adobe 机器学习高级总监

我们继续与 NVIDIA 合作，通过针对 Apache Spark 3 和 Databricks 的 RAPIDS 优化来提高性能，使我们的共同客户（如 Adobe）受益。这些贡献带来了更快的数据流水线、模型训练和评分，这直接转化为我们的数据工程师和数据科学家社区的更多突破和见解。

– Matei Zaharia，Apache Spark 的原始创建者兼 Databricks 首席技术专家

Cloudera 和 NVIDIA 集成将使我们能够使用数据驱动的见解为任务关键型用例提供支持……我们目前正在实施这种集成，并且在速度方面已经实现超过 10 倍的提升，而其成本仅是数据工程和数据科学工作流程成本的一半。

- Joe Ansaldi，IRS/研究应用分析和统计部门 (RAAS)/技术部门负责人

与在 CPU 上运行 Spark 相比，使用 NVIDIA 加速的 Spark 3 可显著提升性能。这些颠覆性的 GPU 性能提升幅度在我们的全套 Adobe Experience Cloud 应用程序中带来了增强 AI 驱动功能的新可能性。

- William Yan，Adobe 机器学习部门高级总监

我们继续与 NVIDIA 展开合作，通过面向 Apache Spark™ 3 和 Databricks 的 RAPIDS 优化提高性能，进而造福我们的联合客户（如 Adobe）。这些贡献会加快数据管道、模型培训和评分，直接为我们的数据工程师和数据科学家社区带来更多突破和见解。

- Matei Zaharia，Apache Spark™ 的最初创建者兼 Databricks 首席技术专家

Cloudera 和 NVIDIA 的集成将使我们能够使用数据驱动的见解为任务关键型用例提供支持。我们目前正在实施这一集成，并且已经实现了 10 倍以上的速度提升，而我们的数据工程和数据科学工作流程的成本只有一半。

– IRS 研究应用分析和统计学技术部门主管 Joe Ansaldi

我们发现，与在 CPU 上运行 Spark 相比，NVIDIA 加速的 Spark 3 的性能明显更快。随着这些颠覆性的 GPU 性能提升，我们在全套 Adobe Experience Cloud 应用中增强 AI 驱动功能的可能性也随之出现。

– William Yan，Adobe 机器学习高级总监

我们继续与 NVIDIA 合作，通过针对 Apache Spark 3 和 Databricks 的 RAPIDS 优化来提高性能，使我们的共同客户（如 Adobe）受益。这些贡献带来了更快的数据流水线、模型训练和评分，这直接转化为我们的数据工程师和数据科学家社区的更多突破和见解。

– Matei Zaharia，Apache Spark 的原始创建者兼 Databricks 首席技术专家

下载免费电子书

要挖掘 AI 驱动的大数据的价值，并详细了解 Apache Spark 的下一次演进，请下载 NVIDIA 的新电子书《加速 Apache Spark 3.x ― 利用 NVIDIA GPU 助力分析和 AI 新时代》。

立即下载

联系 Spark 专家

Section

Section

名字

姓氏

工作电子邮件地址

电话号码

组织/大学名称

行业

职务

地点

首选语言

请提供您的使用案例的详细信息

请向我发送 NVIDIA 的企业最新动态、公告及更多内容。我可以随时取消订阅。

本人知悉且同意 NVIDIA 基于调研、活动组织的目的对本人的上述信息的收集和处理，并已经阅读并同意 <a href="https://www.nvidia.cn/about-nvidia/privacy-policy/?deeplink=visiting-our-website" target="_blank">NVIDIA 隐私政策</a>。

本人知悉且同意，因调研、活动组织的必须，以及相对应的 NVIDIA 内部管理和系统操作的需要，上述信息会被传输到位于美国的 NVIDIA Corporation 按照符合 <a href="https://www.nvidia.cn/about-nvidia/privacy-policy/?deeplink=visiting-our-website" target="_blank">NVIDIA 隐私政策</a>的方式进行存储，您可以通过发送邮件至 <a href="mailto:privacy@nvidia.com">privacy@nvidia.com</a> 进行联系以解决相关问题，实现可适用的数据保护法所规定的权利。