NVIDIA NeMo

一套智能体优先的开放库,具有用于加速 AI 智能体专业化、优化和治理的技能。

文档  |  GitHub

概览

What Is NVIDIA NeMo?

NVIDIA NeMo™ 是一套智能体优先的开放库,具备可加速 AI 智能体专业化、优化和治理的技能。

NeMo 与现有的 AI 工具和智能体框架集成,可在任何云端、本地部署或混合环境中优化专业智能体。

NVIDIA AI-Q Blueprint

构建自定义企业研究智能体的参考工作流,可安全连接到公司数据、工具和工作流,从而提供基于组织知识的准确、具有上下文感知能力的见解。

特性

用于加速专用 AI 智能体优化的工具和技能

AI 智能体生命周期是一个端到端流程,用于在生产应用中开发和持续改进 AI 智能体。NeMo 与现有的 AI 工具和智能体框架集成,在整个生命周期中优化专业智能体。

构建
准备 AI 就绪的数据

将现有多模态数据集处理为高质量、AI 就绪的格式,以满足开发工作流的需求,并生成合成数据以缩小关键的数据差距。
  • NeMo Curator
    清理、过滤和准备安全的多模态数据,以满足智能体用例和模型训练。
  • NeMo Data Designer
    从零开始创建领域特定合成数据集,用于构建和评估专业智能体。
  • NeMo Anonymizer
    执行上下文感知的数据匿名化,以保护 PII 并保留见解。
  • NeMo Safe Synthesizer
    生成敏感数据集的安全合成版本,无需与原始记录一对一建图。
选择合适的模型

挑选或构建适合案例的模型:选择 Nemotron™ 或其他开放模型、其他开放或专有选项,或者从零开始训练。通过评估运行进行验证,并根据需要进行调优。
  • NVIDIA Nemotron
    先进的开放式 NVIDIA 模型,用于推理、RAG、语音、视觉和安全。
  • NeMo Evaluator
    使用学术、LLM 作为判定和自定义评估,对模型和智能体进行基准测试和测试。
部署
以最高性能部署智能体

利用高吞吐量、低延迟的推理,针对生产环境优化智能体,确保它能够扩展以满足企业需求,并提供快速、可靠的响应。
  • NVIDIA NIM
    在优化的容器中运行 AI 模型,公开为与 OpenAI 兼容的 API。
在数据中保持“锚定 (Grounded)”并应用护栏

使用检索增强生成 (RAG) 将智能体响应固定在可信知识中,同时应用安全、合规和内容审查护栏。
在发布前验证智能体和模型安全

在模型和智能体进入生产环境之前,识别和修复其中的安全和保障漏洞。
优化
分析并优化您的智能体

跟踪智能体与用户和其他系统的真实世界交互。系统地评估其性能和模型精度,寻找不断改进的机会。
  • NeMo Relay
    将黑盒和通用智能体治理机制连接到 NeMo 平台并进行观察。
  • NeMo Customizer
    微服务,可根据领域数据调优和对齐模型。
  • NeMo 框架
    集合了所有开放源代码的 NeMo 库,用于高效地大规模训练与对齐 LLM 和多模态模型。
利用数据飞轮持续改进

利用从监控中收集的反馈和数据,创建数据驱动的飞轮,迭代地重新训练智能体,以持续优化并随着时间的推移保持高效。
  • NeMo RL
    利用先进的强化学习 (RL) 技术,大规模后训练和对齐模型。
  • NeMo Gym
    仿真 RL 训练环境,以生成高质量的智能体 RL 训练数据/推广。
  • NeMo Evaluator
    使用学术、LLM 作为判定和自定义评估,对模型和智能体进行基准测试和测试。
  • NeMo Customizer
    插件,可根据领域数据调优和对齐模型。

用例

如何使用 NeMo

了解 NVIDIA NeMo 如何为行业用例提供支持,以及如何快速开始 AI 开发。

AI 智能体

AI 智能体正在改变各行各业的客户服务,帮助公司加强客户对话,实现高分辨率,并提高人类代表的生产力。AI 智能体可以处理预测任务、推理和解决问题,接受培训以理解行业特定术语,并从组织的知识库中提取相关信息,而不管这些数据位于何处。

用于代理式 AI 的合成数据生成

专门的代理式系统需要大量高质量的数据集,这些数据集从真实世界的来源收集起来既缓慢又昂贵。通过仿真或生成式 AI 模型创建的合成数据可以在没有隐私限制或质量问题的情况下创建无限的训练场景,从而消除这一瓶颈。这有助于更快地开发推理 LLM、多步骤决策者和多模态 AI 助手。

AI 助手

企业正在部署 AI 助手,以全天候高效解决数百万客户和员工查询的问题。这些 AI 助手由面向 LLMRAG 以及语音和翻译 AI 的定制 NVIDIA NIM 提供支持,即使在存在背景噪音、低音质以及各种方言和口音的情况下,也能提供即时准确的口语响应。

企业搜索

企业每年会产生数以万计的文档,包括 PDF、报告、演示文稿等,这些文档包含文本、图像、图表和表格,分散在相互独立的系统中。基于 AI 驱动的企业搜索将这些分散的数据转化为统一知识库,使员工能够通过对话即可实时获取洞察,以更低的成本实现更高效的决策。

内容生成

生成式 AI 可基于企业的领域专业知识和专有 IP 生成高度相关、准确的定制化内容。

人形机器人

人形机器人可以快速适应以人类为中心的当前城市和工业工作空间,处理繁琐、重复或体力要求高的任务。它们的多功能性使它们可以应用于从工厂车间到医疗健康设施等多种环境,这些机器人可以协助人类,并通过自动化缓解劳动力短缺问题。

Apptronik

优势

深入了解 NVIDIA NeMo 为代理式 AI 带来的优势

利用技能进行智能体优先开发

使用智能体友好的技能套件,管理完整的智能体生命周期,从数据整理和后训练到评估、护栏、可观测性和持续优化。

大规模加速

使用企业数据部署和扩展数据飞轮,并利用 GPU 加速训练、推理、多节点扩展和经济高效的优化来处理高吞吐量代理工作负载。

提高投资回报率

更快地构建、定制和部署专用代理系统,缩短投入生产的时间,并最大限度地提高 AI 投资回报。

安全且可用于生产环境

保护敏感数据、执行策略和提示词安全护栏、验证模型并持续检测漏洞。借助 NVIDIA AI Enterprise,在云、数据中心和边缘环境中实现安全部署,提供企业级支持和稳定性保障。

Starting Options

Ways to Get Started With NVIDIA NeMo

Manage the AI agent lifecycle with tools and technologies for building, monitoring, and optimizing AI agents in production.

1

Try NVIDIA-optimized foundation models like NVIDIA Nemotron.

2

Build, monitor, and optimize AI agents with NVIDIA NeMo.

3

Jump-start building your AI solutions with NVIDIA Blueprints.

客户案例

行业领导者如何通过 NeMo 推动创新

采用者

各行业的领先采用者

资源

最新 NVIDIA NeMo 资源

开始使用 LLM 定制

在本课程中,您将超越提示工程 LLM,学习为您的特定用例高效自定义预训练 LLM 的技巧。借助 NVIDIA NIM 微服务、NeMo Curator 和 NeMo 框架,您将学习各种参数高效的微调方法,以便为您的组织自定义 LLM 行为。

提升您的 LLM 技能

利用我们涵盖基本和高级主题的全面 LLM 学习路径,进行由 NVIDIA 专家开发和交付的实操培训。您可以灵活选择自主学习课程或参加由讲师指导的培训班,以获得能力证书。

获得 NVIDIA 认证

通过 NVIDIA 认证,展示您的生成式 AI 技能,推动您的职业发展。我们新的专业认证计划提供两项开发者考试,重点评估开发者对大语言模型 (LLM) 和多模态工作流技能的熟练程度。

用一个周末的时间完成一个具备推理能力的 LLM 的训练

使用从 Llama Nemotron 后训练数据集和 NVIDIA NeMo 中精选的少量训练数据,探索简单且计算高效的推理模型训练方法。

使用数据飞轮优化 AI 智能体

了解如何使用 NVIDIA Data Flywheel Blueprint 优化生产中的 AI 智能体 —— 使用 NeMo 和 NIM 构建模型蒸馏 — 微调 — 评估” 的持续循环。

使用 NeMo Agent 开源工具套件构建 AI 智能体

了解如何使用 NVIDIA NeMo Agent 开源 Python 工具套件构建、集成和优化自定义 AI 智能体。

后续步骤

准备好开始了吗?

使用合适的工具和技术,将生成式 AI 模型从开发阶段向生产阶段推进。

面向开发者

了解开始使用 NVIDIA NeMo 进行开发所需的所有资源,包括最新文档、教程、技术博客等。

联系我们

与 NVIDIA 产品专家交流,了解如何借助 NVIDIA AI Enterprise 的安全性、API 稳定性和支持从试运行阶段向生产阶段推进。

Shell

Shell 利用 NVIDIA NeMo 训练自定义 AI 聊天机器人以提升运营水平

能源行业的全球领导者 Shell 利用 NVIDIA NeMo™ 助力其开发适用于化学领域专业知识的定制 AI 聊天机器人。这一创新解决方案有望通过简化搜索流程、改进决策制定以及支持生产环境中的研发,显著提高员工的生产力。

AI Sweden

利用 LLM 加速行业应用发展

AI Sweden 通过提供易于访问且强大的千亿级参数模型推动区域性语言模型应用的发展。通过历史记录数字化,可以开发用于商业用途的语言模型。

亚马逊

亚马逊和 NVIDIA 如何利用 AI 帮助卖家构建更好的产品清单

亚马逊利用 NVIDIA TensorRT-LLM 和 GPU 将推理速度提高一倍,实现新的 AI 功能,帮助卖家更快地优化产品清单。

Amdocs

NVIDIA 和 Amdocs 将自定义生成式 AI 引入全球电信行业

Amdocs 计划在 Microsoft Azure 上使用 NVIDIA AI 代工服务为价值 1.7 万亿美元的全球电信行业构建自定义 LLM。

AT&T

AT&T 借助 NVIDIA NeMo 提升客户服务 AI 智能体的准确性、效率和性能

全球最大的电信公司之一 AT&T 正在利用 AI 的强大功能重塑客户服务。面对模型漂移、不断增长的计算需求以及对实时数据访问的需求等挑战,AT&T 转而使用 NVIDIA NeMo™ 微服务来构建反馈驱动的 AI 平台,该平台可在优化成本、速度和合规性的同时不断提高性能。

AWS

NVIDIA 为规模庞大的 Amazon Titan 基础模型训练提供支持

亚马逊利用 NVIDIA NeMo 框架、GPU 和 AWS EFA 训练其新一代 LLM,为规模庞大的 Amazon Titan 基础模型客户提供速度更快、更易于使用的生成式 AI 解决方案。

Accenture

加速生成式 AI 在企业中的应用

ServiceNow、NVIDIA 和埃森哲宣布推出 AI Lighthouse,这是首个旨在加快企业生成式 AI 功能开发和应用的计划。

Azure

在 Azure 机器学习中充分利用 NVIDIA AI Enterprise 的强大功能

在 Microsoft Azure 上访问专为企业环境量身定制的全面工具、库、框架和支持服务生态系统。

Bria

Bria 利用 NVIDIA NeMo 和 Picasso 为企业构建负责任的生成式 AI

总部位于特拉维夫的初创公司 Bria 正在通过生成式 AI 服务,为希望以负责任的方式将可视生成式 AI 技术整合到其企业产品中,而且注重模型透明度以及公平归属和版权保护的企业提供帮助。

Cohesity

解锁您的数据超能力:NVIDIA 微服务为 Cohesity 解锁安全的企业级生成式 AI

借助 NVIDIA NIM 和优化模型,Cohesity DataProtect 客户可以为数据备份和归档增加生成式 AI 智能功能。这使得 Cohesity 和 NVIDIA 能够为所有 Cohesity DataProtect 客户提供生成式 AI 的强大功能。利用 NIM 和 NVIDIA 优化模型的强大功能,Cohesity DataProtect 客户可以从数据备份和归档中获得数据驱动的洞察力,使效率、创新和增长达到新的水平。

CrowdStrike

塑造 AI 在网络安全领域的未来

CrowdStrike 和 NVIDIA 正在利用加速计算和生成式 AI 为客户提供一系列专为高效应对安全威胁而量身定制的创新 AI 驱动解决方案。

戴尔

戴尔借助 NVIDIA 验证生成式 AI 设计

戴尔科技和 NVIDIA 宣布了一项计划,旨在使企业更轻松、快速、安全地在本地构建和使用生成式 AI 模型。

德勤

在各个企业软件平台解锁生成式 AI 的价值

德勤将利用 NVIDIA AI 技术和专业知识为企业软件平台构建高性能生成式 AI 解决方案,帮助企业获得重要商业价值。

Domino Data Lab

Domino 在 NVIDIA 的支持下提供生产就绪型生成式 AI

借助 NVIDIA NeMo,数据科学家可以在 Domino 平台上基于专有数据和 IP 根据领域专属用例对 LLM 进行微调,无需从头开始。

Dropbox

Dropbox 和 NVIDIA 为数百万客户提供个性化生成式 AI

Dropbox 计划借助 NVIDIA AI 代工服务,通过 Dropbox Dash 通用搜索工具和 Dropbox AI 构建自定义模型并改进 AI 驱动的知识性工作。

Google Cloud

AI 巨头合作创造生成式 AI 魔法

在 Next 大会上,Google Cloud 宣布推出由 NVIDIA H100 Tensor Core GPU 驱动的 A3 实例。两家公司的工程团队共同合作,将 NVIDIA NeMo 引入 A3 实例,以加快培训练训和推理速度。

HuggingFace

领先的 AI 社区加速数据管护工作流

面向 AI 构建者的领先开放式平台 Hugging Face 正在与 NVIDIA 合作集成 NeMo Curator,并加速其数据过滤和去重库 DataTrove。“我们对 NeMo Curator 的 GPU 加速能力充满期待,迫不及待地想要见证它们为 DataTrove 做出贡献!”Hugging Face 产品总监 Jeff Boudier 表示。

KT

利用 LLM 打造全新的客户体验

韩国领先的移动运营商构建了十亿参数级 LLM,并使用 NVIDIA DGX SuperPOD 平台和 NeMo 框架对这些 LLM 进行了训练,为智能扬声器和客户呼叫中心提供支持。

Lenovo

基于 LLM、面向生成式 AI 的全新参考架构

通过解决方案助力全球合作伙伴和客户以极高的安全性和效率在行业细分领域大规模开发、训练和部署 AI,从而加快创新。

Quantiphi

助力企业快速开启 AI 赋能之旅

Quantiphi 致力于根据 Responsible AI 原则,使用 NVIDIA NeMo 框架训练和微调基础模型,并使用 NVIDIA AI Enterprise 软件平台大规模优化部署。

SAP

SAP 和 NVIDIA 加速在各个企业应用中采用生成式 AI,为全球各行各业提供助力

客户可以利用通过 NVIDIA AI 代工服务和 NVIDIA NIM 微服务部署的定制 LLM,在由 SAP 提供的云解决方案中充分利用其业务数据。

ServiceNow

为企业 IT 构建生成式 AI

ServiceNow 在其 ServiceNow 平台上开发自定义 LLM,以在各项企业 IT 流程中实现智能工作流自动化并提高工作效率。

Perplexity

增强 AI 驱动搜索引擎的模型性能

Perplexity 希望利用 NVIDIA NeMo 快速定制前沿模型,以提高搜索结果的准确性和质量,并对其进行优化,以降低延迟并提高吞吐量,从而获得更好的用户体验。

VMware

VMware 和 NVIDIA 为企业解锁生成式 AI

使用由 NVIDIA 提供支持的 VMware Private AI Foundation,企业可以定制模型并运行生成式 AI 应用,包括智能聊天机器人、助手、搜索和汇总。

Weight & Biases

调试、优化和监测 LLM 工作流

Weights & Biases 帮助研究生成式 AI 用例或使用 LLM 的团队对所有提示工程实验进行追踪和可视化,帮助用户调试和优化 LLM 工作流,并为 LLM 提供监测和观察功能。

Writer

初创公司 Pens 采用 NVIDIA NeMo 的生成式 AI 成功案例

Writer 正在利用 NVIDIA NeMo 构建 LLM,帮助数百家公司在营销、培训、支持等方面为企业用例创建自定义内容。

Arize

Arize 助力 AI 数据飞轮实现自我改进

Arize 的 LLM 工程和可观察性平台集成了 NVIDIA NeMo 微服务,为 AI 数据飞轮提供动力支持,从而通过现实世界的反馈持续优化模型。借助 NeMo Customizer、Evaluator 和 Guardrails,Arize 可确保代理式系统具有高性能、安全性,并能满足不断变化的企业需求。这项合作支持开发自适应 AI,这种 AI 会随着时间的推移而学习和发展。

DataRobot

在 DataRobot 上使用 NeMo 的企业就绪型可信 AI 智能体

通过将 NVIDIA NeMo 嵌入到 DataRobot Enterprise AI 套件中,企业可以确保代理式系统安全、合规并基于企业特定数据。这种集成有助于开发 AI 智能体,在遵守组织标准的同时提供准确、上下文感知的响应。

DataStax

DataStax 和 NVIDIA 共同构建数据和 AI 平台

在过去一年中,DataStax 与 NVIDIA 合作,采用 NVIDIA NeMo 微服务来增强其数据库和 AI 产品中的生成式 AI、检索增强生成和混合搜索功能。结果令人印象深刻:吞吐量性能提高了 19 倍,成本大幅降低,延迟得到改善。

Galileo

Galileo 和 NVIDIA NeMo:降低生产中代理式 AI 的风险

Galileo 集成了 NVIDIA NeMo 微服务来构建 AI 数据飞轮,从而增强智能体的性能、可靠性和信任度。NeMo 为 Galileo 平台添加了补充功能:通过 NeMo Customizer 实现特定领域的持续微调,通过 NeMo Evaluator 实现高级评估,并通过 NeMo Guardrails 保护用户交互,使 AI 团队能够构建、评估和监测代理式 AI 系统,这些系统可在现实世界环境中不断学习和改进。

Building and Deploying Generative AI Models

Enterprises are turning to generative AI to revolutionize the way they innovate, optimize operations, and build a competitive advantage. NeMo is an end-to-end platform for curating data; training, customizing, and evaluating multimodal models; and running inference at scale. It supports text, image, video, and speech generation.

Unlocking Synthetic Data Generation with Llama 3.1

Learn how to use the Meta Llama 3.1 405B model to generate tailored synthetic data for your specific domain and explore how to evaluate this data using the Nemotron-4 340B Reward model and ensure alignment with human preferences through NVIDIA NeMo.

Build World-Class AI Virtual Assistants for Customer Service with RAG

Learn how companies can use the AI virtual assistant for customer service NVIDIA AI Blueprint to improve the operational efficiency of existing contact center solutions or build new customer service-centric systems.