如何开始使用 NVIDIA NeMo

NVIDIA NeMo 是以智能体为核心的开放库和技能套件，用于加速 AI 智能体的专业化、优化和治理。

NeMo 可与现有的 AI 工具和智能体框架集成，在任意云、本地或混合环境中优化专用智能体。

NeMo 作为 NVIDIA AI Enterprise 的一部分提供。有关完整的定价和许可信息，请查看此处。

NeMo 可用于定制大语言模型 (LLM)、视觉语言模型 (VLM)、自动语音识别 (ASR) 和文本转语音 (TTS) 模型。

NVIDIA AI Enterprise 中提供了 NVIDIA 企业级标准支持服务。如需其他可用的支持和服务，如 NVIDIA 业务关键型支持、技术客户经理、培训和专业服务，请参阅 NVIDIA 企业支持与服务指南。

NVIDIA NeMo Framework 是一个开源生成式 AI 框架，专为寻求精细控制和代码级灵活性的研究人员和开发者而构建，以高效地大规模构建生成式 AI 模型。它支持多模态生成式 AI 模型的预训练、后训练和强化学习。

NVIDIA NeMo 微服务是基于 NeMo 框架构建的企业级 API 模块化产品，使开发者能够轻松、快速地大规模定制和部署 AI 智能体。它简化了模型微调、评估、护栏和合成数据生成的工作，并且可无缝集成到现有 AI 平台中，使企业能够加速自定义 AI 智能体开发，并通过数据飞轮工作流持续优化它们。

NeMo Curator 是一项可扩展的数据管护微服务，可帮助开发者整理 LLM 预训练所需的包含万亿个 Token 的多语言数据集。它由一组 API 形式的 PyThon 模组组成，这些模组利用 Dask、cuDF、cuGraph 和 Pytorch 将数据下载、文本提取、清理、筛选、完全匹配/模糊匹配去重和文本分类等数据管护任务扩展到数千个计算核心。

NeMo Data Designer 是一款专为 AI 开发者打造的微服务 (也可作为开放库使用)，通过可配置的架构和 AI 驱动的生成模型，以编程方式生成合成数据，能够无缝集成到您的 AI 开发工作流中。

NeMo Anonymizer 是一个开放库，支持在自由文本中进行上下文感知的数据匿名化。在检测到敏感实体后，可以对其进行标记、编辑、哈希、替换或完全重写。

NeMo Safe Synthesizer 是一个开放库，用于生成敏感数据集的合成版本。它会创建全新的记录，与原始数据不存在一一对应关系，在保护隐私的同时释放数据价值。

NeMo Customizer 是一项可扩展的高性能微服务，能够简化为特定领域用例定制的 LLM 的微调和对齐过程。

NeMo Auditor 可使用各种自动攻击和边缘用例提示，对 LLM 进行离线批量探测，以发现安全漏洞。它基于开放的 NVIDIA Garak 库构建，可接入评估工作流和 CI/CD 管线中，便于团队定期进行审核，并依据生成的报告持续强化模型与部署安全性。

NeMo Evaluator 为生成式 AI 应用提供可扩展的基准测试，涵盖 LLM、RAG 工作流和 AI 智能体。它提供开源 SDK，支持基于超过 100 种基准测试进行灵活实验，同时配备云原生微服务，可使用 LLM-as-a-judge 评分机制和专用性能指标，自动化实现企业级评估工作流。

NeMo Guardrails 使开发者能够为 LLM 和代理式 AI 应用配置可编程的安全护栏。该工具集成了 NVIDIA Nemotron Safety 模型，用于内容安全、PII、越狱检测和话题管控，具有先进的推理能力以及多语言和多模态支持。借助 NeMo Guardrails，企业可以控制智能体的数据访问权限、回复方式，以及可调用的工具与数据源，从而确保符合自定义策略要求并实现安全管控。

NeMo RL 是一个用于高级强化学习算法和可扩展的后训练的开源库，优化和调整企业级 AI 智能体。

NeMo Gym 是一个开源库，用于为大语言模型 (LLM) 构建强化学习 (RL) 训练环境。NeMo Gym 提供基础架构，用于开发环境、扩展部署集，并与您常用的训练框架无缝集成。它能够生成强化学习训练所需的数据，使 AI 智能体和模型具备该领域的专业技能。

NeMo Retriever 是一个开源库，搭载 Nemotron RAG 模型，用于构建可扩展的管道，从复杂文档中提取多模态数据。其多模态 PDF 提取的准确率提升高达 50%，速度提升至原来的 15 倍。

NeMo Relay 是一个集成层，用于将黑盒或通用智能体运行框架接入 NeMo 平台。它帮助团队在无需重建现有智能体架构的情况下，将现有工作流接入 NeMo，从而使用平台的优化、评估和持续改进能力。

NVIDIA NIM 是 NVIDIA AI Enterprise 的一部分，是一个易于使用的运行环境，专为在企业内加速部署生成式 AI 而设计。这项功能齐全的微服务支持各种 AI 模型，包括开源社区模型、NVIDIA AI Foundation 模型以及自定义 AI 模型。它以推理引擎为稳健基础，加速大规模无缝 AI 推理，确保可跨云端、数据中心和工作站部署 AI 应用。

检索增强生成可将 LLM 连接到公司知识库，让 LLM 根据最新信息生成回复的技术。NeMo 可以搭配 Milvus、LlamaIndex 和 LangChain 等多种第三方工具和社区工具配合使用，从向量数据库中提取相关信息片段并将其提供给 LLM，从而以自然语言生成回复。浏览采用 RAG 工作流的 AI 聊天机器人页面，开始构建能够准确回答您的企业数据相关问题的生产级 AI 聊天机器人。

NVIDIA Blueprint 是使用 NVIDIA Nemotron 开放模型和库构建的综合参考工作流。每个蓝图均包含参考代码、部署工具、定制指南和参考架构，可加速 AI 智能体和数字孪生等 AI 解决方案从原型到生产的部署。

NVIDIA AI Enterprise 将用于 AI 开发的微服务、框架和库与先进的 GPU 编排和基础设施管理相结合，提供一个完全受支持、可用于生产环境的商业软件套件。它使用户能够自信地部署领先的开源工具和 AI 模型，提高生产力并缩短价值实现时间，同时以优化的资源利用率大规模运行 AI 工作负载。