如何开始使用 NVIDIA NeMo

NVIDIA NeMo 是一个全面的企业级平台，用于构建、部署和优化代理式系统，从数据管理、模型定制和评估，到部署、编排和持续优化。它与现有 AI 生态系统和平台无缝集成，为构建 AI 智能体奠定了基础，加速了在任何云、本地或混合环境中构建智能体系统的进程。它支持快速扩展和轻松创建数据飞轮，利用最新信息持续改进 AI 智能体。

NeMo 作为 NVIDIA AI Enterprise 的一部分提供。有关完整的定价和许可信息，请查看此处。

NeMo 可用于定制大语言模型 (LLM)、视觉语言模型 (VLM)、自动语音识别 (ASR) 和文本转语音 (TTS) 模型。

NVIDIA AI Enterprise 中提供了 NVIDIA 企业级标准支持服务。如需其他可用的支持和服务，如 NVIDIA 业务关键型支持、技术客户经理、培训和专业服务，请参阅 NVIDIA 企业支持与服务指南。

NVIDIA NeMo Framework 是一个开源生成式 AI 框架，专为寻求精细控制和代码级灵活性的研究人员和开发者而构建，以高效地大规模构建生成式 AI 模型。它支持多模态生成式 AI 模型的预训练、后训练和强化学习。

NVIDIA NeMo 微服务是基于 NeMo 框架构建的企业级 API 模块化产品，使开发者能够轻松、快速地大规模定制和部署 AI 智能体。它简化了模型微调、评估、护栏和合成数据生成的工作，并且可无缝集成到现有 AI 平台中，使企业能够加速自定义 AI 智能体开发，并通过数据飞轮工作流持续优化它们。

NeMo Data Designer 是一款专为 AI 开发者打造的微服务 (也可作为开放库使用)，通过可配置的架构和 AI 驱动的生成模型，以编程方式生成合成数据，能够无缝集成到您的 AI 开发工作流中。

NeMo Curator 是一项可扩展的数据管护微服务，可帮助开发者整理 LLM 预训练所需的包含万亿个 Token 的多语言数据集。它由一组 API 形式的 Python 模组组成，这些模组利用 Dask、cuDF、cuGraph 和 Pytorch 将数据下载、文本提取、清理、筛选、完全匹配/模糊匹配去重和文本分类等数据管护任务扩展到数千个计算核心。

NeMo Customizer 是一项可扩展的高性能微服务，能够简化为特定领域用例定制的 LLM 的微调和对齐过程。

NeMo Auditor 可使用各种自动攻击和边缘用例提示，对 LLM 进行离线批量探测，以发现安全漏洞。它基于开放的 NVIDIA Garak 库构建，可接入评估工作流和 CI/CD 管线中，便于团队定期进行审核，并依据生成的报告持续强化模型与部署安全性。

NeMo Evaluator 为生成式 AI 应用提供可扩展的基准测试，涵盖 LLM、RAG 工作流和 AI 智能体。它提供开源 SDK，支持基于超过 100 种基准测试进行灵活实验，同时配备云原生微服务，可使用 LLM-as-a-judge 评分机制和专用性能指标，自动化实现企业级评估工作流。

NeMo RL 是一个用于高级强化学习算法和可扩展的后训练的开源库，优化和调整企业级 AI 智能体。

NeMo Gym 是一个开源库，用于为大语言模型 (LLM) 构建强化学习 (RL) 训练环境。NeMo Gym 提供基础架构，用于开发环境、扩展部署集，并与您常用的训练框架无缝集成。它能够生成强化学习训练所需的数据，使 AI 智能体和模型具备该领域的专业技能。

NeMo Retriever 是一个开源库，搭载 Nemotron RAG 模型，用于构建可扩展的管道，从复杂文档中提取多模态数据。其多模态 PDF 提取的准确率提升高达 50%，速度提升至原来的 15 倍。

开源 NVIDIA NeMo Agent Toolkit 为生产级 AI 智能体系统提供与框架无关的分析、评估和优化。它捕获有关跨智能体协调、工具使用效率和计算成本的详细指标，通过 NVIDIA 加速计算实现数据驱动的优化。它可用于并行化缓慢的工作流程、缓存昂贵的操作，并在模型更新期间保持系统准确性。该工具包与 OpenTelemetry 和主要智能体框架兼容，可减少云支出，同时提供从单个智能体扩展到企业级数字工作者的见解。

NVIDIA NIM 是 NVIDIA AI Enterprise 的一部分，是一个易于使用的运行环境，专为在企业内加速部署生成式 AI 而设计。这项功能齐全的微服务支持各种 AI 模型，包括开源社区模型、NVIDIA AI Foundation 模型以及自定义 AI 模型。它以推理引擎为稳健基础，加速大规模无缝 AI 推理，确保可跨云端、数据中心和工作站部署 AI 应用。

检索增强生成 这项技术可将 LLM 连接到公司知识库，让 LLM 根据最新信息生成回复的技术。NeMo 可以搭配 Milvus、Llama Index 和 LangChain 等多种第三方工具和社区工具配合使用，从向量数据库中提取相关信息片段并将其提供给 LLM，从而以自然语言生成回复。浏览采用 RAG 工作流的 AI 聊天机器人页面，开始构建能够准确回答您的企业数据相关问题的生产级 AI 聊天机器人。

NVIDIA Blueprint 是使用 NVIDIA Nemotron 开放模型和库构建的综合参考工作流。每个蓝图均包含参考代码、部署工具、定制指南和参考架构，可加速 AI 智能体和数字孪生等 AI 解决方案从原型到生产的部署。

NVIDIA AI Enterprise 是一个端到端云原生软件平台，可加速数据科学工作流并简化生产级 AI 应用 (包括生成式 AI、计算机视觉、语音 AI 等) 的开发和部署。此平台不仅为 AI 从业者提供了业界领先的开发工具、框架、预训练模型和微服务，还配备了可靠的管理功能，以满足 IT 专业人员对性能、API 稳定性和安全性的需求。