如何开始使用 NVIDIA NeMo

NVIDIA NeMo 是一款企业就绪型模块化软件套件，用于管理 AI 智能体生命周期 (构建、部署和优化智能体系统)，涵盖数据管护、模型自定义和评估，以及部署、编排和持续优化。它与现有的 AI 生态系统和平台无缝集成，为构建 AI 智能体奠定基础，并在任何云、本地或混合环境中快速追踪代理系统的生产路径。它支持快速扩展和轻松创建数据飞轮，从而利用最新信息不断改进 AI 智能体。

NeMo 作为 NVIDIA AI Enterprise 的一部分提供。有关完整的定价和许可信息，请查看此处。

NeMo 可用于定制大语言模型 (LLM)、视觉语言模型 (VLM)、自动语音识别 (ASR) 和文本转语音 (TTS) 模型。

NVIDIA AI Enterprise 中提供了 NVIDIA 企业级标准支持服务。如需其他可用的支持和服务，如 NVIDIA 业务关键型支持、技术客户经理、培训和专业服务，请参阅 NVIDIA 企业支持与服务指南。

NVIDIA NeMo Framework 是一个开源生成式 AI 框架，专为寻求精细控制和代码级灵活性的研究人员和开发者而构建，以高效地大规模构建生成式 AI 模型。它支持多模态生成式 AI 模型的预训练、后训练和强化学习。

NVIDIA NeMo 微服务是基于 NeMo 框架扩展的企业就绪、API 优先的模块化产品，旨在使开发者能够轻松快速地大规模自定义和部署 AI 智能体。它简化了模型微调、评估、护栏和合成数据生成。它们无缝集成到现有的 AI 平台中，使企业能够加速自定义 AI 智能体的开发，并通过数据飞轮工作流不断优化这些智能体。

NeMo Data Designer 是面向 AI 开发者的专用微服务，可通过可配置模式和 AI 驱动的生成模型，提供生成合成数据的编程方式。它旨在无缝集成到您的 AI 开发工作流程中。

NeMo Curator 是一项可扩展的数据管护微服务，可帮助开发者整理 LLM 预训练所需的包含万亿个 Token 的多语言数据集。它由一组 API 形式的 Python 模组组成，这些模组利用 Dask、cuDF、cuGraph 和 Pytorch 将数据下载、文本提取、清理、筛选、完全匹配/模糊匹配去重和文本分类等数据管护任务扩展到数千个计算核心。

NeMo Customizer 是一项可扩展的高性能微服务，能够简化为特定领域用例定制的 LLM 的微调和对齐过程。

NeMo Auditor 通过运行审核任务对 LMM 进行审核，该任务会使用多种提示词探测模型，以识别漏洞。您可以使用这些结果来帮助评估模型和系统的安全性。

NeMo Evaluator 是一个微服务，专为快速可靠地评估自定义 LLM 和 RAG 而设计。它涵盖各种采用预定义指标的基准测试，包括人工评估和 LLM (LMMs-as-a-judge) 评估技术。通过 API 调用，用户可在首选的云平台或数据中心的 Kubernetes 集群上同时部署多个评估作业，从而高效地汇总结果。

NeMo RL 是一个开源库，是 NeMo 框架工具包的一部分，提供高级强化学习算法和可扩展的后训练，以优化和调整企业级 AI 智能体。

NeMo Retriever 是行业领先的 Nemotron RAG 模型的集合，准确率提高了 50%，多模态 PDF 提取速度提高了 15 倍，存储效率提高了 35 倍，使企业能够构建提供实时业务见解的 RAG 工作流。NeMo Retriever 可确保数据隐私，并无缝连接到专有数据 (无论其位于何处)，从而实现安全的企业级检索。

开源 NVIDIA NeMo Agent Toolkit 为生产级 AI 智能体系统提供与框架无关的分析、评估和优化。它捕获有关跨智能体协调、工具使用效率和计算成本的详细指标，通过 NVIDIA 加速计算实现数据驱动的优化。它可用于并行化缓慢的工作流程、缓存昂贵的操作，并在模型更新期间保持系统准确性。该工具包与 OpenTelemetry 和主要智能体框架兼容，可减少云支出，同时提供从单个智能体扩展到企业级数字工作者的见解。

NVIDIA NIM 是 NVIDIA AI Enterprise 的一部分，是一个易于使用的运行环境，专为在企业内加速部署生成式 AI 而设计。这项功能齐全的微服务支持各种 AI 模型，包括开源社区模型、NVIDIA AI Foundation 模型以及自定义 AI 模型。它以推理引擎为稳健基础，加速大规模无缝 AI 推理，确保可跨云端、数据中心和工作站部署 AI 应用。

检索增强生成 这项技术可将 LLM 连接到公司知识库，让 LLM 根据最新信息生成回复的技术。NeMo 可以搭配 Milvus、Llama Index 和 LangChain 等多种第三方工具和社区工具配合使用，从向量数据库中提取相关信息片段并将其提供给 LLM，从而以自然语言生成回复。浏览采用 RAG 工作流的 AI 聊天机器人页面，开始构建能够准确回答您的企业数据相关问题的生产级 AI 聊天机器人。

NVIDIA AI Enterprise 是一个端到端云原生软件平台，可加速数据科学工作流并简化生产级 AI 应用 (包括生成式 AI、计算机视觉、语音 AI 等) 的开发和部署。此平台不仅为 AI 从业者提供了业界领先的开发工具、框架、预训练模型和微服务，还配备了可靠的管理功能，以满足 IT 专业人员对性能、API 稳定性和安全性的需求。