大语言模型（LLMs）功能强大，但它们的知识通常是通用的，可能缺乏企业应用所需的特定、最新或专业信息。"为大语言模型添加知识" 课程提供了一个全面、实践的指南，涵盖增强和定制 LLM 的核心技术。
本课程将带您从原始数据出发，走完构建一个经过优化的微调模型的完整流程。首先，您将学习如何使用 NVIDIA NeMo Curator 筛选高质量数据集并生成合成数据。接着，深入掌握模型评估过程，使用基准测试、LLM-as-a-judge 和 NeMo Evaluator 严格评估模型性能。在打下坚实评估基础之后，您将学习一系列强大的定制技术，包括使用持续预训练注入新知识、通过监督微调教授新技能，以及使用直接偏好优化（DPO）使模型行为更符合人类偏好。
最后，您将学习如何通过量化、剪枝和知识蒸馏等优化技术（基于 TensorRT-LLM 和 NeMo 框架）让您的定制模型在实际部署中高效运行。课程最终将通过一次实践评估收尾，您将在其中运用所学内容将 LLM 调整为特定的对话风格，全面掌握为任何应用场景定制模型的能力。
学习目标
通过本课程，您将掌握以下技能：
- 使用 NVIDIA NeMo Curator 筛选高质量数据集并生成合成数据
- 结合基准测试（如 MMLU）、LLM-as-a-judge 和 NeMo Evaluator 严格评估模型性能
- 通过持续预训练（CPT）为 LLM 注入特定领域的新知识
- 通过监督微调（SFT）让 LLM 学习新技能并完成特定任务
- 使用直接偏好优化（DPO）使模型在风格、语气和安全性方面更贴近人类偏好
- 通过 TensorRT-LLM 和 NeMo 进行量化、剪枝与知识蒸馏，压缩并优化 LLM 以实现高效部署
- 掌握端到端的模型定制工作流，用于解决真实世界的问题
下载课程大纲 (PDF 368 KB)
课程涵盖的主题与技术：
为帮助学习和演示如何为 LLM 增加知识并进行企业级定制，本课程将涵盖以下主题与技术：
- 数据筛选与合成数据生成
- 高级 LLM 评估技术（包括 LLM-as-a-Judge 和 ELO）
- 持续预训练（CPT）用于知识注入
- 监督微调（SFT）用于技能习得
- 直接偏好优化（DPO）用于行为对齐
- 模型优化：量化、剪枝与知识蒸馏
- NVIDIA NeMo 框架、NeMo Curator、NeMo Evaluator 与 NeMo-RL
- TensorRT-LLM 高性能推理优化
