什么是开放模型?

开放模型是指其权重、数据或训练方案可公开获取的 AI 模型,开发者可以在自己的基础设施上对其进行检查、定制和部署这些模型。

开放模型如何工作?

任何 AI 模型的核心都是权重。权重是模型在训练过程中学习的数值参数,能决定它如何处理输入和生成输出。在封闭的模型中,这些权重仍然是专有的:用户通过 API 或应用与模型交互,但无法下载、检查或修改其内容。

开放模型会将上述部分或全部模型组件对外公开。根据不同的模型及其许可协议,其发布的内容可能包含:

  • 模型权重:定义模型行为的训练参数
  • 训练数据:用于构建或定制模型的数据集
  • 训练方案:用于构建模型的方法、超参数和代码
  • 评估资产:用于记录模型性能与局限性的基准测试和模型卡

哪些模型组件可以开放?

模型组件 含义 重要性
模型权重 决定模型行为的已训练参数 支持团队运行、检查并定制化调整模型
训练数据集 用于训练或定制化模型的数据集 帮助团队了解数据质量、覆盖范围与局限性
训练方案 用于构建模型的方法、代码与参数配置 保障实验可复现,支持后续深度定制
评估资产 基准测试集、模型卡与技术报告 帮助对比模型的质量、安全性、成本与业务适配性

并非每个开放模型都包含所有这些资源。借助这些要素,开发者可以下载模型并在自有硬件上运行,使用特定领域的数据对其进行定制,将其集成到自定义工作流中,或是以此作为进一步研究的起点。

如何在专有模型与开放模型之间做选择?

大多数企业组织两者都会使用。现代 AI 应用通常以多模型系统的形式运行,系统会针对各项任务挑选最匹配的模型。

决策因素 使用开放模型 使用专有模型
场景 您需要针对特定领域、工作流程、语言或模态的专用 AI。 您需要广泛的推理、调研、内容合成或快速原型设计能力。
可信性与可控性 您需要更深入地了解模型的组件来源、行为表现、部署方式或治理机制。 托管模型可满足您对安全性、隐私和支持的要求。
定制 您需要使用企业数据、策略或工作流对模型进行定制。 通过提示工程或配置就足以完成任务。
部署 您需要在私有环境、本地、边缘端或低延迟场景中运行 AI。 您希望由服务提供商负责管理基础设施、扩展和更新。
成本与性能 您可以针对重复的、大规模任务优化一个专用模型。 您需要立即使用前沿功能,而无需管理模型。

最佳方案通常是混合策略:在专业任务中采用定制化的开放模型,而在需要通用能力时使用专有模型。

这两个术语虽有关联,但不能混为一谈。传统软件领域的开源,要求公开用于研究、修改和重新分发系统所需的所有代码。一个完全开放的 AI 发布应包含权重、训练数据集、代码和文档。

许多模型以开放权重和有限文档的形式,在宽松许可协议下发布,但并未共享完整的训练数据集或代码。“开放权重”和“开放模型”是更精确的术语,它们反映了实际公开的资源内容,以及开发者究竟可以检查、复现或改造哪些内容。

开放模型如何驱动各行各业的 AI

观看 NVIDIA 开放模型如何助力构建全球最多元的 AI 生态系统之一,其应用涵盖语言、视觉、生物、物理以及智能驾驶系统。

快速链接

开放模型的应用和用例有哪些?

各行各业均可采用开放模型,只要开发者需要自主掌控 AI 的适配方式、运行部署环境以及所处理的数据内容。高效的 AI 系统通常会将面向细分领域任务定制后的开放模型,与擅长复杂推理的前沿模型搭配组合,依据不同业务场景选用最合适的模型。

开放模型通常通过 Hugging Face 和 GitHub 等平台分发,开发者可在这些平台浏览、下载和共享模型权重、数据集和训练代码。这些平台已成为开放模型生态系统的核心基础设施,推动了社区的快速采用与试验。

专用 AI 智能体

企业使用开放模型,搭建适配自身业务领域的定制化专用智能体。对于法律服务,Harvey 在其法律基准测试上对 NVIDIA Nemotron™ 3 Ultra 进行了后训练,并达到了前沿级别的精度 —— 在处理复杂的法律任务时可媲美领先的闭源模型,且运行成本至少降低了 90%

机器人和物理 AI

包括机器人和智能汽车在内的物理 AI 系统,需要能够理解现实世界如何随时间而变化的模型。开放世界模型、精选数据集、基准测试和训练方案可帮助团队模拟真实世界条件,在数字环境中测试具身智能,并可在部署前针对特定硬件定制模型。

医疗健康和生命科学

医疗健康和生命科学团队使用开放模型定制用于生物学、化学、临床研究和药物研发工作流的专用 AI 智能体。智能体可调用工具完成蛋白质结构预测、分子对接、生成式化学计算、基因组分析、蛋白质设计以及生物标志物挖掘等工作,帮助科研人员汇总实验依据、开展数字化模拟实验,并决定后续的研究方向。

全球各地的科学研究

各国科研机构和区域性组织利用开放模型,构建适配特定语言、文化背景和本地治理框架的人工智能。YTL AI Labs Nemotron 模型进行了针对马来语后训练,助力马来西亚以自主方式构建和部署本地化定制的 AI。

电信

电信提供商为客户服务、现场服务和网络运营定制开放模型。例如,AdaptKey 利用电信行业数据集对 NVIDIA Nemotron 3 Nano 进行了微调,提升了电信特定推理任务的精度。

趋势分析和预测

开放模型可处理私有账簿、预测数据和合同,使分析建立在组织内部数据的基础之上。由多个模型构成的系统还可结合复杂的市场信号和非结构化文本 (例如新闻报道、SEC 文件和监管文档),识别趋势、量化风险,并加快投资决策速度。

代码生成

由多个模型构成的系统可借助长上下文推理,理解源文件、依赖关系及相关任务,从而加速代码生成和审查。随后,开放模型对代码仓库进行摘要,并提取结构化上下文,使前沿模型能够发现问题、提出修复建议,并大规模保障代码质量。

开放模型有哪些优势?

信任

开放模型资产可供审计和测试。研发团队能够核验模型运行表现、识别数据偏见问题,并对齐模型输出结果,使其符合内部规范标准。

定制

团队可以使用自有数据、工作流和策略来定制开放模型。这有助于企业在基础模型受限或尚不存在的领域构建专有 AI,应用范围涵盖物理 AI、气候预测以及智能汽车等领域。

控制

开放模型可以部署在私有基础设施上。敏感数据始终保留在由企业、机构和研究团队所控制的环境中。

灵活部署

团队可以针对其基础设施来调整和优化开放模型。这些模型可以部署在数据中心、云环境、工作站或边缘设备中。

挑战和解决方案

采用开放模型具有显著优势。在实施时,请留意以下注意事项。

专业技术要求

部署和微调开放模型需要较强的工程技术能力。企业需要具备管理训练基础设施、数据管线和模型评估能力的团队。

解决方案

  • 建议从包含训练方案、快速入门指南和社区资源的模型系列入手。
  • 对于仅需部署模型而无需执行完整训练工作流的团队,可使用 Coreweave、Nebius、DeepInfra 和 Baseten 等托管推理平台来减轻运维负担。

计算和基础设施成本

后训练大模型需要 GPU 资源,而大规模推理则需要能够满足模型需求的硬件。

解决方案

  • LoRA 等参数高效的微调方法,减少了适配大模型所需的算力。
  • 量化技术可缩减模型体积,以便将其部署在低成本硬件上。经过优化的推理软件可进一步降低每个 Token 的成本。

安全与治理

部署开放模型权重的企业组织需对模型的行为负责。如果缺乏适当的评估与安全护栏,模型可能会产生有害或带有偏见的输出。

解决方案

  • 模型卡和负责任使用指南可帮助团队在部署前了解模型局限性。
  • 安全分类器和护栏模型可以叠加在基础模型之上,以此强制执行内容管控策略。

许可及合规清晰度

开放模型的许可协议差异很大 —— 部分协议禁止商用,部分协议限制修改后模型权重的二次分发,且不同模型版本对应的许可条款也可能发生变动。

解决方案

  • 在部署前,请仔细审查模型许可协议。
  • 优先选用公开了清晰宽松许可协议、且对商用行为与模型微调作出明文规定的模型系列。

可用于开发的开放技术类型

开放模型生态系统包括由 Mistral、Sarvam 和 NAVER Cloud 等公司构建的模型;LangChain、Hermes 智能体和 OpenClaw 等社区工具;WideLabs、Pleias 和 FPT Corporation 的数据集;以及其他众多有助于团队构建、定制、评估和部署 AI 的开放技术。

NVIDIA 对开放模型进行了优化,使其能够更快、更轻松且更可靠地部署到生产环境中。NVIDIA NIM™ 可适配 NVIDIA 自研模型和社区开放模型,依托加速推理能力、优异的可移植性以及面向企业级的部署方案,支持在云端、数据中心、工作站及边缘设备等各类环境中完成部署。

这些资源共同为开发者、企业和机构在代理式 AI、物理 AI、机器人、生命科学及自主系统等领域提供了更多选择。

NVIDIA 开放技术

AI 生态系统包括数百个最先进的开放模型、数据集和蓝图,涵盖代理式 AI、物理 AI、机器人技术和智能汽车

专项任务 开放技术示例
复杂问题求解、编程、推理和数学推理 <a href="https://huggingface.co/collections/nvidia/nvidia-nemotron-v3" target="_blank">NVIDIA Nemotron 3</a>
语音 <a href="https://huggingface.co/collections/nvidia/nemotron-speech" target="_blank">NVIDIA Nemotron Speech</a><br> <div class="nv-text"> <ul> <li><a href="https://huggingface.co/nvidia/nemotron-speech-streaming-en-0.6b" target="_blank">Nemotron Speech Streaming EN 0.6B</a></li> <li><a href="https://huggingface.co/collections/nvidia/parakeet-asr" target="_blank">NVIDIA Parakeet ASR 模型</a></li> <li><a href="https://huggingface.co/collections/nvidia/canary-asr-ast" target="_blank">NVIDIA Canary 多任务 ASR/NMT 模型</a></li> <li><a href="https://huggingface.co/nvidia/magpie_tts_multilingual_357m" target="_blank">NVIDIA Magpie 多语种 TTS</a></li> <li><a href="https://huggingface.co/datasets/nvidia/Granary" target="_blank">Granary 数据集</a></li> </ul> </div>
多模态检索增强生成 (<a href="https://www.nvidia.cn/glossary/retrieval-augmented-generation/">RAG</a>) <a href="https://huggingface.co/collections/nvidia/nemotron-rag" target="_blank">NVIDIA Nemotron RAG</a><br> <div class="nv-text"> <ul> <li><a href="https://huggingface.co/nvidia/llama-nemotron-rerank-vl-1b-v2" target="_blank">Llama Nemotron Rerank VL 1B V2</a></li> <li><a href="https://huggingface.co/nvidia/llama-nemotron-embed-vl-1b-v2" target="_blank">Llama Nemotron Embed VL 1B V2</a></li> <li>Llama Embed Nemotron <a href="https://huggingface.co/datasets/nvidia/embed-nemotron-dataset-v1" target="_blank">数据集</a></li> <li><a href="https://github.com/NVIDIA-AI-Blueprints/rag" target="_blank">RAG Blueprint</a></li> </ul> </div>
数据隐私与模型安全 <a href="https://huggingface.co/collections/nvidia/nemoguard" target="_blank">NVIDIA Nemotron Safety</a><br> <div class="nv-text"> <ul> <li><a href="https://huggingface.co/nvidia/Llama-3.1-Nemotron-Safety-Guard-8B-v3" target="_blank">Llama Nemotron 内容安全 8B V3</a> <ul> <li><a href="https://huggingface.co/datasets/nvidia/Nemotron-Safety-Guard-Dataset-v3" target="_blank">数据集</a></li> </ul> </li> <li><a href="https://huggingface.co/nvidia/gliner-PII" target="_blank">Nemotron PII</a> <ul> <li><a href="https://huggingface.co/datasets/nvidia/Nemotron-PII" target="_blank">数据集</a></li> </ul> </li> <li><a href="https://huggingface.co/nvidia/Nemotron-Content-Safety-Reasoning-4B" target="_blank">Nemotron 内容安全推理 4B</a> <ul> <li><a href="https://huggingface.co/datasets/nvidia/Nemotron-Content-Safety-Reasoning-Dataset" target="_blank">数据集</a></li> </ul> </li> </ul> </div>
构建可在任何环境中安全运行、并由您的数据赋能的定制 AI 研究助手 <a href="https://github.com/NVIDIA-AI-Blueprints/aiq" target="_blank">面向企业搜索的 NVIDIA AI-Q Blueprint</a>
生成用于训练物理 AI 的合成数据<br><br> 构建专用世界行动模型&nbsp;<br><br> 开发用于智能基础设施分析与安全保障的视觉 AI 智能体&nbsp;<br><br> 对<a href="https://www.nvidia.cn/glossary/world-models/">世界模型</a>进行后训练,以支持机器人或自动驾驶的推理或策略评估 <a href="https://www.nvidia.cn/ai/cosmos/">NVIDIA Cosmos&trade; 3</a><br><br><a href="https://github.com/nvidia/Cosmos" target="_blank">Cosmos 框架</a>
用于处理、分析和整理视频内容的视频策展系统 <a href="https://github.com/nvidia-cosmos/cosmos-curate" target="_blank">Cosmos Curator</a>
利用视觉 —语言 — 行动模型实现辅助驾驶感知、规划与控制 <a href="https://github.com/NVlabs/alpamayo" target="_blank">Alpamayo 1</a>
基于推理的自动驾驶模型的闭环训练与评估 <a href="https://github.com/NVlabs/alpasim" target="_blank">AlpaSim</a>
借助开放的视觉 — 语言 — 行动模型实现通用机器人技能、推理和全身控制 <a href="https://github.com/NVIDIA/Isaac-GR00T" target="_blank">NVIDIA Isaac&trade; GR00T N 模型</a>
用于分析海量录制视频和实时视频内容的<a href="https://www.nvidia.cn/use-cases/video-analytics-ai-agents/">视觉 AI 智能体</a> <a href="https://github.com/NVIDIA-AI-Blueprints/video-search-and-summarization" target="_blank">NVIDIA 视频搜索和总结蓝图 (VSS)</a>
面向天气与气候应用的开放式 AI 模型和工具,涵盖全球预测、极端天气预测、数据同化和降尺度 <a href="https://www.nvidia.cn/high-performance-computing/earth-2/">NVIDIA Earth-2</a>
面向生物学与药物发现的开放模型、数据集和库,包括生物基础模型构建、分子设计、虚拟筛选、蛋白质结构预测和蛋白质结合剂设计 <a href="https://github.com/NVIDIA-BioNeMo" target="_blank">NVIDIA BioNeMo&trade;</a>

关于开放模型的常见问题解答

并非所有开放模型都一样。需要评估的关键因素:

  • 在匹配自身业务任务的各类评测基准上的表现 (例如推理、编码、多语言、特定领域)
  • 许可协议条款 —— 是否允许商业用途、微调和再分发
  • 结合自身现有基础设施,评估模型体量大小与对应硬件配置需求
  • 配套文档的完善程度:包含模型卡、训练明细说明以及已探明的模型缺陷边界
  • 社区采用度与维护节奏 —— 活跃的代码库和清晰的版本控制标志着模型得到了良好的支持

Artificial Analysis、Open LLM Leaderboard、Physics-IQ、Robolab 和 VANTAGE-Bench 等排行榜为众多开放模型提供了标准化的基准测试对比。

开源模型的许可协议差异很大,这类协议划定了使用者对模型开展各类操作的合法权限范围。常见类型包括:

  • OpenMDW 1.1:专为机器学习模型打造的宽松许可协议,可确保 AI 模型分发包的所有组件具备开放性、一致性和清晰性
  • Apache 2.0 协议:宽松型许可协议;允许商用、修改以及重新分发,使用时仅需标注原作者归属信息
  • MIT:同样宽松;约束条款极少
  • 定制化研究许可或社区许可协议:此类协议可能会限制商业使用、要求大规模部署场景签署专项协议,或是明令禁止将模型用于特定应用场景。

在生产或商业环境中部署模型前,务必仔细审查具体的许可协议。许可协议条款也可能会因模型版本不同而存在差异。

开放模型可以在企业环境中安全使用,但安全性并非与生俱来 —— 仍需严谨的评估与控制:

  • 查阅模型卡,以了解已知风险、偏见评估及预期用例。
  • 在部署前,针对特定领域的输入自行执行红队测试与安全评估。
  • 在基础模型之上叠加安全分类器和护栏模型,以强制执行内容和行为策略。
  • 建立治理流程,以便在模型更新时进行版本控制、监控和重新验证。

训练数据和方法的透明度 (这是开放模型的核心优势) 使得系统性的安全评估比封闭系统更加可行。

可以。不过具体的工作量取决于具体的应用场景:

  • 仅推理 (无需定制模型):准入门槛最低;许多开放模型可以使用 Ollama 或 llama.cpp 等工具在本地或普通配置的云端硬件上运行。
  • 基于提示词的定制:无需重新训练;通过精心设计的系统提示词,可有效处理众多业务任务。
  • 高级定制:微调需要更多 ML 专业知识和算力,但参数高效的方法 (如 LoRA、QLoRA) 已显著降低了资源门槛。

包含训练方案、快速入门指南和预构建的部署配置的模型系列,降低了入门所需的专业技术门槛。

大多数企业组织两者都会使用。开放模型与专有模型相辅相成,企业可针对各项任务挑选最匹配的模型。

  • 在信任、控制与定制化至关重要的场景下,建议使用开放模型——例如,针对财务工作流微调模型、在私有环境中部署医疗健康模型,或在边缘设备上运行用于实时制造的专业模型。
  • 如果需要快速获取托管的通用能力,请使用专有模型——例如,进行宽泛领域的研究、内容合成、复杂的跨领域推理,或快速的应用原型设计。

多数生产环境系统会采用二者结合的方案:针对垂直专属任务调用定制化开源模型,通用复杂场景则选用顶尖闭源模型,依据业务需求在两类模型之间智能调度分流。最优架构取决于管控权限、成本开销、数据隐私、响应时延、精度指标与综合性能等各项业务需求。

后续步骤

了解社区如何共同推动开源发展

开源 AI 通过共享模型、数据集、基准测试、训练方案以及社区协作不断取得进步。NVIDIA 通过由联盟主导的工作为该生态系统提供支持,助力开发者、企业和各类组织构建可信、可定制的模型系统,并将 AI 转化为差异化竞争优势。

深入了解 NVIDIA Nemotron

了解 NVIDIA Nemotron 开放模型如何与前沿模型协同工作,在保持业界领先性能的同时,提供定制化的专业 AI 能力。

了解 NVIDIA Cosmos

NVIDIA Cosmos 是一个包含开放世界基础模型 (WFM)、安全护栏和数据处理库的平台,用于加速智能汽车、机器人和专用视频分析 AI 智能体的模型定制。