物理 AI

NVIDIA Cosmos

一个前沿开放平台,可为物理 AI 更快地构建、专用化和部署世界模型。

体验模型 | 视频 | 博客

世界基础模型

基于 Cosmos 3 构建

面向物理 AI 的前沿全模态模型,具备原生推理、世界仿真和动作生成能力。基于 Mixture-of-Transformers 构建,准确率位于排行榜前列。

推理和分析

将其作为视觉语言模型 (VLM) 使用,理解复杂现实场景中的物体、交互行为与意图,并进行推理分析。

支持实时报警,并对场景中的多个对象和事件进行细致描述,适用于质量检测、公共安全、交通监控、物流和辅助驾驶等领域。

构建专用模型

利用 NVIDIA Cosmos™ 3 作为世界行动模型 (WAM) 的主干网络,加速机器人策略学习。

利用特定摄像头采集的数据和机器人本体数据,对通用世界基础模型进行后训练,使策略模型能够将预先学到的动作能力适配到特定任务、应用领域和行为要求,并实现规模化应用。

仿真世界

作为可控、以物理规律为基础的的世界模拟器,预测单视角或多视角下的世界状态,在闭环中评估结果,并逐步优化至目标行为。

将这一闭环扩展到不同环境、任务和条件,在不承担现实世界风险的情况下持续改进。

生成数据

根据文本、图像、视频、环境声音和动作输入,生成无限种合理的未来情景。

利用视频生成技术,模拟现实中可能出现的场景,用于训练物理 AI,使训练不再受限于实际采集的数据。

平台

构建您自己的世界模型

开放数据、训练框架和优化部署,以更快地构建前沿世界模型。

使用开放数据集

访问大规模、多具身化的物理 AI 数据集,以克服现实世界训练数据稀缺和碎片化的问题。

准备训练数据

将现有多模态数据集处理为高质量、AI 就绪的格式,以满足开发工作流的需求,并生成合成数据以缩小关键数据差距。

从预训练的 Cosmos World Foundation 模型开始

利用这一面向物理 AI 的前沿开放世界基础模型系列及首个可理解和生成文本、图像、视频、环境声音和行动的全方位模型进行构建。

  • Cosmos 3 Super
    64B 参数全模态模型。提供最佳物理模型精度和生成质量。可随前沿算力的扩展而提升能力。
  • Cosmos 3 Nano
    16B 参数高效世界模型,专为 NVIDIA DGX Station™ 上快速开展后训练而打造,可针对各类物理 AI 任务进行专门化定制。
  • Cosmos 3 Edge
    4B 参数全方位模型,采用基于 NVIDIA Nemotron™ 的推理模块。边缘设备上的开箱即用的实时视觉语言模型 (VLM) 和世界动作模型 (WAM)。快速、简单、低成本的专业化定制。

浏览完整集合 | 立即体验

训练和部署您自己的模型

使用 NVIDIA 的开放开发框架和加速推理栈,训练、后训练、优化和部署您自己的世界模型。

  • Cosmos 框架
    用于训练和服务 WFM 的开放、模块化框架 —— 推理、后训练脚本和智能体技能。
  • NVIDIA NIM™
    在 NVIDIA 加速基础设施中,将优化的世界模型作为生产就绪的 API 部署。
  • NVIDIA TensorRT™ LLM
    优化和加速模型推理,以实现高吞吐量、低延迟的部署。

用例

Cosmos 如何加速各行各业的 AI 发展

使用 Cosmos WFM 为机器人、智能汽车和工业视觉系统中的下游工作流进行仿真、推理和数据生成支持。

智能汽车训练

生成自定义、多样化、高保真的传感器数据,用于安全地训练、测试和验证智能汽车。

  • 利用新的天气、光照和地理位置数据,强化现有数据多样性
  • 后训练以扩展为多传感器视图
  • 利用基于 Cosmos 构建的智能体技能创建端到端合成数据增强和评估工作流

机器人学习

构建机器人学习策略,使具身智能体能够在现实世界环境中,在可见和不可见的条件下运行。

  • 针对具身特定任务、环境、摄像头或传感器布局和策略,对 Cosmos 3 进行后训练
  • 运行物理精准的闭环仿真
  • 利用基于 Cosmos 构建的智能体技能创建端到端合成数据增强和评估工作流

视频分析 AI 智能体

提高工业和城市环境的自动化水平、安全性及运营效率。 

借助 Cosmos,AI 智能体可对实时或录制的视频流进行分析、总结与交互,从而:

  • 提供实时上下文警报
  • 与您的视频对话,并从实时摄像头流或大规模视频库中提取洞察
  • 利用 NVIDIA Metropolis Blueprint 构建视频分析 AI 智能体,实现视频搜索和总结
  • 生成合成训练数据,进一步提高理解模型精度

性能

在 NVIDIA AI 上运行效果最佳

Cosmos 3 经过优化,在 NVIDIA 硬件上实现了最佳性能。NVIDIA RTX PRO 系列工作站可加速机器人、智能汽车和 AI 智能体的物理 AI 开发,涵盖训练、合成数据生成、仿真和推理。

生态系统

已被领先的物理 AI 创新者广泛应用

自机器人开发、智能汽车和视觉 AI 行业的模型开发者正在使用 Cosmos 加速物理 AI 开发。

后续步骤

准备好开始了吗?

探索世界模型、数据集和工具,使开发者能够为机器人、智能汽车、智能基础设施等构建物理 AI。

NVIDIA Cosmos Labs

NVIDIA Cosmos Lab 率先推出大规模世界基础模型,可模拟物理世界,这也是突破性物理 AI 的基础。

Cosmos 社区

联系 Cosmos 专家、与其他开发者互动、提供模型反馈,并通过直播和示例方案不断学习。

资源

Cosmos 开发者的最新动态

常见问题解答

NVIDIA Cosmos 是一个用于构建世界模型的开放平台,提供前沿世界基础模型、开放数据集、训练和优化框架,以及整个开发生命周期中的数据处理和生成蓝图。

Cosmos 3 基于 Mixture of Transformers 架构构建。推理和生成模块使用不同的 Transformer 来实现高效生成和出色性能。因此,该模型会先进行推理再生成内容,从而在各项能力上都实现了领先的物理准确性。在此处了解有关该架构的更多信息。

Cosmos WFM 根据 Linux Foundation 的 OpenMDW1.1 许可提供。

Cosmos 3 已在 GitHub 上开源,每种模态和模组都提供了后训练脚本。此外,NVIDIA TAO 7 提供了一套智能体技能和工具,包括编码智能体和自然语言提示词,用于微调视觉 AI 模型 (如 Cosmos 3)。在 GitHub 上下载 TAO 7 代理式技能和工具。

可以,您可以利用 Cosmos 使用您首选的基础模型或模型架构从头开始构建。您可以开始使用 Cosmos Curator 进行视频数据预处理。然后使用 Cosmos tokenizer 对数据进行压缩和解码。数据处理后,您可以训练或调优模型。

可使用 NVIDIA NIM™,轻松将物理 AI 模型集成到云端、数据中心和工作站的应用中。

您还可以使用 NVIDIA DGX Cloud 训练 AI 模型,并将其大规模部署到任何地方。

Cosmos 3 是一款全方位模型,可以生成文本、图像、视频、声音和行动。而 Cosmos 2.5 和 Cosmos 2 将感知和生成作为独立的模型,且模态仅限于文本、图像和视频。

Omniverse 使用不同的生成式 API、SDK 和 NVIDIA RTX 渲染技术,创建了现实世界任务的逼真 3D 仿真。

开发者可将 Omniverse 仿真作为指令视频输入到 Cosmos Transfer 模型,以生成可控制的照片级逼真的合成数据。

Omniverse 共同提供训练前后仿真环境,而 Cosmos 提供基础模型来生成视频数据并训练物理 AI 模型。

详细了解 NVIDIA Omniverse。