世界基础模型
基于 Cosmos 3 构建
面向物理 AI 的前沿全模态模型,具备原生推理、世界仿真和动作生成能力。基于 Mixture-of-Transformers 构建,准确率位于排行榜前列。
推理和分析
将其作为视觉语言模型 (VLM) 使用,理解复杂现实场景中的物体、交互行为与意图,并进行推理分析。
支持实时报警,并对场景中的多个对象和事件进行细致描述,适用于质量检测、公共安全、交通监控、物流和辅助驾驶等领域。
构建专用模型
利用 NVIDIA Cosmos™ 3 作为世界行动模型 (WAM) 的主干网络,加速机器人策略学习。
利用特定摄像头采集的数据和机器人本体数据,对通用世界基础模型进行后训练,使策略模型能够将预先学到的动作能力适配到特定任务、应用领域和行为要求,并实现规模化应用。
仿真世界
作为可控、以物理规律为基础的的世界模拟器,预测单视角或多视角下的世界状态,在闭环中评估结果,并逐步优化至目标行为。
将这一闭环扩展到不同环境、任务和条件,在不承担现实世界风险的情况下持续改进。
生成数据
根据文本、图像、视频、环境声音和动作输入,生成无限种合理的未来情景。
利用视频生成技术,模拟现实中可能出现的场景,用于训练物理 AI,使训练不再受限于实际采集的数据。
平台
构建您自己的世界模型
开放数据、训练框架和优化部署,以更快地构建前沿世界模型。
-
数据
-
构建和部署
用例
Cosmos 如何加速各行各业的 AI 发展
-
智能汽车训练
-
机器人学习
-
视频分析 AI 智能体
智能汽车训练
生成自定义、多样化、高保真的传感器数据,用于安全地训练、测试和验证智能汽车。
- 利用新的天气、光照和地理位置数据,强化现有数据多样性
- 后训练以扩展为多传感器视图
- 利用基于 Cosmos 构建的智能体技能创建端到端合成数据增强和评估工作流
机器人学习
构建机器人学习策略,使具身智能体能够在现实世界环境中,在可见和不可见的条件下运行。
- 针对具身特定任务、环境、摄像头或传感器布局和策略,对 Cosmos 3 进行后训练
- 运行物理精准的闭环仿真
- 利用基于 Cosmos 构建的智能体技能创建端到端合成数据增强和评估工作流
视频分析 AI 智能体
提高工业和城市环境的自动化水平、安全性及运营效率。
借助 Cosmos,AI 智能体可对实时或录制的视频流进行分析、总结与交互,从而:
- 提供实时上下文警报
- 与您的视频对话,并从实时摄像头流或大规模视频库中提取洞察
- 利用 NVIDIA Metropolis Blueprint 构建视频分析 AI 智能体,实现视频搜索和总结
- 生成合成训练数据,进一步提高理解模型精度
性能
在 NVIDIA AI 上运行效果最佳
Cosmos 3 经过优化,在 NVIDIA 硬件上实现了最佳性能。NVIDIA RTX PRO 系列工作站可加速机器人、智能汽车和 AI 智能体的物理 AI 开发,涵盖训练、合成数据生成、仿真和推理。
生态系统
已被领先的物理 AI 创新者广泛应用
自机器人开发、智能汽车和视觉 AI 行业的模型开发者正在使用 Cosmos 加速物理 AI 开发。
后续步骤
常见问题解答
NVIDIA Cosmos 是一个用于构建世界模型的开放平台,提供前沿世界基础模型、开放数据集、训练和优化框架,以及整个开发生命周期中的数据处理和生成蓝图。
Cosmos 3 基于 Mixture of Transformers 架构构建。推理和生成模块使用不同的 Transformer 来实现高效生成和出色性能。因此,该模型会先进行推理再生成内容,从而在各项能力上都实现了领先的物理准确性。在此处了解有关该架构的更多信息。
Cosmos WFM 根据 Linux Foundation 的 OpenMDW1.1 许可提供。
Cosmos 3 已在 GitHub 上开源,每种模态和模组都提供了后训练脚本。此外,NVIDIA TAO 7 提供了一套智能体技能和工具,包括编码智能体和自然语言提示词,用于微调视觉 AI 模型 (如 Cosmos 3)。在 GitHub 上下载 TAO 7 代理式技能和工具。
可以,您可以利用 Cosmos 使用您首选的基础模型或模型架构从头开始构建。您可以开始使用 Cosmos Curator 进行视频数据预处理。然后使用 Cosmos tokenizer 对数据进行压缩和解码。数据处理后,您可以训练或调优模型。
可使用 NVIDIA NIM™,轻松将物理 AI 模型集成到云端、数据中心和工作站的应用中。
您还可以使用 NVIDIA DGX Cloud 训练 AI 模型,并将其大规模部署到任何地方。
Cosmos 3 是一款全方位模型,可以生成文本、图像、视频、声音和行动。而 Cosmos 2.5 和 Cosmos 2 将感知和生成作为独立的模型,且模态仅限于文本、图像和视频。
Omniverse 使用不同的生成式 API、SDK 和 NVIDIA RTX 渲染技术,创建了现实世界任务的逼真 3D 仿真。
开发者可将 Omniverse 仿真作为指令视频输入到 Cosmos Transfer 模型,以生成可控制的照片级逼真的合成数据。
Omniverse 共同提供训练前后仿真环境,而 Cosmos 提供基础模型来生成视频数据并训练物理 AI 模型。
详细了解 NVIDIA Omniverse。