前沿模型是当今最先进的通用 AI 模型,能够有效处理多种任务。
前沿模型是当前可用的最先进的 AI 模型,它们基于海量数据集进行训练,可在多种任务中提供最先进的性能,代表了 AI 能力的最前沿。它们通常为高级推理、图像和文本生成以及智能体工作流提供支持。
最有效的 AI 系统将前沿模型与 NVIDIA Nemotron™ 等开源模型相结合,以优化准确性、延迟和成本。路由机制会对每项请求的任务进行分类,并自动选择和提示最适合的模型。结果是,最专业的轻量级模型部署用于简单和领域特定的问题,而更强大的模型用于复杂的推理和任务。这种方法既能确保最终用户体验流畅,又能优化基础设施支出。
现代 AI 智能体被构建为整合了前沿模型和专业模型的系统。
这种架构方法可确保组织“一方面始终处于前沿,另一方面始终保持定制化”,同时保持运营效率。
前沿模型和开放模型相互作用,并路由到代理式应用。
前沿模型为各行各业中使用公共和私人数据的各种企业和消费者应用提供支持。凭借先进的推理能力和广泛的知识储备,它们能够处理各种任务,从分析复杂的财务数据到为对话式 AI 助手提供支持,这使得它们成为寻求解决多方面业务挑战的组织的宝贵工具。
大规模部署前沿模型会同时面临技术挑战和运营挑战,需要战略性解决方案。通过在规划过程的早期阶段解决有关数据隐私、集成复杂性和资源优化的问题,组织可以构建稳健的 AI 系统,在遵守安全和合规要求的同时,实现持续的业务价值。
| 领域 | 专项任务 | 开放技术示例 |
|---|---|---|
| 代理式 AI | 用于复杂问题求解的推理、编码、推理和数学 | <a href="https://huggingface.co/collections/nvidia/nvidia-nemotron-v3" target="_blank">NVIDIA Nemotron 3 Nano</a> |
| 语音 | <a href="https://huggingface.co/collections/nvidia/nemotron-speech" target="_blank">NVIDIA Nemotron Speech</a> <div class="nv-text"> <ul> <li><a href="https://huggingface.co/nvidia/nemotron-speech-streaming-en-0.6b" target="_blank">Nemotron Speech Streaming EN 0.6B</a></li> <li><a href="https://huggingface.co/collections/nvidia/parakeet-asr" target="_blank">NVIDIA Parakeet high-speed, accurate ASR models</a></li> <li><a href="https://huggingface.co/collections/nvidia/canary-asr-ast" target="_blank">NVIDIA Canary multi-task, ASR/NMT models</a></li> <li><a href="https://huggingface.co/nvidia/magpie_tts_multilingual_357m" target="_blank">NVIDIA Magpie TTS Multilingual</a></li> <li><a href="https://huggingface.co/datasets/nvidia/Granary" target="_blank">Granary 数据集</a></li> </ul> </div> | |
| 多模态检索增强生成 (<a href="https://www.nvidia.cn/glossary/retrieval-augmented-generation/">RAG</a>) | <a href="https://huggingface.co/collections/nvidia/nemotron-rag" target="_blank">NVIDIA Nemotron RAG</a> <div class="nv-text"> <ul> <li><a href="https://huggingface.co/nvidia/llama-nemotron-rerank-vl-1b-v2" target="_blank">Llama Nemotron Rerank VL 1B V2</a></li> <li><a href="https://huggingface.co/nvidia/llama-nemotron-embed-vl-1b-v2" target="_blank">Llama Nemotron Embed VL 1B V2</a></li> <li>Llama Embed Nemotron <a href="https://huggingface.co/datasets/nvidia/embed-nemotron-dataset-v1" target="_blank">数据集</a>, <a href="https://github.com/NVIDIA-NeMo/Automodel/tree/main/examples/" target="_blank">训练代码</a></li> <li><a href="https://github.com/NVIDIA-AI-Blueprints/rag" target="_blank">RAG Blueprint</a></li> </ul> </div> | |
| 数据隐私和模型安全 | <a href="https://huggingface.co/collections/nvidia/nemoguard" target="_blank">NVIDIA Nemotron Safety</a> <div class="nv-text"> <ul> <li> <a href="https://huggingface.co/nvidia/Llama-3.1-Nemotron-Safety-Guard-8B-v3" target="_blank">Llama Nemotron Content Safety 8B V3</a> <ul><li><a href="https://huggingface.co/datasets/nvidia/Nemotron-Safety-Guard-Dataset-v3" target="_blank">数据集</a></li></ul> </li> <li> <a href="https://huggingface.co/nvidia/gliner-PII" target="_blank">Nemotron PII</a> <ul><li><a href="https://huggingface.co/datasets/nvidia/Nemotron-PII" target="_blank">数据集</a></li></ul> </li> <li> <a href="https://huggingface.co/nvidia/Nemotron-Content-Safety-Reasoning-4B" target="_blank">Nemotron Content Safety Reasoning 4B</a> <ul><li><a href="https://huggingface.co/datasets/nvidia/Nemotron-Content-Safety-Reasoning-Dataset" target="_blank">数据集</a></li></ul> </li> </ul> </div> | |
| 构建一个可以在任何地方安全运行且基于您的数据提供见解的定制 AI 研究员 | <a href="https://github.com/NVIDIA-AI-Blueprints/aiq/tree/release/2.2" target="_blank">用于企业搜索的 AI-Q Blueprint</a> | |
| 物理 AI | 基于突破性的 MoT 体系架构的世界基础模型,能够思考并生成文本、图像、视频、声音和行动。<br> <br> 使用该模型作为基座,构建世界行动模型,教会机器人在现实世界中操作。<br> <br> 生成大规模定制的合成数据以训练物理 AI,或运行闭环仿真以提升性能。<br> <br> 用作推理<a href="https://www.nvidia.cn/glossary/vision-language-models/">视觉语言模型</a>,帮助机器人和 AI 智能体在物理世界中观察、理解、分析和交互 | <a href="https://www.nvidia.cn/ai/cosmos/" target="_blank">NVIDIA Cosmos 3</a><br> <br> <a href="https://github.com/nvidia/Cosmos" target="_blank">Cosmos 框架</a> |
| 用于机器人开发或自动驾驶推理或策略评估的后训练<a href="https://www.nvidia.cn/glossary/world-models/">世界模型</a>。 | ||
| 处理、分析和组织视频内容的视频整理系统 | <a href="https://github.com/nvidia-cosmos/cosmos-curate" target="_blank">Cosmos Curator</a> | |
| 利用视觉语言行动模型实现自动驾驶感知、规划和控制 | <a href="https://github.com/NVlabs/alpamayo" target="_blank">Alpamayo 1</a> | |
| 基于推理的自动驾驶汽车模型的闭环训练和评估 | <a href="https://github.com/NVlabs/alpasim" target="_blank">AlpaSim</a> | |
| 通过开放的视觉语言行动模型,泛化机器人技能、推理和全身控制 | <a href="https://github.com/NVIDIA/Isaac-GR00T" target="_blank">NVIDIA Isaac™ GR00T N 模型</a> | |
| 用于分析大量录制和直播视频内容的<a href="https://www.nvidia.cn/use-cases/video-analytics-ai-agents/">视觉 AI 智能体</a> | <a href="https://github.com/NVIDIA-AI-Blueprints/video-search-and-summarization" target="_blank">适用于视频搜索和总结 (VSS) 的 NVIDIA Blueprint</a> |
后续步骤
了解 NVIDIA Nemotron 开放模型如何与前沿模型协同工作,在保持先进性能的同时提供专业能力。
NVIDIA Cosmos 是一个包含开放世界基础模型 (WFM)、护栏和数据处理库的平台,用于加速自动驾驶汽车 (AV)、机器人和视频分析 AI 智能体专用模型的开发。
订阅 NVIDIA AI 新闻并加入开发者社区,及时了解关于前沿模型、代理式 AI 和 NVIDIA 技术的最新信息。