什么是 Mixture-of-Transformers (MoT)？
Mixture-of-Transformers (MoT) 是一种体系架构，将多个 Transformer 模块组合到一个统一的系统中，使其能够在保持共享表示空间的同时，使用适当的处理策略来实现输入、任务或生成目标。
Mixture-of-Transformers (MoT) 如何工作？
MoT 的工作原理是在单一模型中组合多个 Transformer 计算路径，并决定哪个路径应该处理工作负载的哪个部分。“混合”可以在 Token、层、生成目标 (例如用于语言和推理的下一个 Token 预测，或用于连续信号生成的去噪) 或生成模式中发生。
首先，文本、图像、视频帧、音频块、动作或潜在扩散 Token 等输入类型被转换为 Token。即使原始输入不同，模型也会将它们映射到一个公共的嵌入空间，以便它们可以一起处理。
接下来，MoT 可以包含不同的模态感知的 Transformer 模块，而不是一个 Transformer 以相同的方式执行所有操作，例如：
- 用于下一个 Token 预测、推理、规划或时序建模的自动回归 Transformer 路径。
- 扩散变换器路径，用于去噪、细化和高保真图像、视频、音频或行动生成。
同样，系统可以根据模态、任务、时间步长、Token 类型、提示词指令或生成目标进行路由。MoT 使 Transformer 计算有条件：不同的输入、任务或生成目标可以在同一个统一模型内激活不同的 Transformer 能力。
快速链接
为什么 Mixture-of-Transformers (MoT) 很重要？
MoT 模型通常会有多个学习目标进行训练，例如：
- 用于语言、行动或序列推理的下一个 Token 预测
- 扩散生成中的去噪损耗
- 规划、仿真或控制中的任务特定损耗
前两个目标定义了模型如何构建语言和连续信号。规划或仿真等特定任务的目标可以根据生成模式，使用下个标记预测或去噪损耗进行训练。
这不仅教导模型处理不同的数据类型，还能将正确的计算行为应用于正确的工作。
替代方案是根据每种模态和工作负载使用独立的专业模型，但这会增加计算负载/开销，且无法很好地扩展。
MoT 作为一个统一的系统，具有更高的可扩展性、高效性和高性能。
Mixture-of-Transformers (MoT) 的应用和用例
MoT 通过专用的变换器子网络路由不同的输入类型，使其在处理组合多种模态或同时需要不同计算行为的任务方面表现强大。
Mixture-of-Transformers (MoT) 有哪些优势？
挑战和解决方案
快速链接
常见问题解答
Omni 模型是能够理解和生成多种模态 (如文本、图像、视频、音频和行动) 的模型。MoT 不是模型，而是用于构建 Omni 模型的模型体系架构。
世界模型能够理解现实世界的动态，并可以根据文本、视频和行动序列等数据模拟世界的变化。MoT 通过提供一种能够理解这些不同的数据流并生成物理精准、跨模态一致并用于规划行动的未来世界状态的体系架构，来实现世界模型。
MoE 和 MoT 都是使大型 AI 模型更高效的方式。它们不会为每次输入激活整个神经网络，而仅激活所需的部分。
- MoE 在 Transformer 模型中的层级上工作。在标准 Transformer 中，每个 Token 都通过相同的前馈层。借助 MoE，该单一层被多个称为专家的专业版本所取代。一个名为路由器的小组件决定哪些 1–2 个专家应该处理每个 Token。这使得模型能够拥有更多参数和专业能力，同时降低计算成本，因为大多数专家对于任何给定的 Token 都处于非活动状态。
- MoT 在更广泛的 Transformer 块级别上运行，主要适用于集成文本、图像、音频和其他数据类型的多模态模型。不是使用学习的路由器，而是根据模态固定路由。MoT 的主要目的不仅仅是提高效率，还能减少模态干扰，这意味着模型可以单独处理文本、图像和音频，使它们在学习过程中不会相互产生负面影响。
这两种方法互补，可以组合使用。例如，MoT 体系架构可能具有独立的文本和图像转换器路径，这些路径内的每个 Transformer 模块仍然可以在内部使用 MoE 层。
与参数数量相同的密集模型相比，MoT 仅使用相关模态的 Transformer 组件，从而降低每请求的主动计算量。该模型每 Token 的工作量比为每次输入运行每个参数的密集模型要少。这可以在保持相同的模型尺寸的同时，降低延迟并提高吞吐量。
如果对照一个总参数更少的密集模型进行测量，比较就会发生变化。在这种情况下，两种模型每次请求激活的计算量相似，延迟大致相同。MoT 在该场景中的优势在于质量：按模态使组件专门化，往往比相同大小的单一密集路径产生更好的结果，而不是降低计算成本。
在这两种情况下，在生产环境中实现延迟优势，都需要优化的服务、批处理和 GPU 调度，因为如果没有正确的推理栈，体系架构的效率潜力就无法自动转化。
快速链接
开始使用 Mixture-of-Transformers (MoT) 的后续步骤
准备好开始了吗？
了解 NVIDIA Cosmos 如何在 Cosmos 3 白皮书中使用 MoT 构建世界基础模型。
NVIDIA Cosmos
面向物理 AI 的开放平台，配备世界基础模型 (WFM)、视频数据处理库、视频评估和后训练框架。
Cosmos Cookbook
一份全面的指南，介绍了如何利用 NVIDIA Cosmos 生态系统开发针对特定领域的现实应用，为机器人开发、仿真、自主系统和物理场景理解赋能。
