NVIDIA CMX 上下文记忆存储平台

NVIDIA BlueField 平台提供突破性的性能、效率和创新，加速 NVIDIA CMX。BlueField-4 管理非易失性存储器 (NVMe) 固态硬盘 (SSD)，运行存储服务，并高能效地卸载 KV 缓存的数据完整性和加密计算任务。其先进的计算能力以及软件定义的硬件加速器，加速网络、存储和安全，打造了一个安全、高能效、适合各类工作负载的基础设施。

NVIDIA DOCA Memos 是面向 BlueField-4 和 CMX 优化的 SDK，可在 AI 计算节点和 CMX 数据节点之间管理和共享 KV 缓存，提供简单的键值 API，将以太网连接的闪存资源转变为 POD 级缓存层。它提供安全、低延迟的访问，对数据完整性和加密计算进行硬件加速，使应用保持无状态运行，而 CMX 处理大规模场景下的 KV 缓存路由和数据复用。

NVIDIA Spectrum-X 以太网提供高性能远程直接内存访问 (RDMA) 网络，支持对 Pod 内的 AI 原生 KV 缓存进行低延迟、高带宽的访问。Spectrum-X 以太网专为 AI 构建，采用先进的拥塞控制、动态路由和无损 RoCE 技术，最大限度地减少抖动和尾延迟，在大型多租户环境中提供一致、可重复的性能。这助力 CMX 以可预测的高性能进行扩展，最大限度地提升多轮次、代理式推理工作负载的吞吐量和响应能力。

NVIDIA Dynamo 是一个分布式推理服务框架，使 CMX 和底层上下文存储层在 Pod 中无缝呈现，将请求路由到 KV 缓存的位置。通过在服务层处理 KV 感知放置和复用，Dynamo 可提高每秒 Token 量、缩短首 Token 的生成时间，并支持 Pod 范围的上下文复用，以处理多轮次、多智能体工作负载。