NVIDIA Personal AI Router (PAIR)

NVIDIA PAIR 测试版将 AI 应用和智能体工作流连接到单个本地端点,用于在 NVIDIA DGX Spark™、配备 RTX™ 的 Windows 系统和 macOS 设备之间调度推理。这有助于你更大限度地发挥本地计算能力,同时保持提示词、文件和智能体上下文的私密性。


了解 NVIDIA PAIR 工作原理

特性

NVIDIA PAIR 可以做什么?

个人 AI 集群: 为家庭赋能

几分钟内便可将位于你网络上的 RTX、DGX™ 和 Mac 系统整合在一起。NVIDIA PAIR 可发现兼容的本地机器,并将它们整合成个人 AI 推理集群,无需特殊线缆、机架或复杂的集群设置。

智能体工作负载路由 更多思考空间

在任务堆积时,仍保持本地 AI 工作流的顺畅运行。NVIDIA PAIR 能够将 AI 推理请求调度到可用本地节点,无需考虑节点的操作系统便可帮助繁忙的 AI 工作流利用闲置计算资源。

支持 Ollama 和 LM Studio: 使用你常用的工具

在 Windows、Linux 和 macOS 上,将 NVIDIA PAIR 与熟悉的本地推理后端一起运行。发布之初 NVIDIA PAIR 便支持 Ollama 和 LM Studio,旨在为应用提供一致的单个端点,同时将请求智能分配到可用的本地计算资源。

私有本地推理: 保持本地化

保持数据隐私的同时,在家运行 AI 工作流。NVIDIA PAIR 专为私有本地推理而构建,帮助你使用提示词、文件和智能体上下文,而无需将它们发送到云端。

如何开始使用 NVIDIA PAIR

NVIDIA PAIR 无需特殊线缆或机架即可工作。设置非常简单。

2

将设备添加到集群。

3

运行你的 AI 应用和智能体。

下载 NVIDIA PAIR

信息

平台

Windows 11、DGX OS、Ubuntu 24.04、macOS Tahoe


语言

英语


经过验证的配置

GPU

所有 GeForce RTX™ GPU (20 系列及更新版本)、DGX Spark/GB10、RTX Spark、Mac M1 或更新版本


RAM

4 GB RAM 或更高


磁盘空间

推荐:500 MB,不包含模型


网络

操作时不需要
下载模型时需要


致谢各位贡献者

特别感谢以下社区成员,感谢大家分享思路、提交提案与修复代码、排查问题以及参与 PAIR 的测试工作。

@XxSilentStormIxX @woodsonl
@agenticocho @stevbev
@Mayimbe07 @habakan
@cruzanstx @arcaven
@pettersandvand @somtri
@cguldogan @imluffy000
@mkalkere @ndizazzo
@CryptoJones  

NVIDIA PAIR 版本更新

本版本重点为 PAIR 新增 llama.cpp 与 RTX Spark 支持,同时在 GitHub 搭建公开开发与代码贡献工作流。

新增功能

  • llama.cpp 支持:可直接在 PAIR 内安装与管理 llama.cpp,从 Hugging Face 下载兼容的 GGUF 模型,并在配对设备之间调度推理请求。
  • 引擎启动选项:针对由 PAIR 管理的本地及配对设备上的引擎,自定义启动参数与环境变量。可在引擎支持的范围内调整上下文窗口大小等配置。
  • 支持 RTX Spark:PAIR 的 Windows ARM 版已完成验证,可在 RTX Spark N1X 硬件上运行 llama.cpp 与 CUDA。

社区贡献

  • 新增通过 Ollama、LM Studio 转发 Anthropic Messages API 的能力,支持 Claude Code 等兼容客户端使用 PAIR 的模型感知路由与故障转移能力。感谢 @Ratherrayees!(#27)
  • 通过复用健康检查的 HTTP 连接,提升引擎监控效率。感谢 @Psych0h3ad!(#37)
  • 修复不必要的集群信任刷新问题,仅在新对等节点背书成功保存后才发送通知。感谢 @RecursiveIntell!(#62)
  • 修复多节点之间工作负载同步问题:广播消息保证事件顺序,代理通知失败后支持重试。感谢 @mkalkere!(#80)
  • 修复调度器优先级更新在通知失败后被标记为已送达的问题,支持重试,保障状态信息准确。感谢 @sylvesterkaczmarek!(#122)
  • 将服务集成、代理故障转移测试与本地 PAIR 设置隔离,避免测试读取或覆盖开发者配置。感谢 @somtri!(#95)
  • 修正发布意图示例,使用要求的服务版本键值。感谢 @somtri!(#120)
  • 更新贡献者指引文档,说明需要基于 develop 分支创建分支并执行变基操作。感谢 @somtri!(#126)
  • 修复多 GPU 系统下节点卡片仅显示第一块 GPU 的问题,现已展示全部 GPU。感谢 @CryptoJones!(#34)

兼容性说明

  • PAIR 的本地端点现已遵循各引擎自身的跨域资源共享 (CORS) 策略,不再放行全部浏览器源。基于浏览器的客户端可能需要对引擎进行额外配置。针对 Ollama,可在「引擎启动选项」中通过 `OLLAMA_ORIGINS` 配置允许的访问源。
  • PAIR 正式名称由“Personal AI Router”变更为 PAIR。macOS 用户需要卸载旧版本;安装新版本时请将程序拖拽至应用程序文件夹,避免模型文件丢失。
  • 旧版 PAIR 所安装的 LM Studio,在卸载新版 PAIR 时不会被一并移除。如需卸载,请用户手动删除 `~/.lmstudio` 目录。

PAIR 支持资源

有关 PAIR 的常见问题解答

NVIDIA Personal AI Router (PAIR) 是一款软件,将配备 NVIDIA RTX™ GPU 和 DGX Spark 系统的兼容 macOS、Windows 和 Linux 系统连接到个人家庭 AI 集群。PAIR 将本地 AI 推理工作负载分布在可用设备上,同时将提示词、文件和代理上下文保留在用户的家庭网络上。

个人家庭 AI 集群连接同一本地网络上的多个兼容设备,允许它们共享可用计算资源用于本地 AI 推理。PAIR 使 Mac、NVIDIA RTX 系统和 DGX Spark 系统能够为本地 AI 应用和智能体提供更多能力。这些设备仍然是处理并行任务的独立系统;PAIR 不会将它们组合为一个虚拟 GPU。

下载 PAIR,将其安装在支持的系统上,将设备配对,并添加到集群。连接后,受支持的应用和智能体就可以通过 PAIR 本地端点发送推理请求。

NVIDIA PAIR 需要兼容的 macOS、Windows 或 Linux 系统以及支持的硬件。要求可能包括特定的操作系统版本、NVIDIA RTX GPU、GPU 显存、系统内存、处理器、存储和本地网络连接。请参阅 NVIDIA PAIR 登录页面上的系统配置需求部分了解当前细节。

PAIR 专为私有本地推理而设计。提示词、文件和智能体上下文将保留在用户的本地网络上,而不是发送到云端推理服务。

PAIR 支持资源

下载 NVIDIA Personal AI Router (PAIR)