NVIDIA Personal AI Router (PAIR)
NVIDIA PAIR 测试版将 AI 应用和智能体工作流连接到单个本地端点,用于在 NVIDIA DGX Spark™、配备 RTX™ 的 Windows 系统和 macOS 设备之间调度推理。这有助于你更大限度地发挥本地计算能力,同时保持提示词、文件和智能体上下文的私密性。
特性
NVIDIA PAIR 可以做什么?
个人 AI 集群 为家庭赋能
几分钟内便可将位于你网络上的 RTX、DGX™ 和 Mac 系统整合在一起。NVIDIA PAIR 可发现兼容的本地机器,并将它们整合成个人 AI 推理集群,无需特殊线缆、机架或复杂的集群设置。
智能体工作负载路由 更多思考空间
在任务堆积时,仍保持本地 AI 工作流的顺畅运行。NVIDIA PAIR 能够将 AI 推理请求调度到可用本地节点,无需考虑节点的操作系统便可帮助繁忙的 AI 工作流利用闲置计算资源。
支持 Ollama 和 LM Studio 使用你常用的工具
在 Windows、Linux 和 macOS 上,将 NVIDIA PAIR 与熟悉的本地推理后端一起运行。发布之初 NVIDIA PAIR 便支持 Ollama 和 LM Studio,旨在为应用提供一致的单个端点,同时将请求智能分配到可用的本地计算资源。
私有本地推理 保持本地化
保持数据隐私的同时,在家运行 AI 工作流。NVIDIA PAIR 专为私有本地推理而构建,帮助你使用提示词、文件和智能体上下文,而无需将它们发送到云端。
下载 NVIDIA PAIR
信息
平台
Windows 11、DGX OS、Ubuntu 24.04、macOS Tahoe
语言
英语
经过验证的配置
GPU
所有 GeForce RTX™ GPU (20 系列及更新版本)、DGX Spark/GB10、RTX Spark、Mac M1 或更新版本
RAM
4 GB RAM 或更高
磁盘空间
推荐:500 MB,不包含模型
网络
操作时不需要
下载模型时需要
致谢各位贡献者
特别感谢以下社区成员,感谢大家分享思路、提交提案与修复代码、排查问题以及参与 PAIR 的测试工作。
| @XxSilentStormIxX | @woodsonl |
| @agenticocho | @stevbev |
| @Mayimbe07 | @habakan |
| @cruzanstx | @arcaven |
| @pettersandvand | @somtri |
| @cguldogan | @imluffy000 |
| @mkalkere | @ndizazzo |
| @CryptoJones |
NVIDIA PAIR 版本更新
本版本重点为 PAIR 新增 llama.cpp 与 RTX Spark 支持,同时在 GitHub 搭建公开开发与代码贡献工作流。
新增功能
- llama.cpp 支持:可直接在 PAIR 内安装与管理 llama.cpp,从 Hugging Face 下载兼容的 GGUF 模型,并在配对设备之间调度推理请求。
- 引擎启动选项:针对由 PAIR 管理的本地及配对设备上的引擎,自定义启动参数与环境变量。可在引擎支持的范围内调整上下文窗口大小等配置。
- 支持 RTX Spark:PAIR 的 Windows ARM 版已完成验证,可在 RTX Spark N1X 硬件上运行 llama.cpp 与 CUDA。
社区贡献
- 新增通过 Ollama、LM Studio 转发 Anthropic Messages API 的能力,支持 Claude Code 等兼容客户端使用 PAIR 的模型感知路由与故障转移能力。感谢 @Ratherrayees!(#27)
- 通过复用健康检查的 HTTP 连接,提升引擎监控效率。感谢 @Psych0h3ad!(#37)
- 修复不必要的集群信任刷新问题,仅在新对等节点背书成功保存后才发送通知。感谢 @RecursiveIntell!(#62)
- 修复多节点之间工作负载同步问题:广播消息保证事件顺序,代理通知失败后支持重试。感谢 @mkalkere!(#80)
- 修复调度器优先级更新在通知失败后被标记为已送达的问题,支持重试,保障状态信息准确。感谢 @sylvesterkaczmarek!(#122)
- 将服务集成、代理故障转移测试与本地 PAIR 设置隔离,避免测试读取或覆盖开发者配置。感谢 @somtri!(#95)
- 修正发布意图示例,使用要求的服务版本键值。感谢 @somtri!(#120)
- 更新贡献者指引文档,说明需要基于 develop 分支创建分支并执行变基操作。感谢 @somtri!(#126)
- 修复多 GPU 系统下节点卡片仅显示第一块 GPU 的问题,现已展示全部 GPU。感谢 @CryptoJones!(#34)
兼容性说明
- PAIR 的本地端点现已遵循各引擎自身的跨域资源共享 (CORS) 策略,不再放行全部浏览器源。基于浏览器的客户端可能需要对引擎进行额外配置。针对 Ollama,可在「引擎启动选项」中通过 `OLLAMA_ORIGINS` 配置允许的访问源。
- PAIR 正式名称由“Personal AI Router”变更为 PAIR。macOS 用户需要卸载旧版本;安装新版本时请将程序拖拽至应用程序文件夹,避免模型文件丢失。
- 旧版 PAIR 所安装的 LM Studio,在卸载新版 PAIR 时不会被一并移除。如需卸载,请用户手动删除 `~/.lmstudio` 目录。
PAIR 支持资源
有关 PAIR 的常见问题解答
NVIDIA Personal AI Router (PAIR) 是一款软件,将配备 NVIDIA RTX™ GPU 和 DGX Spark 系统的兼容 macOS、Windows 和 Linux 系统连接到个人家庭 AI 集群。PAIR 将本地 AI 推理工作负载分布在可用设备上,同时将提示词、文件和代理上下文保留在用户的家庭网络上。
个人家庭 AI 集群连接同一本地网络上的多个兼容设备,允许它们共享可用计算资源用于本地 AI 推理。PAIR 使 Mac、NVIDIA RTX 系统和 DGX Spark 系统能够为本地 AI 应用和智能体提供更多能力。这些设备仍然是处理并行任务的独立系统;PAIR 不会将它们组合为一个虚拟 GPU。
下载 PAIR,将其安装在支持的系统上,将设备配对,并添加到集群。连接后,受支持的应用和智能体就可以通过 PAIR 本地端点发送推理请求。
NVIDIA PAIR 需要兼容的 macOS、Windows 或 Linux 系统以及支持的硬件。要求可能包括特定的操作系统版本、NVIDIA RTX GPU、GPU 显存、系统内存、处理器、存储和本地网络连接。请参阅 NVIDIA PAIR 登录页面上的系统配置需求部分了解当前细节。
PAIR 专为私有本地推理而设计。提示词、文件和智能体上下文将保留在用户的本地网络上,而不是发送到云端推理服务。