NVIDIA Personal AI Router (PAIR) 常见问题解答

NVIDIA Personal AI Router (PAIR) 是一款软件,将配备 NVIDIA RTX™GPU 和 DGX Spark 系统的兼容 macOS、Windows 和 Linux 系统连接到个人家庭 AI 集群。PAIR 将本地 AI 推理工作负载分布在可用设备上,同时将提示词、文件和代理上下文保留在用户的家庭网络上。

个人家庭 AI 集群连接同一本地网络上的多个兼容设备,允许它们共享可用计算资源用于本地 AI 推理。PAIR 使 Mac、NVIDIA RTX 系统和 DGX Spark 系统能够为本地 AI 应用和智能体提供更多能力。这些设备仍然是处理并行任务的独立系统;PAIR 不会将它们组合为一个虚拟 GPU。这些设备仍然是处理并行任务的独立系统;PAIR 不会将它们组合为一个虚拟 GPU。

节点是一个兼容的系统,已与 NVIDIA PAIR 配对,并可用于本地 AI 集群。节点可以包括受支持的 Mac、NVIDIA RTX PC 或工作站以及 DGX Spark 系统。

可以。NVIDIA PAIR 可以将受支持的 macOS 系统与同一本地网络上兼容的 NVIDIA RTX PC、工作站和 DGX Spark 系统配对。这使 Mac 用户能够将本地 AI 推理工作负载路由到可用的 NVIDIA 计算资源。

可以。PAIR 可在同一本地网络上发现兼容的 NVIDIA RTX 和 DGX Spark 系统,并帮助它们作为一个个人 AI 推理集群运行。工作负载可以跨多个设备使用算力,而不是依赖单个机器。

可以。NVIDIA PAIR 支持兼容的 macOS、Windows 和 Linux 系统。支持的硬件、操作系统版本和设备配置可能有所不同,因此在安装前请查看当前的系统配置需求。

NVIDIA PAIR 需要兼容的 macOS、Windows 或 Linux 系统以及支持的硬件。要求可能包括特定的操作系统版本、NVIDIA RTX GPU、GPU 显存、系统内存、处理器、存储和本地网络连接。请参阅 NVIDIA PAIR 登录页面上的系统配置需求部分了解当前细节。

可以。受支持的 Mac 可以与 NVIDIA RTX PC、工作站和 DGX Spark 系统一起添加为节点。PAIR 可协调本地 AI 工作流的配对设备,同时将提示词、文件和智能体上下文保留在本地网络上。

PAIR 将推理请求路由到本地集群中的可用设备。当一台设备忙碌或容量用尽时,PAIR 可以将请求定向到其他兼容节点,帮助减少要求苛刻的 AI 和智能体工作流的瓶颈。

可以。PAIR 支持包含多个或顺序推理请求的本地 AI 应用、智能体和多智能体工作流。通过在配对系统之间路由请求,PAIR 有助于将更多本地算力用于要求苛刻的任务。

可以。PAIR 支持 Ollama 和 LM Studio 作为本地推理后端。应用可以使用本地端点,而 PAIR 将推理请求转发到个人 AI 集群中的可用算力。

无需对应用或智能体进行重大更改。PAIR 提供单个本地端点和代理,支持 Ollama 和 LM Studio 请求,减少为每台设备配置应用的需求。

PAIR 专为私有本地推理而设计。提示词、文件和智能体上下文将保留在用户的本地网络上,而不是发送到云端推理服务。

否。PAIR 使用已连接到本地网络的兼容设备。它不需要特殊电缆、服务器机架或传统的数据中心集群硬件。

下载 PAIR,将其安装在支持的系统上,将设备配对,并添加到集群。连接后,受支持的应用和智能体就可以通过 PAIR 本地端点发送推理请求。

从官方 NVIDIA PAIR 网站下载 NVIDIA PAIR。该网站还提供当前的系统配置需求、安装指南和其他常见问题解答。

PAIR 提供可重复使用的本地推理路由层,包括设备配对、节点发现、端点访问、后端代理和工作负载路由。自定义脚本通常需要开发者管理每个工作流的设备可用性、端点、端口和应用配置。