加速云端创新

Perplexity 在 AWS 上使用 NVIDIA A100 Tensor Core GPU 和 NVIDIA TensorRT™-LLM 构建了 pplx-api，与其他平台相比，延迟降低了多达 3.1 倍，首个 Token 延迟降低了多达 4.3 倍。这家初创公司将推理成本削减了四分之三 (每年节省 600,000 美元)，同时扩展到数百个 GPU，其中 NVIDIA H100 GPU 比 A100 的延迟低 50%，吞吐量高 200%。

Noetik 是 NVIDIA 初创加速计划的成员，在 AWS SageMaker HyperPod 上使用 NVIDIA Hopper™ Tensor Core GPU 训练用于精准癌症免疫疗法的多模态基础模型。这使得处理 1 PB 人类肿瘤数据 (分析超过 2 亿个细胞) 成为可能，从而加速治疗发现并解锁针对个体患者定制的治疗方案。

Fireworks.ai 使用由 NVIDIA H100 Tensor Core GPU 提供支持的 Amazon EC2 P5 实例构建了速度极快且经过成本优化的生成式 AI 推理解决方案。该平台的每实例吞吐量比开源解决方案高 4 倍，延迟降低多达 50%，并且某些客户的总体成本降低了 4 倍。开发者可以运行、微调和定制包括 Llama 2、Stable Diffusion XL 和 StarCoder 在内的基础模型，同时满足 HIPAA 和 SOC2 Type II 合规标准。

A-Alpha Bio 通过在 AWS 上部署 NVIDIA BioNeMo™ 加速了药物发现，使推理速度提升 12 倍，并能够处理 1.08 亿次蛋白质结合预测，比最初计划多出 10 倍。利用由 NVIDIA H100 Tensor Core GPU 提供支持的 Amazon EC2 P5 实例，这家生物技术初创公司将实验周期缩短了 1–2 次迭代，在降低成本的同时还发现了优秀的治疗用单克隆抗体候选物。

Synthesia 通过部署 NVIDIA GPU 提供支持的 Amazon EC2 实例，改变了 AI 视频制作，将机器学习模型训练吞吐量提升了 30 倍。利用配备 NVIDIA H100 Tensor Core GPU 的 Amazon EC2 P5 实例和配备 NVIDIA A100 GPU 的 P4 实例，这家 AI 初创公司将语音模型的训练时间从数天缩短至数小时，同时支持 456% 的用户增长。

Innophore 利用 NVIDIA BioNeMo 加速药物发现，通过其 Catalophore 技术分析蛋白质结构。该平台在两周内完成了整个人类有机体蛋白质结构图谱的绘制，而这项任务在以前需要一年以上的时间。这将预测排名靠前候选药物的脱靶药物效应的准确率提高了 30%。