机密计算是一种技术,可通过利用基于硬件的可信执行环境 (TEE) 保护模型和使用中的数据,从而使企业能够在敏感数据上安全运行 AI,此举通过提供密码验证,来证明数据受到保护,免受内部人员和基础设施威胁。
敏感企业数据绑定到本地 AI 架构,该架构根据 GDPR、欧盟 AI 法案和主权规定的严格要求构建。与此同时,强大的 AI 模型传统上通过云 API 交付,这给受监管工作负载带来了根本性的矛盾,远程推理难以达到安全和合规要求。AI 模型必须就地访问数据。
在机密计算的加持下,这成为可能。AI 模型在硬件强制隔离区内本地运行,为模型所有者提供加密保证,即专有权重得到保护,即使在他们不拥有的基础设施上也是如此。数据所有者获得硬件支持的保证,即在处理过程中永远不会暴露敏感数据,即不暴露给模型提供商、不暴露给基础设施运营商,亦不暴露给任何特权内部人员。
医疗健康和金融服务等受监管行业现在可以部署 AI 模型,并具备其环境所要求的安全性和合规性。
快速链接
机密计算并非仅使用静态或传输中的数据,而是通过加密应用代码、模型和使用中的数据来保护 AI 工作负载。它通过创建基于硬件的可信执行环境 (TEE) 来实现这一目标,这些环境通过加密证明执行。NVIDIA 通过将 GPU 纳入 TEE,为机密虚拟机 (CVM) 和机密容器 (CoCo) 实现了机密计算。
机密虚拟机将整个 AI 工作负载与主机操作系统和服务器虚拟化管理程序隔离。即使拥有完整系统权限的基础设施管理员也无法访问 CVM 中运行的数据或模型。这在工作负载和底层基础设施之间创建了清晰的信任边界。
机密容器可实现安全、云原生 AI 部署。机密容器基于 Kata 容器化构建,Kata 容器化是一个开源轻量级虚机运行时,可插入容器生态系统,并提供企业期望从基于 Kubernetes 的环境中获得的敏捷性、可扩展性和编排优势。
机密计算的主要用例包括:
保护模型 IP:在第三方环境中部署时,保护模型权重并防止模型遭到盗窃。
敏感数据训练:使用私有数据进行训练和微调 AI 模型,而不会将底层数据集暴露给未授权方。
在专有数据上进行安全推理:通过 RAG 和智能体推理用例释放专有数据的价值,确保在整个推理工作流中数据受到保护。
受监管行业:实现在严格监管标准下运行的行业中的任何 AI 用例,确保工作负载满足数据驻留、合规和治理要求。
完全信任 AI 工厂:为 AI 工厂提供硬件强制执行的安全基础,模型所有者、数据所有者和基础设施运营商共享相同的 GPU 集群。
对机密计算至关重要的关键行业应用包括:
医疗健康和制药:医院、科研机构和制药公司可以在硬件强制隔离区内就 AI 展开协作,无需向任何方公开患者病历、基因组序列或临床试验数据。
金融服务:欺诈检测、风险建模和 AML 工作负载在加密硬件保证下运行,没有专有的客户数据暴露给交易方或基础设施提供商。
NVIDIA 生态系统合作伙伴正在推动生产就绪的机密计算,助力企业释放 AI 的价值。
阅读这份 Linux 基金会报告,了解 AI 如何为未来创造机遇,以及企业组织如何利用机密计算保护相关工作负载。
注册即可获取 NVIDIA 的最新资讯、更新及更多内容。您可以随时取消订阅。