使用生成式 AI 可以即时从一个音频来源创建面部表情动画。
系统配置需求 | 设置指南
Omniverse™ Audio2Face 测试版是一款参考应用，可让您更轻松地根据任何配音音轨制作 3D 角色动画，无论您是为游戏角色、电影角色或实时数字助理制作动画，还是单纯为了获得乐趣，都可以轻松实现。您可以在交互式实时应用场景中使用该应用，也可以将其用作传统的面部动画创作工具。实时运行结果还是烘焙结果，由您决定。
Audio2Face 预装有“Digital Mark”。这是一个 3D 角色模型，可以使用您的音轨进行动画处理，只需选择并上传您的音频即可，入门非常简单。然后，该应用会将音频输入馈送到经过预训练的深度神经网络，并根据输出调整角色网格的 3D 顶点，以实时创建面部动画。您也可以通过修改各种后处理参数来修改角色的动画效果。您在此页面上看到的结果主要为 Audio2Face 的原始输出，很少或没有编辑过后处理参数。
只需录制语音音轨，然后输入到该应用中，即可看到您的 3D 面孔变得活灵活现。您甚至可以通过麦克风实时生成面部动画。
Audio2Face 将能够轻松处理任何语言。此外，我们将不断更新该应用，使其能够处理越来越多的语言。
您可以使用 Audio2Face，重新定位至不同 3D 人类面孔或人类式面孔（写实或非写实）。只需单击几下，即可快速变换角色（无论是人类还是动物）。
您可以轻松运行多个 Audio2Face 实例，并可以任意指定场景中的角色数量 – 所有角色均通过相同或不同的音轨制成动画。在对话的二人组、清唱的三人组和协调一致的四人组等当中融入生命力和声音。此外，您还可以对每个面部的面部表情细腻程度进行调整，并从多个音频源批量输出多个动画文件。
Audio2Face 让您能够在眨眼之间选择角色的情绪，并为其制作相应的动画。AI 网络会自动操纵脸部、眼睛、嘴部、舌头和头部运动，以匹配您选择的情绪范围和定制的情绪强度水平，或自动直接从音频剪辑中推断情绪。
素材来源：Blender Studio
得益于近期更新，Omniverse Audio2Face 现在实现了 BlendShape 转换和 Blendweight 导出选项。此外，该应用现在支持通过 Blender 的 Blendshapes 和 Epic Games 虚幻引擎执行导出与导入操作，从而能够让他们利用各自的 Omniverse 连接器生成角色的动作。
制作奇幻生物和外星人的面部动画。在此，我们让 Digital Mark 驱动外星人的行为表现。
Misty 是一款交互式天气机器人，在 2020 年春季的 GTC 大会上亮相展示，运行时由 Audio2Face 生成。我们演示了从真实的人类网格到风格化的角色网格的重新定位，将机器人用作交互式服务人员。
Audio2Face 将在 GeForce 30 系列发布期间同步推出，并在 Omniverse Machinima 演示视频中有所展现。面部动画非常复杂且成本过高。Audio2Face 可自动生成精致的面部动画，普及 3D 内容创建流程。
NVIDIA Omniverse 能够帮助我为数字人制作更自然的效果并加快工作流，让我可以将更多时间用于创意工作。
– Anderson Rohr，3D 艺术家
找到适合您的 3D 工作流的合适许可证，立即开始探索 Omniverse。
免费下载和创建
作为用以无缝连接并增强 3D 创意应用的中心，Omniverse 能统一整合资产、库和工具，从而实现真正无间断的工作流，让艺术家实现更大程度的创作自由。
免费开发和分发
Omniverse 是专为开发者打造的，可让他们在每层自定义 3D 工作流，以便他们轻松构建新的 Omniverse Connector、扩展程序、应用及微服务。
免费试用 | 年度许可证
Omniverse Enterprise 可为任何规模的企业组织转变复杂的设计工作流。它可以借助使用集中式项目数据的多个应用与多个用户和地点进行实时协作。
第 1 步
下载 NVIDIA Omniverse 并运行安装程序。
第 2 步
安装后，打开 Omniverse Launcher。
第 3 步
在“Apps”（应用）部分中找到 Omniverse Audio2Face，然后依次单击“Install”（安装）和“Launch”（启动）。
了解全套 NVIDIA Omniverse 应用和连接器，或尝试我们提供的以下建议。
利用 Pixar USD 加速先进的环境构建，并以交互方式实时组装、模拟和渲染场景。
一个集成开发环境 (IDE)，供开发者和高级用户轻松构建 Omniverse 扩展程序、应用或微服务。
利用适用于创作者的 AI 赋能工具包，重新混合、创建和定义动画电子游戏故事情节。
利用此功能强大、物理精准的交互式逼真可视化工具，协作审查设计项目。
我们提供了数百个免费教程、课程以及初学者培训资料，供您参考，了解如何开始使用 USD。
赶快加入社区！参加我们每周在 Twitch 上的直播，在 Discord 和论坛上联系我们。
遇到问题？ 您可以在论坛中发帖提问，以便获得 Omniverse 专家的快速指导；也可以参阅平台文档。
打造了 Omniverse 杰作？ 请提交至 Omniverse 图库，在那里您可以获取灵感，也可以启发他人。
AI 与元宇宙时代的开发者大会
凭借 NVIDIA Omniverse 连接创意世界，发现广阔可能。
聆听 NVIDIA 专业环境艺术家的分享，了解 30 位艺术家如何在三个月内打造出标志性的多世界演示。深入了解由 Adobe Substance 3D Painter、Photoshop、Autodesk 3ds Max、Maya、Blender、Modo、Maxon Zbrush、SideFX Houdini 和 NVIDIA Omniverse Create 组成的工作流，了解艺术家们如何推出大型场景，展示新的 NVIDIA RTX、AI 和物理技术。
查看详情 >
USD (Universal Scene Description) 不仅仅是一种文件格式。这一功能强大、易于扩展的开放式世界组合框架为在虚拟世界中创建、编辑、查询、渲染、模拟和协作提供了 API。NVIDIA 继续投资 USD 演变，使其能帮助媒体和娱乐行业之外的工作流造就工业元宇宙和新一波 AI。参加此会议，了解我们“全面使用”USD 的原因、我们的 USD 开发路线图，并了解 NVIDIA 以及我们合作伙伴生态系统的近期项目和计划。
参加本次会议，聆听一群杰出的技术领导者讨论 USD (Universal Scene Description)，这是互联网 3D（元宇宙）演变的标准。这些大咖将讨论他们为什么投资或采用 USD，以及接下来需要推出哪些技术进步才能真正发挥其潜力。
各行各业和 AI 的下波浪潮要求我们构建无异于现实世界、物理精准的虚拟世界。创建虚拟世界绝非易事，而现有的 3D 资产宇宙还不够完善，仅能展现物体的视觉效果。无论是构建数字孪生还是构建虚拟世界以训练、测试自动驾驶汽车或机器人，3D 资产都需要更多技术特性，因此需要开发和采用新的流程、技术和工具。NVIDIA 正在推出一种名为“SimReady”资产的新型 3D 资产，这是构建虚拟世界的基础模组。SimReady 资产不仅是 3D 对象，还包含基于 Universal Scene Description (USD) 构建的准确物理属性、行为、连接的数据流。我们将向您展示开始使用 SimReady USD 资产的方法，以及开发和测试这些资产所需的工具和技术。
随着计算流水线技术的近期发展，全光线追踪虚拟现实 (VR) 等以主体为中心的技术突飞猛进。与此同时，网络瓶颈问题已经减少，从数据中心直接串流像素到 HMD 已成为现实。聆听此演讲，探索以主体为中心的计算在数据中心规模的潜力，以及它所支持的应用、体验和新科学。