NVIDIA Omniverse Audio2Face

测试版

Omniverse Audio2Face

使用生成式 AI 可以即时从一个音频来源创建面部表情动画。

借助生成式 AI 轻松将音频转为动画

Omniverse Audio2Face 测试版是一款参考应用,可让您更轻松地根据任何配音音轨制作 3D 角色动画,无论您是为游戏角色、电影角色或实时数字助理制作动画,还是单纯为了获得乐趣,都可以轻松实现。您可以在交互式实时应用场景中使用该应用,也可以将其用作传统的面部动画创作工具。实时运行结果还是烘焙结果,由您决定。

运作方式

Audio2Face 预装有“Digital Mark”。这是一个 3D 角色模型,可以使用您的音轨进行动画处理,只需选择并上传您的音频即可,入门非常简单。然后,该应用会将音频输入馈送到经过预训练的深度神经网络,并根据输出调整角色网格的 3D 顶点,以实时创建面部动画。您也可以通过修改各种后处理参数来修改角色的动画效果。您在此页面上看到的结果主要为 Audio2Face 的原始输出,很少或没有编辑过后处理参数。

Omniverse Audio2Face 应用
 
Audio2Face 通过音频输入生成面部动画。

音频输入

使用录音或实时制作动画

只需录制语音音轨,然后输入到该应用中,即可看到您的 3D 面孔变得活灵活现。您甚至可以通过麦克风实时生成面部动画。

Audio2Face 将能够轻松处理任何语言。此外,我们将不断更新该应用,使其能够处理越来越多的语言。 

角色转换

瞬间变换面孔

您可以使用 Audio2Face,重新定位至不同 3D 人类面孔或人类式面孔(写实或非写实)。只需单击几下,即可快速变换角色(无论是人类还是动物)。

 
使用 Audio2Face 制作任何角色的面部动画
 
使用数个实例为多个角色生成面部动画

扩展输出

即刻让您或所有人的表情更加生动

您可以轻松运行多个 Audio2Face 实例,并可以任意指定场景中的角色数量 – 所有角色均通过相同或不同的音轨制成动画。在对话的二人组、清唱的三人组和协调一致的四人组等当中融入生命力和声音。此外,您还可以对每个面部的面部表情细腻程度进行调整,并从多个音频源批量输出多个动画文件。

情感控制

声情并茂

Audio2Face 让您能够在眨眼之间选择角色的情绪,并为其制作相应的动画。AI 网络会自动操纵脸部、眼睛、嘴部、舌头和头部运动,以匹配您选择的情绪范围和定制的情绪强度水平,或自动直接从音频剪辑中推断情绪。

 
让您的动画更富情感。
 
让您的动画更富情感。

数据转换

连接和转换

得益于近期更新,Omniverse Audio2Face 现在实现了 BlendShape 转换和 Blendweight 导出选项。此外,该应用现在支持通过 Blender 的 Blendshapes 和 Epic Games 虚幻引擎执行导出与导入操作,从而能够让他们利用各自的 Omniverse 连接器生成角色的动作。

查看 Audio2Face 的实际应用

生物和外星人

制作奇幻生物和外星人的面部动画。在此,我们让 Digital Mark 驱动外星人的行为表现。

动画聊天机器人 Misty

Misty 是一款交互式天气机器人,在 2020 年春季的 GTC 大会上亮相展示,运行时由 Audio2Face 生成。我们演示了从真实的人类网格到风格化的角色网格的重新定位,将机器人用作交互式服务人员。

Omniverse Machinima

Audio2Face 将在 GeForce 30 系列发布期间同步推出,并在 Omniverse Machinima 演示视频中有所展现。面部动画非常复杂且成本过高。Audio2Face 可自动生成精致的面部动画,普及 3D 内容创建流程。

NVIDIA Omniverse 能够帮助我为数字人制作更自然的效果并加快工作流,让我可以将更多时间用于创意工作。

– Anderson Rohr,3D 艺术家

立即体验 NVIDIA Omniverse

找到适合您的 3D 工作流的合适许可证,立即开始探索 Omniverse。

nvidia-omniverse-creators-3c33-D

创作者

免费下载和创建

作为用以无缝连接并增强 3D 创意应用的中心,Omniverse 能统一整合资产、库和工具,从而实现真正无间断的工作流,让艺术家实现更大程度的创作自由。

开发者

开发者

免费开发和分发

Omniverse 是专为开发者打造的,可让他们在每层自定义 3D 工作流,以便他们轻松构建新的 Omniverse Connector、扩展程序、应用及微服务。

nvidia-omniverse-enterprise-3c33-D

Enterprise

免费试用 | 年度许可证

Omniverse Enterprise 可为任何规模的企业组织转变复杂的设计工作流。它可以借助使用集中式项目数据的多个应用与多个用户和地点进行实时协作。

如何安装 Omniverse Audio2Face

下载 NVIDIA Omniverse

第 1 步

下载 NVIDIA Omniverse 并运行安装程序。

打开 Omniverse Launcher

第 2 步

安装后,打开 Omniverse Launcher。

在“Apps”(应用)部分中找到 Audio2Face,然后单击“Install”(安装)

第 3 步

在“Apps”(应用)部分中找到 Omniverse Audio2Face,然后依次单击“Install”(安装)和“Launch”(启动)。

系统配置需求
组成部分 最低规格 最低规格
支持的操作系统 Windows 10(1903 和更高版本) Windows 10(1903 和更高版本)
CPU 英特尔酷睿 i5 10 代系列
AMD Ryzen 5 5 代系列
英特尔酷睿 i7 13 代系列
AMD Ryzen 7 7 代系列
RAM 16 GB 32 GB
存储 250 GB SSD 500 GB SSD
GPU 任何 8 GB RTX GPU GeForce RTX 4070 Ti、NVIDIA RTX A4500 或更高版本
最低 视频驱动版本 单击此处,查看新版驱动 单击此处,查看新版驱动

深入了解分步教程

了解更多 Omniverse 应用

了解全套 NVIDIA Omniverse 应用和连接器,或尝试我们提供的以下建议。

Create

利用 Pixar USD 加速先进的环境构建,并以交互方式实时组装、模拟和渲染场景。

Code

一个集成开发环境 (IDE),供开发者和高级用户轻松构建 Omniverse 扩展程序、应用或微服务。

Machinima

利用适用于创作者的 AI 赋能工具包,重新混合、创建和定义动画电子游戏故事情节。

View

利用此功能强大、物理精准的交互式逼真可视化工具,协作审查设计项目。

成为我们社区的一员

访问教程

我们提供了数百个免费教程课程以及初学者培训资料,供您参考,了解如何开始使用 USD。 

成为 Omnivore

赶快加入社区!参加我们每周在 Twitch 上的直播,在 Discord 和论坛上联系我们。

获取技术支持。

遇到问题? 您可以在论坛中发帖提问,以便获得 Omniverse 专家的快速指导;也可以参阅平台文档

展示您的作品

打造了 Omniverse 杰作? 请提交至 Omniverse 图库,在那里您可以获取灵感,也可以启发他人。

点播观看所有激发灵感的 GTC 大会会议。

AI 与元宇宙时代的开发者大会

点播观看所有激发灵感的 GTC 大会会议。

AI 与元宇宙时代的开发者大会

凭借 NVIDIA Omniverse 连接创意世界,发现广阔可能。

  • 艺术家的 Omniverse:如何构建逼真的大规模虚拟世界

    • Gabriele Leone,NVIDIA 高级艺术总监

    聆听 NVIDIA 专业环境艺术家的分享,了解 30 位艺术家如何在三个月内打造出标志性的多世界演示。深入了解由 Adobe Substance 3D Painter、Photoshop、Autodesk 3ds Max、Maya、Blender、Modo、Maxon Zbrush、SideFX Houdini 和 NVIDIA Omniverse Create 组成的工作流,了解艺术家们如何推出大型场景,展示新的 NVIDIA RTX、AI 和物理技术。

    查看详情 >

  • 用于构建虚拟世界的 USD (Universal Scene Description) 的下一次演进

    • Aaron Luk,NVIDIA Omniverse 高级工程经理

    USD (Universal Scene Description) 不仅仅是一种文件格式。这一功能强大、易于扩展的开放式世界组合框架为在虚拟世界中创建、编辑、查询、渲染、模拟和协作提供了 API。NVIDIA 继续投资 USD 演变,使其能帮助媒体和娱乐行业之外的工作流造就工业元宇宙和新一波 AI。参加此会议,了解我们“全面使用”USD 的原因、我们的 USD 开发路线图,并了解 NVIDIA 以及我们合作伙伴生态系统的近期项目和计划。

    查看详情 >

  • 元宇宙基础:3D 虚拟世界的 HTML

    • Michael Kass,NVIDIA 资深杰出工程师
    • Rev Lebaredian,NVIDIA 模拟技术和 Omniverse 工程副总裁
    • Guido Quaroni,Adobe 3D 和沉浸式工程部门高级总监
    • Steve May,Pixar 副总裁兼首席技术官
    • Mason Sheffield,Lowe’s 创新实验室创意技术总监
    • Natalya Tatarchuk,Unity 专业艺术与图形创新部门杰出技术研究员兼首席架构师
    • Matt Sivertson,Autodesk 媒体与娱乐部门副总裁兼首席架构师
    • Mattias Wikenmalm,沃尔沃汽车高级专家

    参加本次会议,聆听一群杰出的技术领导者讨论 USD (Universal Scene Description),这是互联网 3D(元宇宙)演变的标准。这些大咖将讨论他们为什么投资或采用 USD,以及接下来需要推出哪些技术进步才能真正发挥其潜力。

    查看详情 >

  • 如何构建仿真就绪型 USD 3D 资产

    • Renato Gasoto,NVIDIA 机器人和 AI 工程师
    • Beau Perschall,NVIDIA Omniverse Sim 数据运营总监

    各行各业和 AI 的下波浪潮要求我们构建无异于现实世界、物理精准的虚拟世界。创建虚拟世界绝非易事,而现有的 3D 资产宇宙还不够完善,仅能展现物体的视觉效果。无论是构建数字孪生还是构建虚拟世界以训练、测试自动驾驶汽车或机器人,3D 资产都需要更多技术特性,因此需要开发和采用新的流程、技术和工具。NVIDIA 正在推出一种名为“SimReady”资产的新型 3D 资产,这是构建虚拟世界的基础模组。SimReady 资产不仅是 3D 对象,还包含基于 Universal Scene Description (USD) 构建的准确物理属性、行为、连接的数据流。我们将向您展示开始使用 SimReady USD 资产的方法,以及开发和测试这些资产所需的工具和技术。

    查看详情 >

  • 空间计算如何达到超大规模

    • Omer Shapira,NVIDIA Omniverse 高级工程师

    随着计算流水线技术的近期发展,全光线追踪虚拟现实 (VR) 等以主体为中心的技术突飞猛进。与此同时,网络瓶颈问题已经减少,从数据中心直接串流像素到 HMD 已成为现实。聆听此演讲,探索以主体为中心的计算在数据中心规模的潜力,以及它所支持的应用、体验和新科学。

    查看详情 >

具有深灰色和深紫色不同背景的三个头像。左边的头像是一位穿着灰色衬衫的男士,金色横幅上写着 Stephen Jones,NVIDIA。中间的头像是一位穿着红色衬衫的女士,金色横幅上写着 Anima Anandkumar,NVIDIA。右边的头像是一位穿着灰领黑色衬衫的男子,金色横幅上写着 Ian Buck,NVIDIA。

联系我们

随时了解 NVIDIA Omniverse 的新动态。