NVIDIA Omniverse Audio2Face

测试版

Omniverse Audio2Face

借助 NVIDIA 深度学习 AI 技术,仅需一个音频来源即可快速轻松生成表情丰富的面部动画。

轻松制作面部动画

Omniverse Audio2Face 测试版可简化 3D 角色的动画制作,与任何配音音轨匹配,无论您是为游戏、电影和实时数字助理制作动画角色,还是单纯为了获得乐趣,都可以轻松实现。您可在交互式实时应用场景中使用该应用,也可以将其用作传统的面部动画创作工具。实时运行结果还是烘焙结果,由您决定。

 

工作原理

Audio2Face 预装有“Digital Mark”。这是一个 3D 角色模型,可以使用您的音轨进行动画处理,只需选择并上传您的音频即可,入门非常简单。该技术将音频输入到预先训练的深度神经网络中,而输出会生成角色的 3D 顶点网格,以实时创建面部动画。您也可以通过编辑各种后处理参数来编辑角色的性能。您在此页面上看到的结果主要为 Audio2Face 的原始输出,很少或没有编辑过后处理参数。

Omniverse Audio2Face 应用
 
Audio2Face 通过音频输入生成面部动画。

音频输入

使用录音或实时制作动画

只需录制语音音轨,然后输入到应用中,即可看到您的逼真 3D 面孔。您甚至可以通过麦克风实时生成面部动画。  

Audio2Face 将能够轻松处理任何语言。同时,我们正不断用更多语言更新此软件。   

角色转换

瞬间变换面孔

您可以使用 Audio2Face,重新指定作为目标的不同 3D 人类面孔或人类式面孔(写实或非写实)。敬请观看我们有关从 Digital Mark 重新定位到 Rhino 的测试!  

 
使用 Audio2Face 制作任何角色的面部动画
 
使用数个实例为多个角色生成面部动画

多个实例

即刻让您或所有人的表情更加生动

您可以轻松运行多个 Audio2Face 实例,并可以任意指定场景中的角色数量 - 所有角色均通过相同或不同的音轨制成动画。在对话的二人组、清唱的三人组和协调一致的四人组等当中融入生命力和声音。此外,您还可以对每个面部的面部表情细腻程度进行调整。

数据转换

连接和转换

Omniverse Audio2Face 的最新更新现在支持 BlendShape 转换,还支持 Blendweight 导出选项。此外,该应用现在支持通过 Epic Games 虚幻引擎 4 执行导出与导入工作流程,使用 Omniverse 虚幻引擎 4 连接器生成超人类角色的动作。

 
让您的动画更富情感。
让您的动画更富情感。

情感控制

声情并茂

Audio2Face 让您能够在眨眼之间选择角色的情绪,并为其设置相应的动画。该网络会自动操纵脸部、眼睛、嘴部、舌头和头部运动,以匹配您选择的情绪范围和定制的情绪强度水平。

此功能即将推出。

查看 Audio2Face 的实际应用

生物和外星人

制作奇幻生物和外星人的面部动画。在此,我们让 Digital Mark 驱动外星人的行为表现。

动画聊天机器人 Misty

Misty 是一款交互式天气机器人,在 2020 年春季的 GTC 上亮相展示,运行时由 Audio2Face 生成。我们演示了从真实的人类网格到程式化的角色网格的重新定位,以用作交互式服务代理。

Omniverse Machinima

Audio2Face 将在 GeForce 30 系列发布期间同步推出,并在 Omniverse Machinima 演示视频中有所展现。面部动画非常复杂且成本过高。Audio2Face 可自动生成精致的面部动画,普及 3D 内容创建流程。   

适用于创作者的 Omniverse

艺术家、动画师和设计师可以在 Omniverse 中同时使用多个 3D 应用,实时渲染高度保真的场景,无需在应用之间导入或导出,从而体验顺畅快速的工作流程。

深入了解近期的 OMNIVERSE 内容

开始使用 Omniverse Audio2Face

Omniverse Machinima 可在笔记本、数据中心等任何 NVIDIA RTX 设备上使用。下载 Omniverse,开始探索您的创作内容。

下载 NVIDIA Omniverse

1

下载 NVIDIA Omniverse 并运行安装程序。

打开 Omniverse Launcher

2

安装后,打开 Omniverse 启动程序。

在“Apps”(应用)部分中找到 Audio2Face,然后单击“Install”(安装)

3

在“Apps”(应用)部分中找到 Audio2Face,然后依次点击“Install”(安装)和“Launch”(启动)。

深入了解 Audio2Face

观看 2020 年 GTC(GPU 技术大会)上的技术概述。

深入了解虚拟协作和仿真的最新进展

观看精彩的 2021 年 GTC(GPU 技术大会)(现在可以按需点播),了解 Omniverse 如何转变您的 3D 角色动画工作流。

系统要求
组成部分 最低规格
支持的操作系统 Windows 10 64 位(1909 和更高版本)
CPU 英特尔 i7,AMD 锐龙
2.5 GHz 或更高
CPU 核心数 4 个或更多
RAM 16 GB 或以上
存储 500 Gb SSD 或更多
GPU 任何 RTX GPU
VRAM 6 GB 或以上
最低 视频驱动版本 单击此处,查看新版驱动
注:Omniverse 可以在任何搭载了 RTX 的设备上运行。为获得理想性能,我们建议使用 GeForce RTX 3070、NVIDIA RTX A4000、8Gb 或更高性能 GPU。

支持

进入 Omniverse

参加由各行业中的 Omniverse 专家主持的一系列 GTC 网络会议,深入了解该平台。

更多 Omniverse 应用程序

Omniverse 应用程序专为增强特定工作流程而打造。了解实际应用。

View

View

利用此功能强大、物理级准确的交互式逼真可视化工具,协作审查设计项目。

创作

创作

加速先进的环境构建,并在 Pixar USD 中以交互方式实时组装、模拟和渲染场景。

Kaolin

Kaolin

使用 NVIDIA 的 Kaolin PyTorch 库和此功能强大的可视化工具,简化和加速 3D 深度学习研究。

Machinima

Machinima

利用适用于 RTX 创作者的 AI 助力工具包,重新混合、重新创建和重新定义动画视频游戏故事情节。

Isaac Sim

Isaac Sim

在逼真、高保真的物理 3D 环境中导入、构建和测试机器人。

Drive Sim

  DRIVE Sim

利用足以乱真的模拟体验来开发自动驾驶汽车。