Omniverse Audio2Face

Omniverse Audio2Face 是一款由 AI 支持的应用程序，仅从一个音频来源即可生成面部表情动画 – 由 AI 提供技术支持。

下载公测版

系统要求 | 设置指南

通过 AI 轻松制作面部动画

Audio2Face 可简化 3D 角色的动画制作，以与任何配音音轨匹配，无论您是为游戏、电影和实时数字助理制作动画角色，还是单纯为了获得乐趣，都可以轻松完成。您可以将该应用程序用于交互式实时应用场景，也可以用作传统的面部动画创作工具。实时运行结果还是烘焙结果，由您决定。

Audio2Face simplifies animation of a 3D character to match any voice-over track.

工作原理

Omniverse Audio2Face 应用程序基于原始 NVIDIA 研究论文。Audio2Face 预装有“Digital Mark”。这是一个 3D 角色模型，可以使用您的音轨进行动画处理，因此入门步骤非常简单。只需选择您的音频并将其上传到应用程序即可。该技术将音频输入到预先训练的深度神经网络中，而网络输出会实时生成角色的面部动画。用户可以通过编辑各种后处理参数来编辑角色的性能。然后，网络输出会生成角色的 3D 顶点网格，以创建面部动画。您在此页面上看到的结果主要为 Audio2Face 的原始输出，很少或没有编辑过后处理参数。

（注意：直接的 BlendShape 支持将于稍后的某个日期发布）

Audio2Face generates facial animation through audio input.

音频输入

使用录音或实时制作动画

只需录制语音音轨，然后输入到应用程序中，即可看到您的逼真 3D 面孔。您甚至可以通过麦克风实时生成面部动画。

Audio2Face 将能够轻松处理各种语言。我们会不断用更多语言更新此软件。查看这些英语、法语、意大利语和俄语测试。

角色转换

生成各种不同的面孔

使用 Audio2Face，您可以重新指定作为目标的不同 3D 人类面孔或人类式面孔（无论是逼真还是风格化）。观看我们关于从 Digital Mark 重新定位到 Rain 的测试。

Use multiple instances to generate facial animation for more than one character.

多个实例

独唱或合唱

您可以轻松运行多个 Audio2Face 实例，并可以任意指定场景中的角色数量 - 所有角色均通过相同或不同的音轨制成动画。在对话的二人组、清唱的三人组和协调一致的四人组等当中融入生命力和声音。

情感控制

声情并茂

Audio2Face 可让您选择角色情感并用动画表现出来 – 网络会自动控制面孔、眼睛、嘴巴、舌头和头部运动，以符合所选的情感范围。

查看 Audio2Face 的实际应用

生物与外星人

这些功能可以驱动奇幻生物和外星人的面部动画。在这里我们使用 Digital Marker 来驱动外星人的呈现效果。

动画聊天机器人 Misty

Misty 是一款交互式天气机器人，在 2020 年春季的 GTC 上亮相展示，运行时由 Audio2Face 生成。我们演示了从真实的人类网格到程式化的角色网格的重新定位，以用作交互式服务代理。

Omniverse Machinima

Audio2Face 在 GeForce 30 系列发布会上推出，现已登陆 Omniverse Machinima 演示版。众所周知，面部动画不仅非常复杂，而且成本高昂。Audio2Face 可自动创建详细的面部动画，使 3D 内容创建过程更易为大众所接受。

开始使用 OMNIVERSE AUDIO2FACE

Omniverse Machinima 适用于任何 NVIDIA RTX 设备，从笔记本电脑到数据中心都可运行。下载 Omniverse，开始应用。

下载 NVIDIA Omniverse 并运行安装。

安装后，打开 Omniverse 启动程序。

Find Audio2Face in the Apps section and click Install

在“Apps”（应用）部分中找到 Audio2Face，然后依次点击“Install”（安装）和“Launch”（启动）。

下载公测版

深入了解 Audio2Face

观看 GTC 2020 上的技术概述。

点播观看

系统要求
元素	最低规范
支持的操作系统	Windows 10 64 位 1909 及更高版本
CPU	Intel I7, AMD Ryzen 2.5 GHz 或更高
CPU 核心数	4 核或以上
RAM	16 GB 或更高
存储空间（可用）	500 GB 或更高
GPU	任何 RTX GPU
VRAM	6 GB 或更高
视频驱动最低版本	455.28 (Linux), 456.71 (Windows)
注意：Omniverse 可以在搭载 RTX 的各种设备上运行。为获得出色性能，我们建议使用 GeForce RTX 2080、Quadro RTX 5000 或更高版本。如需近期发布的驱动，请访问此处。