NVIDIA Omniverse Audio2Face

测试版

Omniverse Audio2Face

借助 NVIDIA 深度学习 AI 技术,仅需一个音频来源即可快速轻松生成表情丰富的面部动画。

轻松制作面部动画

Omniverse Audio2Face 测试版可让您更轻松地根据任何配音音轨制作 3D 角色动画,无论您是为游戏角色、电影角色或实时数字助理制作动画,还是单纯为了获得乐趣,都可以轻松实现。您可以在交互式实时应用场景中使用该应用,也可以将其用作传统的面部动画创作工具。实时运行结果还是烘焙结果,由您决定。

运作方式

Audio2Face 预装有“Digital Mark”。这是一个 3D 角色模型,可以使用您的音轨进行动画处理,只需选择并上传您的音频即可,入门非常简单。然后,该应用会将音频输入馈送到经过预训练的深度神经网络,并根据输出调整角色网格的 3D 顶点,以实时创建面部动画。您也可以通过修改各种后处理参数来修改角色的动画效果。您在此页面上看到的结果主要为 Audio2Face 的原始输出,很少或没有编辑过后处理参数。

Omniverse Audio2Face 应用
 
Audio2Face 通过音频输入生成面部动画。

音频输入

使用录音或实时制作动画

只需录制语音音轨,然后输入到该应用中,即可看到您的 3D 面孔变得活灵活现。您甚至可以通过麦克风实时生成面部动画。

Audio2Face 将能够轻松处理任何语言。此外,我们将不断更新该应用,使其能够处理越来越多的语言。 

角色转换

瞬间变换面孔

您可以使用 Audio2Face,重新指定作为目标的不同 3D 人类面孔或人类式面孔(写实或非写实)。敬请观看我们有关从 Digital Mark 重新定位到 Rhino 的这一测试!

 
使用 Audio2Face 制作任何角色的面部动画
 
使用数个实例为多个角色生成面部动画

扩展输出

即刻让您或所有人的表情更加生动

您可以轻松运行多个 Audio2Face 实例,并可以任意指定场景中的角色数量 – 所有角色均通过相同或不同的音轨制成动画。在对话的二人组、清唱的三人组和协调一致的四人组等当中融入生命力和声音。此外,您还可以对每个面部的面部表情细腻程度进行调整,并从多个音频源批量输出多个动画文件。

数据转换

连接和转换

Omniverse Audio2Face 的最新更新现在支持 BlendShape 转换,还支持 Blendweight 导出选项。此外,该应用现在支持通过 Epic Games UE 4 执行导出与导入工作流程,使用 Omniverse UE 4 连接器生成超人类角色的动作。

 
让您的动画更富情感。
让您的动画更富情感。

情感控制

声情并茂

Audio2Face 让您能够在眨眼之间选择角色的情绪,并为其设置相应的动画。AI 网络会自动操纵脸部、眼睛、嘴部、舌头和头部运动,以匹配您选择的情绪范围和定制的情绪强度水平,或自动直接从音频剪辑中推断情绪。

查看 Audio2Face 的实际应用

生物和外星人

制作奇幻生物和外星人的面部动画。在此,我们让 Digital Mark 驱动外星人的行为表现。

动画聊天机器人 Misty

Misty 是一款交互式天气机器人,在 2020 年春季的 GTC 上亮相展示,运行时由 Audio2Face 生成。我们演示了从真实的人类网格到程式化的角色网格的重新定位,以用作交互式服务代理。

Omniverse Machinima

Audio2Face 将在 GeForce 30 系列发布期间同步推出,并在 Omniverse Machinima 演示视频中有所展现。面部动画非常复杂且成本过高。Audio2Face 可自动生成精致的面部动画,普及 3D 内容创建流程。

NVIDIA Omniverse 能够帮助我为数字人制作更自然的效果并加快工作流,让我可以将更多时间用于创作。

– Anderson Rohr,3D 艺术家

立即体验 NVIDIA Omniverse

找到适合您的 3D 工作流的正确许可证,立即开始探索 Omniverse。

nvidia-omniverse-creators-3c33-D

创作者

免费下载和创建

作为用以无缝连接并增强 3D 创意应用程序的中心,Omniverse 能统一整合资产、库和工具,从而实现真正无间断的工作流,让艺术家实现更大程度的创作自由。

开发者

开发者

免费开发和分发

Omniverse 是专为开发者打造的,可让他们在每层自定义 3D 工作流,以便他们轻松构建新的 Omniverse Connector、扩展程序、应用程序及微服务。

nvidia-omniverse-enterprise-3c33-D

Enterprise

免费试用 | 年度许可证

Omniverse Enterprise 改变了各种规模的组织的复杂设计工作流。它可以借助使用集中式项目数据的多个应用程序与多个用户和地点进行实时协作。

如何安装 Omniverse Audio2Face

下载 NVIDIA Omniverse

1

下载 NVIDIA Omniverse 并运行安装程序。

打开 Omniverse Launcher

2

安装后,打开 Omniverse 启动程序。

在“Apps”(应用)部分中找到 Audio2Face,然后单击“Install”(安装)

3

在“Apps”(应用)部分中找到 Omniverse Audio2Face,然后依次单击“Install”(安装)和“Launch”(启动)。

系统要求
组成部分 最低规格
支持的操作系统 Windows 10 64 位(1909 和更高版本)
CPU 英特尔 i7,AMD 锐龙
2.5 GHz 或更高
CPU 核心数 4 个或更多
RAM 16GB 或以上
存储空间 500GB SSD 或更多
GPU 任何 RTX GPU
VRAM 6GB 或以上
最低 视频驱动版本 单击此处,查看新版驱动
注:Omniverse 可以在任何搭载了 RTX 的设备上运行。为获得理想性能,我们建议使用 GeForce RTX 3070、NVIDIA RTX A4000、8GB 或更高性能 GPU。

详细了解分步教程

了解更多 Omniverse 应用

了解全套 NVIDIA Omniverse 应用和连接器,或尝试我们提供的以下建议。

创作

利用 Pixar USD 加速先进的环境构建,并以交互方式实时组装、模拟和渲染场景。

Code

一个集成开发环境 (IDE),供开发者和高级用户轻松构建 Omniverse 扩展程序、应用或微服务。

Machinima

利用适用于创作者的 AI 赋能工具包,重新混合、重新创建和重新定义动画视频游戏故事情节。

View

利用此功能强大、物理属性准确的交互式逼真可视化工具,协作审查设计项目。

加入我们的社区

访问教程

我们提供了数百免费教程讲座以及初学者培训资料,供您参考,了解如何开始使用 USD

成为 Omnivore

赶快加入社区!参加我们每周在 Twitch 上的直播,在 Discord 和论坛上联系我们。

获取技术支持

遇到问题了? 您可以在论坛中发帖提问,以便获得 Omniverse 专家的快速指导;也可以参阅平台文档

展示您的作品

打造了 Omniverse 杰作? 请提交至 Omniverse 图库,它可以为您提供灵感,启发他人。

联系我们

随时了解 NVIDIA Omniverse 的最新新闻。