视频预览:
(面部动画和情绪控制)
Nvidia已经发布了Omniverse Audio2Face 2022.1,这是其基于人工智能的实验性免费软件的最新版本,用于从音频源生成面部动画。
该版本增加了Audio2Emotion:一个新的系统,可以从演员的声音中检测他们的情绪状态,并相应地调整3D角色的表现,使其能够表达喜悦或痛苦等情绪。
该底层技术构成了Omniverse Avatar Cloud Engine的一部分,Omniverse Avatar Cloud Engine是Nvidia在Siggraph 2022上宣布的一套即将推出的用于生成交互式在线化身的AI模型和服务。
从音频文件中为Character Creator角色自动生成唇部同步和面部动画
去年首次发布的Audio2Face是一个经过人工智能训练的工具,用于从音频源生成3D角色的面部动画:无论是离线的语音记录,还是实时的音频传输。
与姐妹应用程序Omniverse Machinima一起,该软件是Nvidia围绕Omniverse开发的一套新游戏工具之一,Omniverse是其基于美元的实时协作平台。
除了在Omniverse内部使用其生成的动画外,用户还可以将其输出转换为混合形驱动的动画,并以美元格式输出到其他DCC应用程序。
现在自动修改面部表情以配合演员的情绪状态
为此,Omniverse Audio2Face 2022.1增加了对面部情绪的支持,通过一个全脸神经网络 "用一系列的情绪训练,如喜悦、惊讶、愤怒和悲伤"。
新的Audio2Emotion系统从演员的声音中推断出他们的情绪状态,并相应地调整它所驱动的3D角色的面部表现。
其结果是自动生成的动画,不仅包括与音轨相匹配的嘴唇和面部动作,而且包括与演员的情绪变化相匹配的表情变化。
用户可以使用一套简单的滑块控制,或通过传统的关键帧编辑来手动调整表演:除了新的情感面板,软件的后期处理面板中还增加了一个新的 "简单关键帧UI"。
视频预览:
(NVIDIA Omniverse ACE:用于交互式头像开发的云端原生AI)
Nvidia即将推出的Omniverse Avatar云引擎的部分基础技术
Audio2Face和Audio2Emotion的底层技术也构成了Omniverse Avatar Cloud Engine(ACE)的一部分,这是Nvidia新的 "用于互动化身开发的云原生AI"。
这套人工智能模型和服务是针对软件开发人员的,旨在简化游戏和实时应用程序中创建聊天机器人、虚拟助手和NPC角色的过程。
它被设计成与平台无关--上面的演示显示用户与虚幻引擎中的Metauman角色互动--并将在明年发布时在嵌入式系统和 "所有主要云服务 "上运行。
价格和系统要求
Omniverse Audio2Face在Windows 10上有测试版。它需要一个Nvidia RTX GPU:该公司建议使用GeForce RTX 3070或RTX A4000或更高。所有的Omniverse工具对艺术家个人都是免费的。
更多CG资讯请关注:https://www.rrcg.cn/forum-612-1.html
|