Adobe上个月发布了新的Character Animator 2019,其中的Style Transfer功能可以自动制作面部动画。
我们采访了Dave Simons,Adobe公司的同事,之前是生物高级研发人员,现在在Adobe公司带领一个高级团队。Simons也是发明After Effects的公司Cosa的联合创始人,后来这家公司被Adobe收购,成为Adobe的一部分。他曾经是After Effects的工程师,2007年转到产品研发团队。他们团队的任务就是将研发内容从实验室变成产品上市。“基本上我们就是在努力尝试将研发内容转换成After Effects和Premiere”,他说,“Character Animator跟它们不在同一范畴,因为我们已经制作出了很多成功的产品,然后我们决定要做角色动画。所以我们设定了角色制作这一条路,令我们很惊讶的是竟然获得巨大成功。现在这个团队实际上就是Character Animator团队,他们在全职做这个项目”。
新的Adobe Character,正在渲染Mike的风格转换
Styletransfer(风格转换)
Character Animator中一个新的功能就是Style Transfer功能,可以帮助用户绘制人物图像,然后制作实时动画。
Mike的不同版本
这款技术看起来好像是使用了现代的深入学习AI技术,但是并没有。Style Transfer本身并没有使用深入学习技术,但是开发人员在其中的一些预处理步骤中使用了这项技术。Style Transfer和Content AwareFill共享同样的成分——PatchMatch(补丁匹配),但是Content Aware Fill只能处理去瑕疵图像,而StyleTransfer中有很多隐藏的“图像”(蒙版、细分等等),可以引导转换的顺利进行。
AdobeCharacter
Character Animator通过参考角色文件(分层PhotoShop文件)来制作动画。这个分层文件有特定名称的图层,图层互相作用产生近似实时唇形同步的效果。当主程序进行面部追踪时,它可以解析并决定使用哪部分或者PhotoShop主文件图层,然后显示。这个概念与传统的Cel动画非常相似。下方的实例中,没有HomerSimpson的3D头部。该程序只是简单地显示主文件中正确的2D作品,来制作一个人在说话的错觉。一旦面部追踪可以实时完成,渲染会变得很简单,该系统可以进行互动式处理,用来制作实时卡通角色动画。
《辛普森一家(第27季21集):辛普森的致歉》:
Stephen Colbert与特朗普卡通角色交流时,幕后有演员正在实时表演并回答问题,所以观众才能现场看到这段对话。演播厅内,Colbert实际在跟一张空椅子对话,但是有视频传送给他,所以他知道观众看到的效果是什么样的。
Stephen Colbert与特朗普卡通角色交流视频:
可以制作直播卡通动画效果的功能实在令人印象深刻,即使是制作供以后观看的视频,能得到即时的反馈也是人们非常需求的。不幸的是,动画范围仅限于主文件。Adobe已将其拓展到行走循环动画和其他方面,包括最新版本中,角色可以“拿着”物体,以及可以“富有磁性地”连接自己的四肢。最终的结果令人印象深刻,但是这个系统并不是完整的动画包。例如Homer Simpson在吃一个奇形怪状的三明治,不可能制作出这样的画面。这样一个动作的画面不值得去创建绑定,并创建新的Photoshop主文件。
不同版本的Character Animator简化了动画的操作流程,帮助艺术家门创建更加逼真和互动式的内容体验。增加了一些更新的功能,随着时间的推移,该程序逐渐改进了唇形同步算法,可根据说话声音相对应地精准显示嘴唇形状。新版本中,高级角色绑定可以根据图像的样本样式制作出个性化的角色。之前想实现这样的操作,需要手动在操作器上编辑风格化的原始作品。Character Animator新版本中,这个操作是自动完成的。
|