持续不断的技术进步和创新促成了第一批数字人类的创建,他们可以逼真地代表真实的人类,不存在明显的暗示或者缺陷。而这仅仅是一个开始,这些超现实的、实时的化身,将通过进一步的改良,而变得越来越人性化。
Cubic Motion正是这项技术的领头公司。这家总部位于英国曼彻斯特的公司,多年来一直以其计算机视觉技术为基础,为电子游戏和其他媒体制作优秀的面部动画。他们的计算机视觉技术是由经验丰富的博士科学家领导的天才团队,设计的软件和算法组合。
计算机视觉
将现场表演转换为实时角色,需要捕捉表演者,跟踪他们的面部特征,将数据解析到CG角色控件上,然后最终将结果流式传输到游戏引擎中。当然,这是高度简化的流程。实际上这个过程并不简单,需要大量的计划、工作和重复操作,来确保制作出成功的效果。
拥有以每秒60帧的速度运行的实时跟踪模型非常重要。将数据解析到CG角色控件上,然后最终将结果流式传输到游戏引擎中。
CubicMotion公司为游戏《战神(God of War)》制作了所有的面部动画
Cubic Motion公司的机器学习算法,以多年的经验和计算机视觉领域的广泛作品为基础,允许我们在没有物理标记的情况下,精准地跟踪面部特征。该算法要求我们训练跟踪器以捕捉正确的信息,例如分离面部的各个部分,对面部元素进行数字标记,同时还能考虑到人脸的动态灵活性。
遇到挑战
Cubic Motion公司帮助开发了Siren——迄今为止最逼真的数字人类之一。在现场演员实时表演的驱动下,Siren的外观、声音和行为就像真实的一样,这个数字人类的潜在用途似乎有太多种可能,从电子游戏中的实时角色到广播行业等等领域,都可以应用。下面我们一起来欣赏一下Siren的幕后制作技术。
Epic公司想要创建一个概念来验证数字人类,以证明如今Unreal Engine 4渲染实时逼真角色的能力。因此,该公司需要与一些顶尖的捕捉技术和动画专家合作。
运动捕捉摄像机公司Vicon通过他们的Shōgun摄像机和技术,将女演员Alexa Lee的现场表演流式传出到游戏引擎中,而3Latate公司的详细扫描和实时面部解算器RigLogic,帮助呈现Siren的逼真面部效果。
GDC大会上Siren的演示场景
然后Cubic Motion公司的角色是通过其计算机视觉技术(该技术以每秒60帧以上的速度实时跟踪女演员200多个面部特征)提供这两个元素之间缺失的链接,将女演员最细微的面部动作传输到数字角色中,没有任何可察觉的延迟。
该技术将令人印象深刻的外观扫描和复杂的绑定,转变为真正可信的数字人类。Cubic Motion以无与伦比的速度、准确性和效率,将人类演员的表演转化为数字素材的能力,为高品质动画人脸提供了更进一步的真实性。
就像真的一样
还有很多附加的细节成就了Siren独特的外观和整体感觉,包括扫描演员的牙齿,在演员的面部添加桃茸效果,以及Unreal Engine团队对其添加的更加真实的皮肤着色。他们还增强了后向散射算法,并为逼真的眼睛添加了双反射瓣,这是数字人类性能卖点的最关键细节之一。
Cubic Motion公司通过与领先的行业伙伴合作,并利用自身丰富的计算机视觉经验,正在定义数字人类的未来,他们将继续改进并创新技术。
更多相关内容请关注:CG视频教程专区
|