几年的GDC大会上,DI4D展示了Dimensional Imaging 公司(DI4D)创始人和首席执行官Colin Urquhart的数字版本角色。
面部表情是使用DI4D HMC捕捉的,并被应用于Snappers的“数字替身”绑定。Colin的头部是根据Protagon的扫描图像创建的,然后使用UnrealUE4进行实时渲染。
DI4D——GDC 2019大会“Digital Colin”技术演示视频:
上方的视频中展示了Colin的实时渲染过程,下方的技术演示视频中展示了每一步的分解操作。值得注意的是,Colin的头部是静止的,因为他的面部是由HMC摄像机驱动的,清晰地固定在他的头部绑定上。为了让演示视频中出现头部或颈部运动,演示需要使用额外的Mocap套装。但是这个演示视频只是再现了面部表情。
上方演示视频中的操作使用了DI4D自己开发的HMC。新的演示视频不仅突出了HMC捕获单元,还突出了DI4D处理流程。他们新的DI4D HMC提供了高保真的面部表情数据,并与DI4D的后期处理流程一起使用。DI4D HMC使用一对4MP立体摄像机和同步的内置闪光灯LED照明,以确保摄像机焦距和面部照明均匀,同时最大限度地降低拍摄对象的视亮度。这个过程无需任何标记,无需特殊的装扮或结构光。
DI4D团队还参与了Digital Domain的Digital Doug项目的制作,该项目将于下个月在洛杉矶在Siggraph 2019年度大会上展示。在Netflix的《爱、死亡和机器人》系列动画的四集中,DI4D团队还制作了面部表情运动捕捉。DI4D团队与Axis Animation和Blur studios工作室一起制作了这些剧集。
DI4D——GDC 2019大会技术演示解析:
上方视频从左到右展示了GDC 2019大会技术演示解析,原始的DI4D HMC镜头,重建每帧3D“扫描”表面,跟踪网格点缓存,点缓存解决了Snappers绑定控制,最终在UnrealUE4中渲染。
DI4D扫描和重建面部的过程与Light Stage扫描过程不同。DI4D没有分离镜面反射和漫反射,因为这并不是偏光照明过程。此外,Light Stage方法可以扫描到高分辨率并对微观几何采样。而DI4D结合时间,进行的是面部的几何重建。正如他们在演示视频中所说明的那样,DI4D的处理过程的设计目的不仅仅是为了捕捉演员的表情。DI4D之所以重要,是因为它包含了一个时间方面,即第四维度。
DI4D方法的关键在于像素级的光流。“我们知道每一个像素从一帧流向另一帧”,Urquhart说,“DI4D可以输出Maya点云缓存,公司正在寻找支持Alembic文件的方法。”
Snappers是一家高端动画工作室,为电子游戏和影片提供角色相关的服务。Snappers最著名的是他们的FacialRig(面部绑定)以及他们在实时无标记面部运动捕捉系统方面的工作。他们还提供角色艺术和外观开发服务,对于这个项目,他们提供了控制最终数字人脸的绑定。
Protagon公司为所有电影媒体提供3D扫描和视觉特效咨询服务,包括电影、商业广告、音乐视频、实时和AR或VR。他们提供跨国服务,可以完成拍摄和捕捉、编辑、视觉特效等任务。对于这个项目,联合创始人Brian Adler和他的团队制作了ColinUrquhart的数字扫描文件,并将他们的作品与Snappers和DI4D的作品结合在一起。
更多相关内容请关注:CG视频教程专区
|