Rotobot自动转描技术全面解析研究方向前景可观

Susan1 · 发表于 2018-12-3 12:12:34

Rotobot是第一款应用于合成软件的AI产品，可以使用机器学习技术生成抠像。KognatSoftware公司已将其制作成Nuke的插件，虽然Rotobo的效果仍然粗糙，但是它为基于机器学习的自动转描技术提供了研究方向。

Rotobot可以分离出属于对象“语义”类别的像素实例，例如人、车等等。这意味着通过使用递归卷积神经网络(CNN)分析图像，可以分离属于81个类别之一的像素。这些类别中，每个分类最多有100个实例，可以实现一次分离。该技术对视觉特效制作意义重大，因为这意味着其可以生成临时应急的抠图。

布里斯班拍摄素材展示Rotobot技术：

但是效果还不够好，不足以应用在最终的转描效果中，但是有很多情况下，需要快速生成临时应急的抠图效果。通常手动进行快速转描或者过着将视频素材移交到国外的时候需要这样的抠图效果。即使在发展中经济体中使用专业工具，艺术家的工资很低，也需要花费大量的成本和时间。Kognat Software公司的创始人Sam Hodge 表示：“即使你可以找到每天仅收费100美元的艺术家，1秒钟的素材需要24分钟才能处理完，意味着一天的时候一位艺术家可以处理20秒素材。所以一个20秒的镜头，最少要处理一天的时间，成本是几百美元，还需要几个受过培训的艺术家同时工作。另外还要考虑制作软件的成本，例如Silhouette等等”。

更多相关内容请关注：Nuke插件专区，Nuke视频教程专区

高勒拍摄素材展示Rotobot技术：

Hodge指出虽然对高品质转描效果需求量很大，但是快速简洁的转描效果也有大量需求，这种效果被称为“Bash Roto”。该技术可以让艺术家们处理成本更高、更耗时的转描效果之前，先检查或者展示作品。Bash roto经常被应用于快速合成中，这里艺术家和总监可以研究想法并测试方法。这些效果通常会在工作室内部展示，不会在视觉特效设备之外展示。“Bash roto的成本是最终转描效果总成本的40%”，Hodge解释说。因为Bash roto通常不能被重复利用，成为成品遮罩的基础，所以通常被人们看作是一次性作品。“典型视觉特效镜头的Bash roto需要2-60个小时的工作量，时间取决于素材的长度、复杂性和遮罩所需元素的数量”，他补充道。

时间上的延迟和成本花费是Rotobot即将要解决的问题。就其本质而言，快速合成中的Bash roto需要快速完成。Bash roto的自动化制作可以节省大量时间。在足够规模的渲染农场中，可以从24小时的周转时间缩短到仅几分钟。这可以让下游艺术家更早地开始处理任务，同时完成更多并联工作。

狭长平底船素材展示：

OpenFX Rotobot插件可以一天24小时处理素材不停歇，仅受限于可用的许可证和硬件资源数量。Rotobot在标准笔记本电脑上（低配），通常只需12秒就能处理一帧画面。并且可以在一次计算中分离多达100个实例。无需专业GPU硬件。该插件以被证明可在2007年生产的，配备2GB内存的低端计算机中运行，虽然速度很慢。Rotobot将使用尽可能多的CPU资源，不会为多个元素增加额外的成本。Rotobot已经通过了世界各地的专业人士在Linux和macOS系统平台上的测试。许可证管理器支持浮动许可证，价格未公开，但估计每个许可证的价格将低于500美元。

品质

该程序被设计为带有不同品质级别的版本，从超快和粗糙，到更加精细的版本都有。但是即使是最高品质也只能保证大致正确。Rotobot制作的扫描效果暂时还不是特别稳定，因为通常帧画面之间会有闪烁。它制作出来的是每帧解决方案，所以没有可编辑的样条线可以修饰或继续处理最终效果。Kognat公司正在努力将效果的逼真度提升到更高的标准。但是暂时只支持快速合成操作。

Rotobot自动转描技术全面解析研究方向前景可观