Pav Grochola是索尼图形图像公司（SPI）的特效总监，同时也是获得奥斯卡奖影片《蜘蛛侠:平行宇宙》的联合特效总监。他负责解决如何为影片制作自然的线条作品。
在CGI中，成功实现漫画风格的一个关键视觉元素是线条作品或“墨水线条”的创建。SPI在测试中发现，所有涉及根据程序“规则”（例如Toon着色器）创建墨水线条的方法都无法实现所需的自然外观。最根本的问题是，艺术家们根本不会根据有限的“规则集合”或指导方针来绘制内容。SPI需要一个更强大的解决方案来创建艺术性的手绘线条，以及一种在动画中调整这些线条的方法。
Pav Grochola今日与我们分享了SPI如何使用机器学习（ML）来解决这个问题。
上方的图像展示了在动画角色的基础上创建手绘墨水线条的挑战。该图像展示了使用“Toon着色器”操作的典型实例，以及使用这种方法生成的不良效果。总体上缺乏手绘设计效果，由此生成的外观效果也是偏程序性的。SPI需要一种更好的方法，来捕捉绘画时做出的复杂的艺术决定。
上方的图像中，左侧面板中绘制出来想要的墨水线条设计，但是这些线条不会随着角色的移动而调整。注意左侧面板上墨水线条看起来很好，但是当迈尔斯转动头部时，墨水线条很快就散开了。“线条作品不再正确匹配。尤其是下颌线。如果我们想要将墨水线条作为简单的纹理贴图，就会得到这样的效果。我们需要一种简单的方法来调整绘图，使它们在整个动画中保持正确的设计”，Grochola解释说。
在上方的图像中，当迈尔斯转动头部时，ML系统正确调整了绘画效果。
SPI的方法
该团队调查了其他的墨水线条技术，例如迪士尼的短片《纸人》。这种方法是根据动画数据创建屏幕空间速度场，并使用这些速度场创建平流线。“尽管这种方法很成功，但是我们发现处理速度场很麻烦。当存在重叠几何图形时，这种问题尤为突出，例如一只手在一个表面上移动时。而分离出多个速度场又不太符合实际”，Grochola说。迪士尼纸人方法也不适合存储从一个镜头到另一个镜头的绘图解决方案，但是考虑到他们短片中的镜头数量，SPI团队也渴望达到这样的高效率。经过深思熟虑，Grochola解释说：“我们想要创建一个利用机器学习的系统”。
SPI墨水线条工具中有两个模式，通过创建逼真的手绘墨水线条，来克服两个主要的技术挑战。墨水线条“手动模式”工具的创建是为了将墨水线条（曲线几何图形）附着在3D动画几何图形上，且控制简单，方便艺术家们修改绘图。艺术家们需要不断地调整墨水线条，以保持其正确的2D设计效果，避免制作成标准的纹理贴图效果，而他们想要的是动态绘图效果。第二个技术挑战是使用机器学习技术来捕捉并编目对墨水线条所做的艺术调整，以加快工作流程。这个“机器学习模式”加快了艺术家以更可预测的方式和更高的效率绘制墨水线条的能力。
手动模式
制作这部电影时，艺术家们直接在角色上绘图，以制作角色特定姿势的正确线条。绘制好墨水线条后，艺术家们使用一个微调的“笔刷”来快速轻松地调整他们的绘图。该工具会自动键入和插入微调。“我们将曲线直接投影到几何体上，并在屏幕空间或任意的UV空间（在机器学习插值的情况下）内插入微调。让艺术家在2D屏幕空间工作非常重要，因为这对于艺术家来说是最直观的空间，可以通过绘画和微调获得他们想要的效果”，Grochola回忆说。可以自动转换回3D空间，节省了艺术家进行这些调整的时间和精力（见下图）。艺术家们可以在2D空间中工作，并使用柔软笔刷来调整绘图效果。
机器学习模式
艺术家对墨水线条的调整和角色对视角和表达的位置有着非常复杂的关系。使用手动工具该团队可以手动调节效果。Grochola解释说：“为了在整个项目的制作过程中提高艺术家的工作效率，我们利用机器学习来帮助动画师们得到一个初步的预测效果，这将为他们在角色上绘制墨水线条提供第一步操作”。下方的图像中显示了机器学习预测效果。使用标准的“微调”工作流程，艺术家们也可以调整以校正绘图效果。
| 
/2 
抱着猫的老鼠
