数据分析将如何改善运动匹配?

在电影制作中,复杂的技术一直都是由完成复杂处理的雄心壮志而驱动的。 运动匹配“matchmoving”尤其如此,正是此技术真正实现了让计算机生成的图像(CGI)在插入到实拍镜头画面中的同时,依然保持了比例和运动的正确性。

运动匹配技术诞生于电影制作人希望动画人物在真人实拍环境中自由交互的想法。 自从《彼得的龙》(Peter's Dragon)和《谁陷害了兔子罗杰》(Who Framed Roger Rabbit)备受喜爱之后,此技术就在一直不断发展。与二十世纪70、80年代相比,在如今,电影中的CGI对于早已司空见惯,几乎都不再会引起观众的注意了。

然而,任何一位电影制片人都会告诉您这个过程其实不仅耗时,而且还充满了挫败感。那如果能有什么办法通过新技术,来改进这方面该有多好啊?


此刻已经有一位人士开始了这方面的尝试,他叫Alastair Barber。他正与DNEG、巴斯大学(University of Bath)一道合作,致力于借助数据分析和算法来改进运动匹配的过程。

Alaistair Barber

改进的空间

运动匹配之所以令人沮丧的一个原因在于,向场景中放置追踪摄像机通常是一个手动的过程。Barber的研究表明,运动匹配在整个视觉效果(VFX)生产线的总时间中占据了5%以上。即使已经专门采用了能承担大部分工作的软件,艺术家仍然还需要手动进行扩展。

“而我想要找到一种更好的方法,来追踪出摄像机的实际移动方式。”Barber告诉Foundry 趋势。“我最初想到的是在片场利用硬件来读取正在发生的情况,但电影片场是非常恶劣的环境。各种器材随时都在移动,而且剧组成员也没时间去尝试那些从没测试过的技术。”

很显然,他需要去寻求另一种替代性的方法。于是他转到了DNEG——这家拥有二十年历史的伦敦VFX和计算机动画工作室,这些年来,DNEG工作室创作了曾荣获奥斯卡奖项的《星际穿越》、《机器姬》、《银翼杀手2049》等众多作品。

“DNEG已经运作了一段时间了,”Barber说。“我非常确信这些年来的摄像机追踪方面估算是相当准确的。但是当我开始深入研究之后,才意识到我们真正需要处理的数据有多庞大。”

Data sets and algorithms in the pipeline

借助算法完成加速

借助庞大的数据集来创建算法,让运动匹配的过程取得了显著的改进。但首先Barber必须弄清楚要提供什么(数据)。“我们不得不在片场中寻找东西,”他解释说。“例如摄像机的镜头类型、摄像机的移动速度、场景中发生的状况等。基本上,我们可以测量的任何东西。”

此外,他还考虑了视觉特效艺术家的自身需求。 即“流水线化” - 让不同类型的软件互相交流。“而且我们希望一切都能准备就绪,好让艺术家立即就能开始工作,”Barber说。当艺术家可以轻松访问这些详细的片场相关数据后,整个过程的速度就有了20%的提高。

其它方面的应用

运用数据集来提高工作室效率的思路,并不止于适用于运动匹配。Barber认为,转描(Rotoscoping)也将是流程中的下一个可改进部分。“该工作与运动匹配类似”他解释说,“而且从某种意义来讲,您必须在所有场景中重复同一项任务。只是根据影片中内容的不同,难度会有所变化。但在基于已有数据,来进一步提升应用效率这方面,依然有着巨大的潜力。”


但是,为了更广泛地采用,工作室必须说服客户,提供数据以进行研究。Barber认为这不应该太难。“当然具体而言,这将归结到客户与工作室之间的关系如何了。而且如果工作室能很好地了解片场的情况,那么就能更容易地阐释需要什么数据,以及为什么需要了。”

随着镜头元数据的存储逐渐变得轻松,我们再也没有理由不利用这些数据去配合算法和能从数据获益的工作流程了。而数据也将为各种规模的工作室带来令人兴奋的可能性,从而最终提高效率,并节省宝贵的时间。