即时网格算法 - 与Dr. Wenzel Jakob的访谈

Foundry 趋势拜访了Mitsuba渲染器的作者Wenzel Jakob,深入了解了由他合作开发的强大自动重拓扑即时网格算法。

作为瑞士洛桑EPFL的写真图形实验室(Realistic Graphics Lab)助理教授,Wenzel的研究重点围绕着渲染、外观建模和几何处理展开。

您最出名的方面在于Mitsuba渲染器的开发。那是什么促使您转入自动重拓扑领域?

当我还是名研究生时,最初不过是把Mitsuba设想为自己研究渲染的试验场。

在康奈尔大学期间,我发现为改善Mitsuba渲染算法的研究,让我更加接近了几何体方面 - 事实也证明了这些领域之间存在着很多有趣的联系。

毕业后我遇上一个机会,并进入了ETH Zürich工作。由此转入了一个完全不同的领域,负责解决纯几何体方面的问题。正是在这段时间里,我与 Daniele PanozzoMarco Tarini和 Olga Sorkine-Hornung合作创立了即时网格算法。

您的即时网格算法比其它自动重拓扑解决方案快很多,而且质量非常好。这其中的取舍优化是什么?

正如您所提到的,存在着许多其它解决方案 - 重新网格化是区域几何体处理中的经典问题,多年来一直受到多种问题的困扰。当前艺术级的方法都依赖于方向性对称场(directional symmetry fields)。 其中的理论是:要构建网格四边形,首先需要知道每个四边形应该如何定向。这些方向可以看作是覆盖在曲面上的小十字(上方显示了流线Flow line):

Instant Meshes algorithm

要创建高质量的网格,我们希望这些小十字尽可能相似。由于下一步将涉及多边形的实际放置,因此一旦已知方向,那一切也就会变得更容易了。

即时网格的核心之处在于这两个问题都能描述为一种特殊的平滑操作,由此就能进行非常高效的执行了。我们可以将网格细分为越来越小的块,并重复性的模糊这些简化网格上的数据。这种方法的整洁部分在于这些处理都是并行运行的,并且还可以扩展到拥有数亿个元素的网格之上。此外,即便没有指定任何约束,即时网格也具有着独特的曲率处理方式,IM(即时网格)由此可以自动且稳健地对齐角点和其它尖锐特征。

An interview with Wenzel Jakob: creator of the Mitsuba renderer and co-author of the Instant Meshes algorithm

即时网格方法也能扩展到更高维度,例如创建出对象内部的六面体网格。(与高希峰(音译)、Marco Tarini和Daniele Panozzo合作完成)

与该领域的许多研究人员不同,您不仅发布了源代码,还通过GitHub发布了功能完备的自动重拓扑应用程序。您为什么选择这条路? 

Daniele、Marco、Olga和我都是可重复性研究的坚定支持者,这意味着乐于提供研究项目的完整源代码访问。由此,其他人不仅能继续开发扩展,还可以使用已有成果,来再现所有结果和统计数据。

在即时网格的方面,我们也觉得我们在性能和可用性方面达到了最佳状态。我们的软件已经能用于学术界以外,例如3D扫描、重拓扑或CAD工作流程的从业人员手中了。


而且反响非常不错!即时网格(资料)已经下载了超过60,000次,而我们的YouTube视频也拥有了差不多的观看数,这对我们来说简直就是个不可思议的数字。

即时网格在对3D扫描或摄影测量获取到的大型网格物体生成自动拓扑方面,似乎是个理想的选择。对此类应用,您有什么观点?


作为工作的一部分,我们经常需要使用激光或结构光扫描来扫描物体。即时网格绝对是工具箱中的重要工具。不过通用的扫描流程仍存在许多问题。这些问题多年来一直令我们感到沮丧。首先,它涉及了许多分离的步骤:获取一组扫描数据,进行对齐,执行网格熔合/重建,UV参数化,重新网格化等。然而这甚至都还不是全部,且每个步骤都需要使用不同的工具。最糟糕的部分是,如果后来证明需要进行再次扫描,以便从另一个角度添加更多细节,那就必须重复大多数步骤了。

受到这些挫折的激励,我们一直在研究一种实时的所见即所得的新流程,以便用于3D扫描。该技术名为场对齐在线表面重建(Field-Aligned Online Surface Reconstruction),该技术已被SIGGRAPH 2017接受。其关键原则是用户应始终能够看到最终质量的重新网格化对象完整的纹理和置换贴图,而且系统还将指示出需要进一步扫描的位置,并在添加过程中以交互方式更新视图。如今所有的流程阶段都融合在了一起,当然这正是得益于即时网格算法的新的流(数据)版本实现的

给我们介绍一下您的新研究小组以及您在研究什么吧。

除了曲面和体积网格的网格生成工作之外,写真图形实验室还专注于外观建模和光传输算法。这包括研究我们周围天然和人造材料的光学特性,开发描述它们的高效数学模型。我们工作的目标是大幅加速底层算法,并提高渲染准确性和保真度。我们使用Modo来进行场景建模,并使用我们的研究渲染平台来进行。