虚拟世界和自适应光场：迪士尼研究部专访

虚拟现实（VR）在叙事方面有着巨大的潜力，特别是对于媒体和娱乐行业而言更加明显。然而障碍同样存在，这一点我们在近几个月的文章中已经探讨过了。

为此，Foundry 趋势采访了迪士尼研究部的高级研究科学家Kenny Mitchell，来寻求行业该如何克服关键挑战的答案，并了解他的团队在该领域中正在进行的令人兴奋的工作。
.

Foundry Trends（FT）：在VR中创建故事时，其中最大的技术挑战是什么？

Kenny Mitchell（KM）：“VR故事创作就像是把普通电影和视频游戏放在了一起，并试图让你完全沉浸其中。人们期望在虚拟世界中自由地探索和互动，并对虚拟世界中的对象产生有意义地影响。因此，首先一个挑战是如何从视觉上无缝的呈现出在眼前移动的一切，而不是将观众固定在一个360度的视点上。

“具有完整细节的360度视频需要大约10倍于常规显示的分辨率。另外，还需要考虑增加漫游能力，以便从各个方向来查看这些场景。此外，材质还得根据您的位置，依照反射和光线散射的原理，来相应的改变外观效果。”

“因此进一步来说，如果故事要实现不同的线索，那为了实现实时、全动态的光场媒体体验，就需要对图形算法进行大量处理，才能进行优化并完全加以消化。”

FT：作为行业本身，我们该如何克服这些挑战？

KM：“幸运的是，这与我们观看身边自然界也有很多相似之处。因此，我们能加以利用，将事物归纳为常见的材质和造型。以此通过明显减少的方式，对虚拟世界进行重新采样。例如可以通过自适应性的稀疏矩阵光场探针、深度、颜色全景图的巧妙重建来加以实现。

我们也已经发展到了以一种具有类似人类视觉感知极限的方式，基本一致的来看待和理解我们周遭的世界。例如，我们看不到无限的细节。并且很难判断反射是否完全符合肉眼真实。我们常常也不会注意到面前的每一个细节。甚至在我们的鼻子底下，其周边的视野同样非常有限。

因此，在这方面应该小心谨慎。虽然可以省略或减少细节，但我们首先应确认这些精简不会被察觉。同时，要在现代计算机设备上将其组织，并构建为几毫秒之内完成计算的算法仍然是一个挑战。”

FT：您觉得VR叙事将会走向何方？

KM：“沉浸式媒体仍然处于叙事的早期阶段。即使这些方法已在不断发展，但还有四个特别兴奋的途径尚未开发。首先，最终必定会不断缩小在高质量电影VFX中所看到的视觉效果与能够完全操控的实时视频游戏之间的差距，并趋于收益递减的水平。这意味着导演可以从一开始就通盘考虑受众如何体验和影响故事中的场景，而不必考虑太多的妥协。

其次，虚拟环境中将会具有无所约束的精确物理效果模拟，同时也可以借助新的触觉方法，来反馈给参与者。

第三，在这些故事空间中以令人信服的方式遇见其他人（体验者），也将是向更广泛的受众开放社交媒体的关键所在。这方面可以通过遵循人类运动和外观一致性的方法来加以辅助，并采用预测方法来抵消远距离网络通信的等待时间。

最后，将会能够与人工智能角色进行交流和互动。这些角色旨在根据我们自己的特点来自适应地引导和增强故事，这样也将改变我们对所处叙事情境中扮演的角色的理解。”

FT：您最近在迪士尼研究部中心的项目之一IRIDiuM +将电影内容直接用于到了VR和游戏之中。那么这种方法有什么好处呢？

KM：“IRIDiuM +只是实现真正意义的深度媒体的全部承诺中的一小步。我们开发了从最新电影制作中获取图像的方法，并将通常需要数小时计算的帧渲染处理，提升到了仅在毫秒级完成，而且无需花费大量精力去进行视频游戏优化或让艺术家去执行资产精简。

我们将重点放在了硬件视频解码和重建的新方法上，通过与Babis Koniaris等人合作，我们也期望新的加速型视频压缩标准尽快出台，从而将类似的方法直接嵌入到芯片之中。

此外，我们非常幸运地得到了了由Maggie Kosek领导的许多初露头角的年轻艺术家的努力，以创造出了一次性的分支光场故事体验 ，并对未来的互动娱乐做了提前一瞥。我的研究团队和迪士尼研究部中心的其他科学家也都努力在Markus Gross的战略性跨越领导下，向新艺术形式的顶峰不断攀登。”

想要了解更多关于科学家如何使VR变得更加身临其境的最新方法吗？看看我们的下一篇文章吧：探索虚拟现实中的无限行走