为何VR中的眼动追踪不止中央凹型渲染?

在所有被认为是VR转折点的潜在发展中,很少有技术如同眼动追踪那样被热切期望。

眼动追踪是一种监测人眼在VR头戴显示中观看内容的技术。正如我们之前所探讨的那样,此技术通常是在探讨中央凹型渲染的情境中才会讨论到。此技术有望让VR在计算上(进而在成本上)更加高效(例如Foundry旗下的Modo VR版已经能在当前头显中运用中央凹型渲染来节省处理)。

不过,除了围绕着中央凹型渲染的头条新闻之外,您还会发现其它许多令人兴奋的眼动追踪应用程序。


变焦显示

 

尽管当下VR头戴显示中所用的光学系统一直在不断改进,但它们仍然只是与人类视觉系统十分接近的近似值。

因此,人类视觉中许多想当然的事情,都尚未在VR技术中得到准确复制。中央凹型渲染便是其中之一,而动态焦点则又是另一方面。

例如调整对近处或远处物体的聚焦,正是目前VR头戴显示尚且无法与人类视觉的固有部分相匹配的一个方面。

这是因为即使(影像中)立体深度所带来了的提示并非如此,但VR头戴式显示器中的显示器依然会与我们的眼睛保持相同的距离。这就导致了一个称为视觉辐辏调节冲突(vergence-accommodation conflict )的问题。


解决此问题的方法在于,可动态改变其焦点深度的变焦显示器的发展。

此技术的简单形式为,通过复杂的光学系统,在其中显示器实际将在镜头的前、后移动,从而动态地改变焦深。

当然,您需要借助眼动追踪才能加以实现。因为系统需要准确知道,用户希望获得正确焦点的位置。

首先得从用户的每只眼睛到虚拟场景上的观察点之间,追踪出线条。这些线相交的地方就是正确的焦平面位置。之后,该信息被中继到显示器,显示器再进行相应调整,以匹配用户的眼睛到物体的虚拟距离的焦深。

若做得好,则变焦显示既能消除了视觉辐辏调节冲突,也可以让用户比目前现有的头戴显示更好的将注意力集中到虚拟对象上。

即便与功能齐全的变焦显示还有一段距离,但在此之前,眼动追踪仍可用于更准确地模拟出人类视觉系统的景深,从而更好地进行用户眼睛焦平面外的物体模糊

中央凹型显示

Foveted displays

相比于与中央凹型渲染旨在解决的相同挑战,中央凹型显示则提供了不同的解决方案:复制我们的眼睛观看事物的方式,即相比周围视觉而言,更清晰地显示我们视觉焦点所在的位置。

中央凹型渲染试图通过将更多的渲染力集中在我们可以清晰看到的视觉部分上(而在低细节的外围视觉区域上则减少)来实现,其具体可通过增加像素数量来达到这一效果。

该概念涉及到了一个较小区域、但像素密度更高的显示,该显示区域可通过追踪用户正在观看的点(通过眼动追踪),来物理性的移动,从而在该区域创建出更清晰的图像。

运用像这样的小型动态显示器即可实现更高的分辨率,而无需再借助笨拙的方法去在整个视场中填充高分辨率的像素了。

甚至会更出色的一点是,与采用单个平面显示所获得的视野相比,此方法可能会带来更宽的视野。

中央凹型显示器已经有 Varjo.等创新公司开发。 Varjo将像素密集型的微型显示器叠加在具有较宽视场的低像素密集型显示器的上方。通过将两者结合起来,就既为用户的中央凹型视觉提供了极高的分辨率,同时也为周边视觉提供了广阔的视野。

不过,目前只是较小的显示器挂在镜头的中央,但公司正在研究操纵显示器的不同方法,以便让高分辨率区域始终能跟踪到您所关注的位置。

生物识别和调整

biometric identifiers

大多数人已都熟悉了运用生物识别来确认身份的概念(例如,您可能正在通过扫描指纹或视网膜访问的智能手机来阅读本文)。

同样的,也可以用基于人类行为的生物学特征来确认身份:例如人们的步态或观察事物时眼睛的移动方式。

而将这种眼动追踪技术整合到VR中之后,就能提供一种区分同一个头戴显示的不同用户的方法。

VR系统可以自动识别各个用户,并分别显示其自定义环境,包括游戏进度和设置等。而在将头戴显示交给下一个人后,别人的首选项和保存的数据也将自动加载。

此外,眼动追踪还可用于测量瞳孔间距(IPD):人眼之间的距离。这在VR中很重要,因为需要正确调整头戴显示的镜头和显示器的位置,才能得到最好的舒适度和视觉效果。

但大多数人不知道自己的瞳距(IPD)是多少,不过借助眼动追踪,VR系统能立即测量出用户的瞳距值,然后在屏幕上显示说明以帮助将头戴显示调整为最佳设置。

当然,最终头戴显示也可能会更加高级,无需用户再执行任何操作即可测量和调整好瞳距。

 

虚拟抓取和输入

眼动追踪还可以用作“抓取”虚拟对象,以及更快速、更高效执行其它任务的一种方式。

绝地武士风格的“原力拉取”成为VR应用中的功能已有一段时间了(只用手势指向物体,物体便会来到身边),但是眼动追踪,还可以使此项操作更加准确。

实际上,我们的眼睛比起激光指示器,能更好的对远处的物体进行指向,因为在远处,手部的自然晃动会被放大。

类似地,在VR中按下按钮、选择选项以及输入数据方面,使用眼动追踪可能比使用双手要更快速,也更有效。因此,如果VR想要成为真正高效的制作计算平台,眼动追踪将会起到关键的作用。

研究与医疗保健

VR已经在医疗保健领域取得了进展,SyncThink等公司就在利用头戴显示的眼动追踪功能来检测脑震荡。

运用该功能进行测试的早期结果表明,使用此方法可提高现场诊断的效率。

此外,研究人员已经开始在VR头戴设备中使用眼动追踪技术来收集各种情况下的数据。有趣的是,即使是像接球那样简单的事情,也在揭示大脑如何利用视力协调动作的方面给出了令人惊讶的结果。

而当您观看更复杂的活动时(例如凝视扮演钢琴家去演奏复杂音符序列的玩家),那么画面将会更加有趣了。  

您可能期望钢琴家会不断追踪手指,以准确地敲击音符,但在VR中的眼动追踪里却会显示出玩家的眼睛却在四处扫视,经常是查看序列中将要播放的下一个音符,而不是当前音符-或返回到双手之间的位置,以便可以从他周围的视野中收集数据。

这一点很重要,因为我们对人类感知的了解越多,我们创建沉浸式虚拟世界和增强世界的能力就越强。

研究与医疗保健

更加逼真的社交角色

您可能已经熟悉统计数据,肢体语言占了交流的一半以上(相比之下,我们说的话仅占7%)。

在当今的社交型VR应用程序中看到的许多化身角色,都被设计为看起来能更加逼真地交互,具有栩栩如生的眼睛动作,例如眨眼,扫视和对象聚焦等。

然而所有这些都是用动画和预编程的逻辑来模拟的。因此尽管这也会产生真实反应的幻觉,让虚拟角色看起来不那么像机器人,但这仅仅是一种幻觉,并没有传达出任何真实的非语言信息。

但眼动追踪有可能显著改变这一点。通过监视用户何时眨眼或他们在看什么,将数据准确地传输到VR化身上,从而更好地展现出的非语言的表达。

这其中可能包括那些有意识和无意识的线索,包括眨眼,斜眼和瞳孔扩大等。眼动追踪甚至还能帮助推断出特定的情绪,例如惊喜或悲伤,之后又可以将这些情绪反映在化身角色的脸上。

分析与用户意图

Analytics and user intent

能够准确地了解用户正在看的位置,对于虚拟现实中的故事讲述具有深远的意义。

想象一下,您作为一名开发人员正在创作这样的作品:一名士兵正在一个房子,一个房间的走动,并检查诱杀装置。

以前,开发人员可能需要花费大量时间和精力来编写序列,并让隐藏的敌人从壁橱中突然出来。然而即使很努力的开发,但进入其中的玩家却错过了,因为玩家直接都没看到。

通过跟踪用户的眼睛,就能在恰到好处的时机触发事件,以获得最佳效果。这对于沉浸感,凝聚力和满意度绝对至关重要(在体验VR作品时,如果错过一切精彩,难道不会很恼人吗?)

目前,一些品牌已经开始关注VR眼动追踪技术对他们的潜在影响。

凯洛格Kellogg)最近就利用虚拟现实和眼动追踪技术,来确定该如何将产品以最佳方式摆放在超市中。在该项目中,消费者们将沉浸在一个大型的模拟商店里挑选商品并将其放入购物车。 

凯洛格在利用该项目探索出的成果调整了产品的放置位置之后,该公司的销售额增长了近五分之一。如此令人印象深刻的结果,必定会引起其它品牌的效仿。而这也有可能会改变店内产品放置的设计方式。

眼动追踪将改变VR的游戏规则

我们在这里所探讨的示例,不过是眼动追踪技术的一些潜在可用方式。

由于此技术的无限可能性,它仍然将是研究的重点。

至于未来,很可能会首先在更昂贵和高端的VR头戴显示中看到这一技术的整合,之后才会成为所有VR硬件中的常规功能。