与对象进行较少停留、无手动交互的方法与系统技术方案

公开与对象进行较少停留、无手动交互的方法与系统。更具体地，公开一种用于与通过显示装置(10)显示的可选择对象(110)交互的方法，所述方法包括以下步骤：获得用户的视线会聚距离和注视方向(300；500；600；1000)，所述注视方向位于由显示装置(10)限定的视域中(202)；确定注视方向是否与可选择对象(110)一致(204)；并且如果一致，那么检测视线会聚距离的改变(206)；并且如果所检测的视线会聚距离的改变超过预定阈值(Δd)，那么与可选择对象(110)交互(208)。

【技术实现步骤摘要】
与对象进行较少停留、无手动交互的方法与系统
本公开总的来说涉及用于特别在增强现实(AR)或虚拟现实(VR)环境中进行较少停留、无手动交互的方法、系统和装置。
技术介绍
若干不同眼睛追踪系统在本领域中是已知的。这些系统可例如用于允许用户通过看着计算机显示器处或在增强现实(AR)/虚拟现实(VR)环境中的一个位置而指示此位置。眼睛追踪系统可捕捉用户面部的图像，并且接着使用图像处理以从用户面部提取关键特征，例如，瞳孔中心以及来自对用户面部照明的照明器的闪烁。所提取的特征可接着用于确定用户正看着显示器何处。此外，用户可通过以下方式而与计算机显示器上或AR/VR环境中的对象(例如，按钮、开关、按键、UI元素等)交互：将眼睛驻留或停留在对象上直到其激活为止。停留是使眼睛固定在计算机显示器或AR/VR环境的一部分上并使眼睛保持在此处持续具体时间量的动作。所述时间量被称为停留时间。通过停留进行的交互在用户的手无法使用(例如，外科医生、工程师、残疾人等)但用户仍需要与计算机显示器上或AR/VR环境中的UI元素交互的许多情况下是有用的。然而，在需要与若干对象的长期交互的情况下，重复的停留变得既对用户的眼睛造成疲劳，又耗时且乏味，这是因为用户无法影响停留时间。因此，在使用眼睛追踪而与计算机显示器上或AR/VR环境中的可选择对象交互方面需要改进。
技术实现思路
本专利技术的目标是解决上文概述的问题和议题中的至少一些。本专利技术的实施例的目标是提供一种装置和方法，其通过以下方式对于与可选择对象的交互而改善用户的眼睛追踪体验：减少在计算机显示器上以及在例如通过头戴式显示器(HMD)显示的AR/VR环境中的停留时间。可以通过使用如随附独立权利要求所定义的方法、装置和计算机程序来实现这些目标和其它目标。根据本专利技术的第一方面，提供一种用于与通过显示装置显示的可选择对象交互的方法，所述方法包括以下步骤：获得用户的视线会聚距离和注视方向，所述注视方向位于由显示装置限定的视域中；确定注视方向是否与可选择对象一致；以及如果一致，那么检测视线会聚距离的改变；以及如果所检测的视线会聚距离的改变超过预定阈值，那么与可选择对象交互。通过使用用户的视线会聚距离和注视方向以与可选择对象交互，实现了一种用于与对象进行无手动且较少停留的交互的较快速的方法。用户可通过改变眼睛的聚散度(即，将视线重新聚焦到不同深度，而不是必须在对象上停留一段时间)来主动选择对象。在优选实施例中，检测步骤还包括以下步骤：获得指示用户与可选择对象之间的距离的对象距离；以及获得触发距离，其中对象距离与触发距离之间的差对应于预定阈值。因此，视线会聚距离的预定阈值的端点是相对于可选择对象而定义的，并且可用于不同应用中以辅助用户。在又一优选实施例中，检测步骤还包括当注视方向与可选择对象一致并且视线会聚距离在包括对象距离的预定范围内时，使可选择对象准备好交互，并且交互步骤还包括与准备好的可选择对象交互。以这种方式，实现了用于可靠地实施无手动交互的实在且稳定的方法，所述方法对通常与眼睛追踪相关联的噪声具有适应性。此外，通过以下方式来减少噪声：在对象可被选择之前，要求用户不仅在可选择对象的方向上注视，而且使视线聚焦在相对于可选择对象的预定范围内(即，较接近或超出)。在有利实施例中，使可选择对象准备好包括改变可选择对象的所显示外观。可选择对象的所显示外观可例如被改变为所谓的“幻影”，这使得准备好的可选择对象相对于其它可选择对象突出显示。另一替代方案是改变可选择对象的大小、颜色和/或清晰度和/或相对于用户的距离。通过在对应于交互阈值的距离处显示幻影，辅助将用户使视线重新聚焦到实现交互所需的程度。在替代实施例中，所述方法还包括显示用户的注视方向和/或对应于预定阈值的触发距离的表示。优选地，注视方向/触发距离的表示包括字母数字字符、语标字符、几何图形和/或可选择对象的符号或表示。例如，注视方向/触发距离可由点、环或十字线(十字准线)表示，以在确定注视点位置期间进一步辅助用户。在一个实施例中，注视方向/触发距离的显示可仅在用户已将视线固定在可选择对象上时(即，当在可选择对象准备好交互的同时注视方向与可选择对象一致时)开始。在有利实施例中，所述方法还包括根据用户的会聚距离而改变注视方向/触发距离的表示的视觉外观。在一个实施例中，注视方向/触发距离的表示被显示在与可选择对象不同的景深处。优选地，注视方向/触发距离的表示被显示在相对于可选择对象的对应于预定阈值的距离处。改变外观以及在不同景深(即，相对于用户的距离)处显示注视方向进一步辅助用户辨别注视方向并将触发距离形象化以实现交互。在又一优选实施例中，仅在会聚距离的改变的检测期间，发生以下情况时才执行与可选择对象的交互：注视方向保持与可选择对象一致，注视方向与显示装置所显示并且不同于可选择对象的第二对象相符，或者注视方向的预定改变被检测到。注视方向的预定改变可对应于用户相对于可选择对象在预定方向或预定角度上移动其视线。对注视方向的额外要求提高了系统的稳健性，这是因为用户必须执行预定动作以便实现交互，如此将防止意外交互。在替代实施例中，获得用户的视线会聚距离和注视方向的步骤包括通过眼睛追踪器获取用户的每只眼睛的注视数据，并基于所获取的注视数据来计算视线会聚距离和注视方向。注视数据至少包括用户的每只眼睛的注视方向和瞳孔位置或视线原点，它们将用于计算注视方向和视线会聚距离。通常，包含注视方向和视线会聚距离的注视数据可从诸如眼睛追踪器等外部装置间接获得，或者作为所述方法的一部分而直接获取和计算。在优选实施例中，注视方向是基于组合的注视方向(CGD)，该组合的注视方向是通过组合用户的左眼和右眼的注视方向而获得的。通过组合左眼和右眼的注视方向信号，实现了可靠性和稳定性。无论用户看得近还是远，新的“组合”方向矢量都将保持相同。在有利实施例中，会聚距离基于左眼和右眼的所获取的瞳孔位置或视线原点，随着眼距(IOD)和眼球半径的用户的瞳距(IPD)的函数而改变。通过比较每只眼睛的原始位置(“传感器中瞳孔”(PupilInSensor))，实现了视线会聚距离的稳健指示。在替代实施例中，可选择对象包括可执行用户界面(UI)元素，诸如，虚拟开关、按钮、对象和/或按键。UI元素可以是用户可在通过显示装置显示的环境中与之交互的任何可执行对象。在又一优选实施例中，可执行UI元素连接到真实的电子操作开关，以使得与UI元素的交互导致真实的电子操作开关的致动。任何真实世界的电子操作“连接”开关可通过与可选择对象的交互来致动。在例如AR环境的背景下，术语“连接”可被解释为可由与用于检测会聚距离改变的软件相同的软件访问，所述“连接”可经由蓝牙、WiFi等来连接。实例包含TV、微波炉、供暖设备、电灯开关、静音开关、工厂机械或医疗设备等。例如，机场塔台里忙碌的飞行控制员可容易对其正看着的飞机打开语音频道。在本专利技术的第二方面中，提供一种用于显示可选择对象并与其交互的系统，所述系统包括：显示装置，被布置成显示一个或更多本文档来自技高网...

【技术保护点】
1.一种用于与通过显示装置(10)显示的可选择对象(110)交互的方法，所述方法包括以下步骤：/n获得(202)用户(300；500；600；1000)的视线会聚距离和注视方向，所述注视方向位于由所述显示装置(10)限定的视域中；/n确定(204)所述注视方向是否与所述可选择对象(110)一致；并且如果一致，/n那么检测(206)所述视线会聚距离的改变；以及/n如果所检测的所述视线会聚距离的改变超过预定阈值(Δd)，那么与所述可选择对象(110)交互(208)。/n

【技术特征摘要】
20190515 SE 1950580-91.一种用于与通过显示装置(10)显示的可选择对象(110)交互的方法，所述方法包括以下步骤：
获得(202)用户(300；500；600；1000)的视线会聚距离和注视方向，所述注视方向位于由所述显示装置(10)限定的视域中；
确定(204)所述注视方向是否与所述可选择对象(110)一致；并且如果一致，
那么检测(206)所述视线会聚距离的改变；以及
如果所检测的所述视线会聚距离的改变超过预定阈值(Δd)，那么与所述可选择对象(110)交互(208)。


2.根据权利要求1所述的方法，其中检测(206)步骤还包括：
获得指示所述用户(300；500；600；1000)与所述可选择对象(110)之间的距离的对象距离(dO)；以及
获得触发距离(dT)，
其中所述对象距离(dO)与所述触发距离(dT)之间的差对应于所述预定阈值(Δd)。


3.根据权利要求2所述的方法，其中检测(206)步骤还包括：
当所述注视方向与所述可选择对象(110)一致并且所述视线会聚距离在包括所述对象距离(dO)的预定范围内时，使所述可选择对象(110)准备好交互，并且
其中交互(208)步骤还包括：
与所准备好的可选择对象(110)交互(208)。


4.根据权利要求3所述的方法，其中使所述可选择对象(110)准备好包括改变所述可选择对象(110)的显示外观。


5.根据前述权利要求中任一项所述的方法，还包括：
显示所述用户(300；500；600；1000)的所述注视方向和/或对应于所述预定阈值(Δd)的触发距离(dT)的表示(120；320；520；620；820)。


6.根据前述权利要求中任一项所述的方法，其中在所述会聚距离的所述改变的检测期间，仅在发生以下情况时才执行与所述可选择对象(110)的交互：
所述注视方向保持与所述可选择对象(110)一致。


7.根据权利要求1到5中任一项所述的方法，其中在所述会聚距离的所述改变的检测期间，仅在发生以下情况时才执行与所述可选择对象(110)的交互：
所述注视方向与所述显示装置(10)所显示的并且不同于所述可选择对象(110)的第二对象一致，或者
所述注视方向的预定改变被检测到。


8.根据前述权利要求中任一项所述的方法，其中获得所述用户(300；500；600；1000)的所述视线会聚距离和所述注视方向的步骤包括：通过眼睛追踪器(1025)获取所述用户(300；500；600；1000)的每只眼睛的注视数据，并基于所获取的注视数据来计算所述视线会聚距离和所述注视方向。


9.根据前述权利要求中任一项所述的方法，其中所述注视方向是基于通过组合所述用户(300；500；600；1000)的左眼(100；501；601；801)和右眼(102；502；602；802)的注视方向(101，103；301；503，504；603，604；803，804)而获得的组合注视方向(CGD)。


10.根据前述权利要求中任一项所述的方法，其中所述会聚距离随着基于所获取的所述左眼(100；501；601；801)和所述右眼(102；502；602；802)的瞳孔位置或视线原...

【专利技术属性】
技术研发人员：安德鲁·拉特克利夫，
申请(专利权)人：托比股份公司，
类型：发明
国别省市：瑞典;SE