用于切换显示设备的输入模态的方法和设备技术

公开了一种用于切换显示可交互区域(130)的显示设备(110，112)的用户输入模态的方法。显示设备(110，112)与第一输入模态和第二输入模态(120)通信。第一输入模态是被配置为确定用户(105)的注视数据的眼睛跟踪器，并且第二输入模态(120)是不同于眼睛跟踪器的、被配置为确定指向射线(125；417)的输入模态。第一输入模态被选择为显示设备(110，112)的输入模态。方法包括：确定(202)第二输入模态(120)的指向射线(125；417)是否与可交互区域(130)相交。方法还包括，基于确定结果(202)，当第二输入模态(120)的指向射线(125；417)与可交互区域(130)相交时，将显示设备(110，112)的输入模态切换(214)到第二输入模态(120)。

Methods and devices for switching input modes of display devices

【技术实现步骤摘要】
用于切换显示设备的输入模态的方法和设备
本公开总体上涉及用于在显示可交互区域的显示设备中的用户输入模态(modality)之间切换的方法、系统和设备。
技术介绍
当今，眼睛跟踪技术用于各种不同的应用，例如虚拟现实VR或增强现实AR。在使用眼睛跟踪的一些应用中，包括VR和AR应用，对其执行眼睛跟踪的用户佩戴头戴式设备HMD。HMD在一些情况下可以具有显示器，并且在这些情况下也可以被称为头戴式显示器。此外，在一些应用中，用户可以将眼睛跟踪用于远程显示器，例如TV。眼睛跟踪可以用于各种特征，例如为了获得用户的注视数据，用于决定在用户可能与之交互的区域(所谓的可交互区域)中，用户想要与什么内容交互。确定用户想要与什么内容交互的另一种并且更传统的方式是使用指向设备。在可以使用眼睛跟踪设备和指向设备两者的应用中，当使用显示设备时，用户能够在不同类型的输入(即，不同的输入模态)之间进行切换是有益的。因此，当需要在具有用于眼睛跟踪特征和用于另一指向设备两者的功能的显示设备的用户的输入模态之间切换时，存在改进的需要。
技术实现思路
本专利技术的目的是解决至少一些上述问题和话题。本专利技术的实施例的一个目的是提供用于以高效且提供良好用户体验的方式在设备的用户的用户输入模态之间切换的方法和设备。根据一个方面，提供了一种用于切换显示可交互区域的显示设备的用户输入模态的方法。显示设备与第一输入模态和第二输入模态通信。第一输入模态是被配置为确定用户的注视数据的眼睛跟踪器，并且第二输入模态是不同于眼睛跟踪器的、被配置为确定指向射线的输入模态，其中第一输入模态当前被选择为显示设备的输入模态。该方法包括确定第二输入模态的指向射线是否与可交互区域相交。该方法还包括，基于该确定结果，当第二输入模态的指向射线与可交互区域相交时，将显示设备的输入模态切换到第二输入模态。根据另一方面，提供了一种显示设备，用于切换显示可交互区域的显示设备的用户输入模态。显示设备与第一输入模态和第二输入模态通信。第一输入模态是被配置为确定用户的注视数据的眼睛跟踪器，并且第二输入模态是不同于眼睛跟踪器的、被配置为确定指向射线的输入模态，其中第一输入模态当前被选择为显示设备的输入模态。显示设备能够操作用于确定第二输入模态的指向射线是否与可交互区域相交。显示设备还可操作用于，基于所述确定结果，当第二输入模态的指向射线与可交互区域相交时，将显示设备的输入模态切换到第二输入模态。根据其他方面，还提供了计算机程序和载体，其细节将在权利要求和具体实施方式中描述。通过下面的具体实施方式，该解决方案的其他可能的特征和益处将变得显而易见。附图说明现在将通过示范性实施例并参考附图更详细地描述该解决方案，在附图中：图1以二维视图示出其中可以执行根据本公开的方法的环境的示例。图2以二维视图示出了可交互区域和周围区域的示例。图3以三维视图示出其中可以执行根据本公开的方法的环境的示例。图4示出了根据实施例的方法步骤的框图。图5示出了根据实施例的显示设备的示意性框图。具体实施方式本公开涉及用于在具有可交互区域并且与至少第一和第二输入模态通信的显示设备中的不同输入模态之间切换的方法和设备。出于本申请的目的，输入模态旨在表示这样的东西：其用于确定用户想要在由显示设备向用户显示的可交互区域中与什么内容交互。输入模态也可以被看作用于输入用户命令的设备。确定用户想要与什么内容交互的传统方式包括指向设备，并且近年来眼睛跟踪技术已经发展到这样的程度，即它还可以用于确定用户想要在可交互区域中与什么内容交互。由于现在存在与设备所显示的内容进行交互的不同方式，即对于显示设备的可交互区域可用的各种不同的输入模态，因此这也涉及找出如何以提供愉悦的用户体验的方式在这些输入模态之间切换的方式。本公开提供了一种实现此目的的方法。简而言之，这里提供的方法和设备用于切换显示设备的输入模态，其中显示设备显示用户可能与之交互的区域，即可交互区域。该显示设备包括至少两种不同的输入模态，其中第一输入模态是眼睛跟踪特征，而第二输入模态是不同于眼睛跟踪的、被配置为确定指向射线的输入模态，其中眼睛跟踪当前被选择作为显示设备的输入模态。该方法包括确定第二输入模态的指向射线是否与显示设备显示的可交互区域相交。基于该确定结果，当第二输入模态的指向射线与可交互区域相交时，显示设备的输入模态从第一输入模态切换到第二输入模态。该方法还可以包括在第二指向设备的指向射线不再与显示设备的可交互区域相交之后切换回第一输入模态。典型的使用情况的例子是，显示设备的用户首先使用眼睛跟踪以便指示用户想要与什么内容交互，但是然后由于某种原因——例如为了实现更高的精确度或者简单地因为相比眼睛跟踪用户更喜欢使用其他输入模态——想要切换到不是眼睛跟踪的另一种输入模态。图1示出了可应用本公开的环境的二维图，包括用户105、显示设备110，112，显示设备110，112包括：眼跟踪器形式的第一输入模态，所述第一输入模态可以被确定以确定视线115；和手持式指向设备形式的第二输入模态120，被配置为确定指向射线125。在一些实施例中，指向射线125对于实体世界中的用户是可见的，在一些实施例中，它对于实体世界中的用户是不可见的并且在虚拟世界中是可见的，并且在一些实施例中，它对于用户完全是不可见的。在一些实施例中，本公开在包括头戴式设备HMD110形式的显示设备110的环境中实现，HMD110被配置成向佩戴HMD110的用户105显示可交互区域130，其中可交互区域130可以是虚拟的，这通常是虚拟现实VR和增强现实AR应用的情况，或者可以是实体的。在一些实施例中，显示设备110可以适于在距用户预定距离处显示可交互区域。在一些实施例中，显示设备110可以适于以相对于佩戴显示设备110的用户105的头部位置和/或相对于显示设备110的位置的预定角度显示可交互区域。显示设备110还被配置为确定用户的注视数据，其中所述注视数据是由显示设备110的眼睛跟踪功能所确定的与用户正在观察的位置相关的数据。在一些实施例中，用户的注视数据可以包括注视射线115，其旨在表示或接近用户105的眼睛的焦点，即用户105正在观察的位置。在典型实施例中，第一输入模态(即眼睛跟踪特征)是当用户开始使用显示设备时显示设备的选定输入模态。在一些实施例中，本公开可以在包括远程显示器112(例如TV)形式的显示设备的环境中实现，该远程显示器112安装在距用户一定距离处。在远程显示器112的情况下，显示设备112的眼睛跟踪功能可以并入到显示设备112中，或者它可能需要附加设备，例如安装在用户头部并且可操作地连接到显示设备112的附加设备。不管显示设备110，112是被配置为显示可交互区域130的HMD110还是包括表示可交互区域130的实体显示器的远程显示设备112，显示设备110，112都适于确定第二输入模态120的指向射线125是否与可交互区域130相交。第二输入模态120的指向射线125本文档来自技高网...

【技术保护点】
1.一种用于切换显示可交互区域(130)的显示设备(110，112)的用户输入模态的方法，其中，所述显示设备(110，112)与第一输入模态和第二输入模态(120)通信，其中所述第一输入模态是被配置成确定用户(105)的注视数据的眼睛跟踪器，并且所述第二输入模态(120)是不同于眼睛跟踪器的、被配置为确定指向射线(125；417)的输入模态，其中所述第一输入模态被选择为所述显示设备(110，112)的输入模态，所述方法包括：/n确定(202)所述第二输入模态(120)的指向射线(125；417)是否与所述可交互区域(130)相交；以及/n基于确定结果(202)，当所述第二输入模态(120)的指向射线(125；417)与所述可交互区域(130)相交时，将所述显示设备(110，112)的输入模态切换(214)到所述第二输入模态(120)。/n

【技术特征摘要】
20181211 SE 1851545-21.一种用于切换显示可交互区域(130)的显示设备(110，112)的用户输入模态的方法，其中，所述显示设备(110，112)与第一输入模态和第二输入模态(120)通信，其中所述第一输入模态是被配置成确定用户(105)的注视数据的眼睛跟踪器，并且所述第二输入模态(120)是不同于眼睛跟踪器的、被配置为确定指向射线(125；417)的输入模态，其中所述第一输入模态被选择为所述显示设备(110，112)的输入模态，所述方法包括：
确定(202)所述第二输入模态(120)的指向射线(125；417)是否与所述可交互区域(130)相交；以及
基于确定结果(202)，当所述第二输入模态(120)的指向射线(125；417)与所述可交互区域(130)相交时，将所述显示设备(110，112)的输入模态切换(214)到所述第二输入模态(120)。


2.根据权利要求1所述的方法，其中，所述显示设备(110，112)是实体显示器(112)，其中所述可交互区域(130)显示在所述实体显示器(112)处。


3.根据权利要求1所述的方法，其中，所述显示设备(110，112)是头戴式设备显示器(110)，并且所述可交互区域(130)由所述头戴式设备显示器(110)以预定距离(111)投影。


4.根据权利要求1所述的方法，其中，所述显示设备(110，112)是头戴式设备显示器(110)，并且所述可交互区域(130)由所述头戴式设备(110)的用户(105)的头部的方向与所述第二输入模态(120)的指向射线(125；417)之间的预定最大角度来定义。


5.根据权利要求1-4中任一项所述的方法，其中，仅在所述第二输入模态(120)的指向射线(125；417)也与所述可交互区域(130)中的用户可选区域(310，312，314；420)相交时才执行切换。


6.根据权利要求1-5中任一项所述的方法，进一步包括：
确定(206)所述可交互区域(130)的法线，并且进一步地其中在所述可交互区域(130)的法线与所述第二输入模态(120)的指向射线(125；417)之间的角度低于预定阈值的情况下执行切换。


7.根据权利要求1-6中任一项所述的方法，进一步包括：
在切换(214)之前，确定(208)所述显示设备的用户(105)的头部的方向，并且进一步地其中仅在用户(105)的头部的方向与所述第二输入模态(120)的指向射线(125；417)之间的角度低于预定阈值时才执行切换。


8.根据权利要求1-7中任一项所述的方法，其中，所述用户(105)的所述注视数据包括注视射线(115)；以及
其中仅在所述注视射线(115)与指向射线(125；417)之间的角度低于预定阈值时，才执行切换。


9.根据权利要求1-8中任一项所述的方法，其中，所述显示设备与第三输入模态通信，所述第三输入模态是不同于眼睛跟踪器的、被配置为确定指向射线的输入模态，其中，所述方法还包括：
确定(212)所述第三输入模态的指向射线是否与所述可交互区域(130)相交；以及
基于确定结果(212)，如果所述第三输入模态的指向射线与所述可...

【专利技术属性】
技术研发人员：尼克拉斯·布朗恩费斯特，丹尼斯·劳戴勒，拉尔夫·彼得特，罗宾·特恩斯特朗姆，
申请(专利权)人：托比股份公司，
类型：发明
国别省市：瑞典;SE