用于注视交互的系统技术方案

本发明专利技术提供了用于当用户与图形用户界面交互时通过将基于注视的输入与基于手势的用户命令相结合来辅助用户的改善方法和系统。本发明专利技术提供了使用基于注视的输入和基于手势的用户命令的组合使不具有传统触摸屏的计算机系统的用户能够以触摸屏式方式与图形用户界面交互的系统、设备和方法。此外，本发明专利技术提供了例如在与常规触摸屏的交互难使用或者富有人体工程学挑战的情形下作为与具有触摸屏的计算机设备的触摸屏交互的补充或替代的使用注视输入和基于手势的输入的触摸屏式交互的解决方案。此外，本发明专利技术提供了用于与图形用户界面进行基于组合的注视和手势的交互以在不具有传统触摸屏的计算机系统中或者在具有被布置为在人体工程学上不利于用户的触摸屏或者被布置为使得与触摸屏相比用户更适合使用手势和注视来进行交互的触摸屏的计算机系统中实现触摸屏式环境的系统、设备和方法。

A system for gazing interaction

The present invention provides an improved method and system for assisting users by combining gaze based input and gesture based user commands when users interact with graphical user interfaces. The present invention provides a system, an apparatus and a method to enable users of a computer system without a traditional touch screen to interact with a graphical user interface in a touch screen manner using a combination of gaze based input and gesture based user commands. In addition, the invention provides as input and watching and gesture based input of the touch screen interactive solutions with computer equipment touch screen touch screen interaction of complementary or alternative use for example in interaction with the conventional touch screen is difficult to use or rich ergonomically challenging situation. In addition, the invention provides for a graphical user interface and interactive combination of gaze and gesture based with the computer system with the traditional touch screen or in has to be arranged for the user is not conducive to human engineering on the touch screen or are arranged such that the realization of the system, equipment and method of touch screen and the environment the touch screen is more suitable for the user than using gestures and gaze to interact with the touch screen computer system.

【技术实现步骤摘要】
用于注视交互的系统本申请是申请号为201280070732.7，题为“用于注视交互的系统”的中国专利申请的分案申请。
本专利技术大体上涉及用于利用与交互式图形用户界面相结合的眼睛移动检测的计算机实现系统和方法。具体地，本专利技术涉及用于在用户与图形用户界面交互时通过将基于眼睛的输入与基于手势的输入和基于手势的用户命令进行结合来辅助用户的系统和方法。
技术介绍
已经通过引入图形用户界面(GUI)使人机交互发生革命性巨变。由此，提供了用于以极大地超出任何先前信道的带宽向用户呈现信息的有效方式。多年以来，已经通过彩色屏幕、增大的显示器、智能图形对象(例如，弹出窗口)、窗口标签、菜单、工具栏等进一步提高了可以呈现信息的速度。然而，在此期间，输入设备基本上保持不变，即，键盘和定点设备(例如，鼠标、跟踪球或触摸板)。近年来，已经引入了(例如，手写笔或图形笔形式的)手写设备。然而，虽然输出带宽已经增加了很多倍，但是输入带宽实质上未改变。因此，人机交互中的通信带宽的严重不对称性已经显现。为了减小这种带宽不对称性以及为了改善和促进用户交互，已经进行了多种尝试来将眼睛跟踪用于这些目的。通过在例如膝上型计算机中实现眼睛跟踪设备，可以显著提高用户与在计算机上运行的不同软件应用之间的交互可能性。因此，一种用于改善和促进用户交互并且用于移除带宽不对称性的令人关注的思想是：取而代之地使用眼睛注视跟踪，或者使用眼睛注视跟踪作为鼠标输入的补充。通常，根据计算出的用户注视点将光标定位在显示器上。已经提出了多种不同的技术以在这些系统中选择和激活目标对象。在一个示例中，在检测到用户在特定时间段期间将他或她的注视集中在特定对象处之后，系统激活对象。另一种方法是当用户眨眼时检测对象的激活。然而，存在与这些使用眼睛跟踪的解决方案相关联的问题。例如，人类将其眼睛用于感知动作而不是控制。因此，小心地使用眼睛移动来与计算机交互以例如激活和选择呈现在计算机的显示器上的对象可能是充满压力的。还可能难以控制眨眼或凝视，以与呈现在显示器上的对象进行交互。因此，本领域中需要改善技术，该技术实现与配备有眼睛跟踪设备的计算机的用户交互从而允许用户以更直观和自然的方式使用他或她的眼睛来控制、选择和激活呈现在计算机的显示器上的对象或对象的一部分。此外，在本领域中还需要以更有效的方式利用使用眼睛跟踪的潜力以改善和促进与计算机的用户交互的技术。在Beymer等的美国专利申请(公开号2005/0243054)中给出了一种这样的尝试，在该专利申请中，公开了一种用于使用眼睛注视和键按压来选择和激活目标对象的技术。更具体地，用户注视目标对象，例如，图形用户界面上的按钮，然后按压键盘的选择键。一旦按压了选择键，就使用概率推理确定了最可能的目标。然后，所确定的目标对象被突出显示并且用户可以通过再次按压选择键来选择该目标对象。如果突出显示的对象不是目标对象，则用户可以使用额外键导航至期望的目标对象来选择另一目标对象。然而，该技术局限于基于眼睛注视与对一个专用选择键的两次连续按压的组合的对象选择和激活。在Amir等的US6,204,828中，公开了用于通过集成眼睛注视和手动操作员输入来辅助用户定位光标的计算机驱动系统。注视跟踪装置在用户观看屏幕时监视用户的眼睛方位。同时，计算机在诸如鼠标等的输入设备上监视操作员的机械激活。当计算机检测到输入设备的机械激活时，其确定当前注视区域中的初始光标显示位置。然后，在初始显示位置处将光标显示在屏幕上，此后，根据用户对输入设备的操控而不参考注视来手动地定位光标。因此，在现有技术中仍然需要以更有效的方式利用使用眼睛跟踪的潜力以改善和促进与计算机的用户交互(具体地，与图形用户界面的用户交互)的改善技术。
技术实现思路
本专利技术的目的是提供用于当用户与图形用户界面交互时通过将基于注视的输入与基于手势的用户命令相结合来辅助用户的改善方法、设备和系统。本专利技术的另一目的是提供用于与图形用户界面进行对用户友好且直观的交互的方法、设备和系统。本专利技术的特定目的是提供使不具有传统触摸屏的计算机系统的用户能够使用基于注视的输入和基于手势的用户命令的组合来通过触摸屏式方式与图形用户界面交互的系统、设备和方法。此外，本专利技术提供了以下解决方案：例如在与常规触摸屏的交互难以使用或者富有人体工程学挑战性的情形下，使用注视输入和基于手势的输入的触摸屏式交互来作为与具有触摸屏的计算机设备的触摸屏交互的补充或替代。本专利技术的另一特定目的是提供以下系统、设备和方法：与图形用户界面进行基于组合的注视和手势的交互，以在不具有传统触摸屏的计算机系统中或者在具有被布置为在人体工程学上不利于用户的触摸屏或者被布置为使得与触摸屏相比用户更适合使用手势和注视来进行交互的触摸屏的计算机系统中实现触摸屏式环境。在本专利技术的上下文中，术语“GUI”(图形用户界面)是指基于图形的用户界面，其在并入了例如可移动窗口和图标的显示器上具有画面或图像和文字(包括例如符号和数字)。此外，在本专利技术的上下文中，术语“对象”或“对象部分”是指交互式图形对象或GUI对象(例如，窗口、图标、按钮、滚动条、超链接)或非交互式对象(例如，图像、文本或文本中的用户期望选择或激活的文字)。在本方面的上下文中，术语“触摸板”(或术语“跟踪板”)是指用于检测一根或多根手指和/或旨在定点、绘制或做手势的一个或多个其他对象(例如，手写笔)的位置和移动的表面传感器。通过具有独立权利要求中所定义的特征的系统的方式来实现本专利技术的这些目的和其他的目的。通过从属权利要求描述本专利技术的实施例。根据本专利技术的一个方面，提供了用于实现在例如计算机设备或手持设备或无线发送/接收单元(WTRU)中以处理和产生基于手势的控制命令从而基于这些命令执行用户动作的控制模块。控制模块被配置为从适于检测用户产生的手势的输入装置获取用户输入并且从注视跟踪模块获取注视数据信号，以及基于所述用户输入来确定至少一个用户产生的基于手势的控制命令。此外，控制模块被配置为至少基于注视数据信号来确定信息呈现区域上包括用户注视点的注视点区域，以及基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在图形信息呈现区域上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行用户动作。用作起始点的注视点区域可以是用户初始注视的区域或者微调区域，即，用户已经通过例如经由输入装置的调节或校正命令来选择的区域，从而将初始注视点区域校正或调节至所选区域。根据本专利技术的另一方面，提供了一种在与(例如，与计算机设备或手持设备相关联或包括在计算机设备或手持设备中，或者与无线发送/接收单元(WTRU)相关联或者包括在WTRU中的)信息呈现区域进行用户交互期间产生基于手势的命令的方法。该方法包括：获取用户输入，该用户输入与用户产生的手势和注视数据信号相对应，以及基于用户输入来确定至少一个用户产生的基于手势的控制命令。此外，至少基于注视数据信号来确定信息呈现区域上包括用户注视点的注视点区域，以及基于所确定的注视点区域和至少一个用户产生的基于手势的控制命令来执行对呈现在信息呈现区域上的视图进行操纵的至少一个用户动作，其中使用所确定的注视点区域作为起始点来执行用户动作。根据本专利技术的另一方面，提供了本文档来自技高网...

【技术保护点】
一种用于在与信息呈现区域进行用户交互期间产生基于手势的命令的控制模块，其中所述控制模块被配置为：从包括触摸敏感区域的输入装置获取用户输入，并且从注视跟踪模块获取注视数据信号，所述输入装置适于检测用户产生的手势；至少基于所述注视数据信号来确定所述信息呈现区域上包括用户注视点的注视点区域；以及基于所述注视点区域在所述信息呈现区域的边缘或边框部分或者临近所述信息呈现区域的边缘或边框部分，并基于用户手指在从所述信息呈现区域的边缘到所述信息呈现区域的中心的方向上的滑动，执行用于从所述信息呈现区域的边缘显现菜单的用户动作。

【技术特征摘要】
2012.01.04 US 61/583,013;2012.10.05 US 13/646,2991.一种用于在与信息呈现区域进行用户交互期间产生基于手势的命令的控制模块，其中所述控制模块被配置为：从包括触摸敏感区域的输入装置获取用户输入，并且从注视跟踪模块获取注视数据信号，所述输入装置适于检测用户产生的手势；至少基于所述注视数据信号来确定所述信息呈现区域上包括用户注视点的注视点区域；以及基于所述注视点区域在所述信息呈现区域的边缘或边框部分或者临近所述信息呈现区域的边缘或边框部分，并基于用户手指在从所述信息呈现区域的边缘到所述信息呈现区域的中心的方向上的滑动，执行用于从所述信息呈现区域的边缘显现菜单的用户动作。2.根据权利要求1所述的控制模块，其中所述控制模块包括输入模块，所述输入模块被配置为解释表示至少一个用户产生的手势的信号，以提供反映用户的手势的至少一个基于手势的控制命令，所述输入模块被配置为使用注视输入信号和/或可能的基于手势的控制命令的预定集合来解释表示所述至少一个用户产生的手势的所述信号，每一个可能的控制命令与相对于所述输入装置的特定用户手势相对应。3.根据权利要求1所述的控制模块，其中，至少一个对象被呈现在所述信息呈现区域上，所述对象表示至少一个图形用户界面组件，并且被配置为根据用户产生的基于手势的控制命令而被操纵，所述控制模块被配置为：基于所述注视数据信号来确定所述用户注视点是否在对象上或者在所述对象周围的区域中；如果与由经由所述输入装置的用户输入得到的用户产生的基于手势的控制命令同步地，所述用户注视点在所述对象上或者在所述对象周围的区域中，则启用所述对象的用户激活，其中，能够通过由经由所述输入装置的用户输入得到的用户产生的命令来操纵所激活的对象。4.一种用于在与和计算机设备相关联的信息呈现区域进行用户交互期间产生基于手势的控制命令的方法，所述方法包括：获取用户输入，所述用户输入与用户产生的手势相对应；获取注视数据信号；至少基于所述注视数据信号来确定所述信息呈现区域上包括用户注视点的注视点区域；以及基于所述注视点区域在所述信息呈现区域的边缘或边框部分或者临近所述信息呈现区域的边缘或边框部分，并基于用户手指在从所述信息呈现区域的边缘到所述信息呈现区域的中心的方向上的滑动，执行用于从所述信息呈现区域的边缘显现菜单的用户动作。5.根据权利要求4所述的方法，还包括：获取用户产生的基于手势的控制命令，所述基于手势的控制命令是通过触摸包括触摸板或触摸屏的输入装置的表面或者触摸所述触摸板的表面而产生的。6...

【专利技术属性】
技术研发人员：马库斯·塞德隆德，罗伯特·加韦林，安德斯·文斯特罗姆，安德斯·卡普兰，安德斯·奥尔森，马丁·斯克戈，
申请(专利权)人：托比股份公司，
类型：发明
国别省市：瑞典,SE