用于使用手势识别器处理输入的设备和方法技术

一种电子设备经由输入设备检测输入。响应于检测到所述输入，所述设备使用手势识别器监视所述输入。所述手势识别器包括定义用于识别手势的要求的多个分量手势识别器。来自所述多个分量手势识别器的第一分量手势识别器定义用于识别手势的第一要求，并且来自所述多个分量手势识别器的第二分量手势识别器定义用于识别手势的第二要求。根据确定所述输入满足包括所述第一分量手势识别器的所述第一要求和所述第二分量手势识别器的所述第二要求的第一手势识别标准，所述设备使用所述手势识别器识别第一手势。

【技术实现步骤摘要】
【国外来华专利技术】用于使用手势识别器处理输入的设备和方法
本专利技术整体涉及具有输入设备诸如触敏表面的电子设备，包括但不限于使用手势识别技术来处理输入的电子设备。
技术介绍
输入设备诸如触敏表面广泛用于向电子设备提供输入以操纵显示器上的用户界面和其中的对象。但是用于执行这些操纵的常规方法是麻烦、低效且有局限的。在一些情况下，处理输入的常规方法在功能性方面受限于可被识别的输入的复杂性和数量。在一些情况下，随着必须被识别的输入的复杂性和数量增加，处理输入的常规方法对电子设备造成增加的计算负荷。此外，常规方法花费比所需时间更长的时间，从而浪费能量。这后一考虑在电池驱动的设备中是特别重要的。
技术实现思路
因此，需要具有用于处理输入和识别手势的改进的方法和界面的电子设备。此类方法和界面任选地补充或替换用于处理输入和识别手势的常规方法。此类方法和界面减少了来自用户的输入的数量、程度、和/或性质，并且产生更有效的人机界面。对于电池驱动设备，此类方法和界面可节省用电并且增加两次电池充电之间的时间。借助所公开的设备可减少或消除与具有触敏表面的电子设备的用户界面相关联的上述缺陷和其他问题。在一些实施例中，该设备是台式计算机。在一些实施例中，该设备是便携式的(例如，笔记本电脑、平板电脑或手持设备)。在一些实施例中，该设备是个人电子设备(例如，可穿戴电子设备，诸如手表)。在一些实施例中，该设备具有触控板。在一些实施例中，该设备具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些实施例中，该设备具有图形用户界面(GUI)、一个或多个处理器、存储器和一个或多个模块、被存储在存储器中以用于执行多个功能的程序或指令集。在一些实施例中，用户主要通过触笔和/或手指接触以及触敏表面上的手势来与GUI进行交互。在一些实施例中，这些功能任选地包括图像编辑、绘图、演示、文字处理、电子表格制作、玩游戏、接打电话、视频会议、收发电子邮件、即时消息通信、健身支持、数字摄影、数字视频录制、网页浏览、数字音乐播放、记笔记和/或数字视频播放。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。根据一些实施例，在具有输入设备的电子设备处执行一种方法。该方法包括经由输入设备检测输入，并且响应于检测到输入，使用手势识别器来监视输入。所述手势识别器包括定义用于识别手势的要求的多个分量手势识别器。来自所述多个分量手势识别器的第一分量手势识别器定义用于识别手势的第一要求，并且来自所述多个分量手势识别器的第二分量手势识别器定义用于识别手势的第二要求。该方法包括根据确定输入满足包括第一分量手势识别器的第一要求和第二分量手势识别器的第二要求的第一手势识别标准，使用手势识别器识别第一手势。根据一些实施例，在具有显示器和输入设备的电子设备处执行一种方法。该方法包括在显示器上显示应用程序的用户界面。用户界面包括以视图分级结构布置的多个视图。视图分级结构定义第一视图和第二视图之间的第一关系。第一视图包括第一手势识别器，并且第二视图包括第二手势识别器。该方法包括经由输入设备检测在对应于所显示的用户界面的第一位置处的输入，以及使用包括第一手势识别器和第二手势识别器的手势识别分级结构来处理该输入。基于视图分级结构中的第一视图和第二视图之间的第一关系来确定第一手势识别器和第二手势识别器之间的第二关系。根据一些实施例，在具有输入设备的电子设备处执行一种方法。该方法包括经由输入设备检测输入，并且响应于检测到输入，使用具有多个节点的手势识别树来监视输入。手势识别树的每个相应节点对应于相应手势识别器或相应分量手势识别器，并且一个或多个节点包括描述输入的一个或多个参数。使用手势识别树监视输入包括：使用所述多个节点中的第一节点处理输入，包括确定所述一个或多个参数中的第一参数的值；将第一参数从第一节点传送到所述多个节点中的第二节点；以及使用第二节点处理输入，包括基于第一参数确定输入是否满足由第二节点定义的手势识别要求。根据一些实施例，一种电子设备包括：显示器；触敏表面；任选地一个或多个存储器，用于检测与触敏表面的接触强度；任选地一个或多个触觉输出发生器；一个或多个处理器；以及存储器，该存储器存储一个或多个程序；一个或多个程序被配置为由一个或多个处理器执行，并且一个或多个程序包括用于执行或引起执行本文所述方法中的任一种方法的操作的指令。根据一些实施例，一种计算机可读存储介质在其中存储有指令，这些指令在被具有显示器、触敏表面、用于检测与触敏表面的接触强度的任选地一个或多个传感器以及任选地一个或多个触觉输出发生器的电子设备执行时，使得该设备执行本文所述的任何方法的操作或使得本文所述任何方法的操作被执行。根据一些实施例，具有显示器、触敏表面、用于检测与触敏表面的接触强度的任选地一个或多个传感器、任选地一个或多个触觉输出发生器、存储器和用于执行存储在存储器中的一个或多个程序的一个或多个处理器的电子设备上的图形用户界面包括在本文所述任何方法中所显示的一个或多个元件，该一个或多个元件响应于输入进行更新，如本文所述的任何方法中所描述的。根据一些实施例，一种电子设备包括：显示器、触敏表面、用于检测与触敏表面的接触强度的任选的一个或多个传感器以及任选的一个或多个触觉输出发生器；以及用于执行或导致执行本文所述的方法中的任一种方法的操作的装置。根据一些实施例，用于具有显示器、触敏表面、用于检测与触敏表面的接触强度的任选地一个或多个传感器以及任选地一个或多个触觉输出发生器的电子设备中的信息处理设备包括用于执行本文所述的任何方法的操作或使得本文所述的任何方法的操作被执行的装置。因此，向具有显示器、触敏表面、用于检测与触敏表面的接触强度的任选地一个或多个传感器、任选地一个或多个触觉输出发生器、任选地一个或多个设备取向传感器以及任选地音频系统的电子设备提供用于处理输入和识别手势的改进的方法和界面，从而提高此类设备的有效性、效率和用户满意度。此类方法和界面可补充或替换用于处理输入和识别手势的常规方法。附图说明为了更好地理解各种所述实施例，应结合以下附图参考下面的具体实施方式，其中类似的附图标号在所有附图中指示对应的部分。图1A是示出根据一些实施例的具有触敏显示器的便携式多功能设备的框图。图1B是示出根据一些实施例的用于事件处理的示例性部件的框图。图2示出了根据一些实施例的具有触摸屏的便携式多功能设备。图3是根据一些实施例的具有显示器和触敏表面的示例性多功能设备的框图。图4A示出了根据一些实施例的便携式多功能设备上的应用程序菜单的示例性用户界面。图4B示出了根据一些实施例的用于具有与显示器分开的触敏表面的多功能设备的示例用户界面。图4C-图4E示出了根据一些实施例的动态强度阈值的示例。图5A至图5Q示出了根据一些实施例的用于处理输入(诸如触摸输入)及其操作的示例性手势识别器。图6A至图6C示出了根据一些实施例的从用户界面中的视图的视图分级结构生成的手势识别分级结构的示例。<本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n在具有输入设备的电子设备处：/n经由所述输入设备检测输入；/n响应于检测到所述输入，使用手势识别器监视所述输入，其中所述手势识别器包括多个分量手势识别器，所述多个分量手势识别器定义用于识别手势的要求，其中来自所述多个分量手势识别器的第一分量手势识别器定义用于识别所述手势的第一要求，并且来自所述多个分量手势识别器的第二分量手势识别器定义用于识别所述手势的第二要求；以及/n根据确定所述输入满足包括所述第一分量手势识别器的所述第一要求和所述第二分量手势识别器的所述第二要求的第一手势识别标准，使用所述手势识别器识别第一手势。/n

【技术特征摘要】
【国外来华专利技术】20180603 US 62/679,970;20190530 US 16/427,2031.一种方法，包括：
在具有输入设备的电子设备处：
经由所述输入设备检测输入；
响应于检测到所述输入，使用手势识别器监视所述输入，其中所述手势识别器包括多个分量手势识别器，所述多个分量手势识别器定义用于识别手势的要求，其中来自所述多个分量手势识别器的第一分量手势识别器定义用于识别所述手势的第一要求，并且来自所述多个分量手势识别器的第二分量手势识别器定义用于识别所述手势的第二要求；以及
根据确定所述输入满足包括所述第一分量手势识别器的所述第一要求和所述第二分量手势识别器的所述第二要求的第一手势识别标准，使用所述手势识别器识别第一手势。


2.根据权利要求1所述的方法，其中：
所述第一分量手势识别器具有多个可用状态中的当前状态；以及
所述第二分量手势识别器具有所述多个可用状态中的当前状态。


3.根据权利要求2所述的方法，包括基于所述第一分量手势识别器的所述当前状态和所述第二分量手势识别器的所述当前状态确定所述手势识别器的当前状态。


4.根据权利要求2所述的方法，其中使用所述手势识别器监视所述输入包括：
在所述手势识别器处接收描述在第一时间点的所述输入的第一信息；
使用所述第一分量手势识别器处理所述第一信息，以确定针对所述第一时间点的所述多个可用状态中的所述第一分量手势识别器的当前状态；
使用所述第二分量手势识别器处理所述第一信息，以确定针对所述第一时间点的所述多个可用状态中的所述第二分量手势识别器的当前状态；
在所述手势识别器处接收描述在晚于所述第一时间点的第二时间点的所述输入的变化的第二信息；
使用所述第一分量手势识别器处理所述第二信息，以确定针对所述第二时间点的所述多个可用状态中的所述第一分量手势识别器的当前状态；以及
使用所述第二分量手势识别器处理所述第二信息，以确定针对所述第二时间点的所述多个可用状态中的所述第二分量手势识别器的当前状态。


5.根据权利要求1至4中任一项所述的方法，其中所述手势识别器中的一个或多个分量手势识别器包括描述所述输入的一个或多个参数；并且使用所述手势识别器监视所述输入包括使用所述手势识别器中的所述一个或多个分量手势识别器确定所述一个或多个参数的值。


6.根据权利要求1至5中任一项所述的方法，其中所述手势识别器是具有多个节点的手势识别树，其中所述手势识别树的每个节点包括相应的分量手势识别器，并且其中使用所述手势识别器监视所述输入包括：
将描述在相应时间点的所述输入的信息从所述手势识别树中具有子节点的相应节点处的分量手势识别器传送到所述手势识别树中的所述子节点处的分量手势识别器；以及
基于描述在所述相应时间点的所述输入的所述信息，并且根据确定相应节点具有一个或多个子节点，基于在所述一个或多个子节点处的相应分量手势识别器的相应状态来确定在所述手势识别树中的相应节点处的分量手势识别器的状态，所述相应状态是基于描述在所述相应时间点的所述输入的所述信息确定的。


7.根据权利要求6所述的方法，其中使用所述手势识别器监视所述输入还包括：
将所述手势识别树中的子节点处的所述分量手势识别器的所确定的状态传送到所述手势识别树中的所述子节点的父节点处的分量手势识别器；
其中确定所述输入是否满足用于识别所述第一手势的所述第一手势识别标准包括基于所述手势识别树中的所述分量手势识别器的所确定的状态确定所述手势识别树的状态。


8.根据权利要求6或7所述的方法，其中使用所述手势识别器监视所述输入包括：
基于描述在所述相应时间点的所述输入的信息确定所述手势识别树中的相应节点处的一个或多个分量手势识别器的值；
其中根据确定所述相应节点的子节点处的分量手势识别器具有确定的值，确定相应节点处的相应分量手势识别器的状态进一步基于所述子节点处的所述分量手势识别器的确定的值。


9.根据权利要求1至8中任一项所述的方法，其中所述手势识别器中的所述多个分量手势识别器选自多个可用分量手势识别器，所述多个可用分量手势识别器包括：
组合器，所述组合器组合来自两个或更多个分量手势识别器的信息并且基于使用所述组合器组合的所述分量手势识别器之间的关系定义用于识别手势的要求；以及
输入参数识别器，所述输入参数识别器确定描述所述输入的参数的值和/或定义描述所述输入的参数的阈值要求。


10.根据权利要求1至9中任一项所述的方法，其中所述手势识别器与应用程序相关联，并且所述手势识别器中的所述多个分量手势识别器是由独立于应用程序的模块提供的多个可用分量手势识别器中的相应分量手势识别器的实例。


11.根据权利要求1至10中任一项所述的方法，其中：
所述手势识别器包括第三分量手势识别器，所述第三分量手势识别器基于所述第一分量手势识别器和所述第二分量手势识别器之间的关系定义用于识别手势的第三要求；
使用所述手势识别器监视所述输入包括使用所述第三分量手势识别器监视所述第一分量手势识别器的状态和所述第二分量手势识别器的状态，以确定所述第一分量手势识别器和所述第二分量手势识别器是否满足所述第三要求；以及
所述第一手势识别标准包括基于所述第一分量手势识别器和所述第二分量手势识别器之间的预定义关系的所述第三要求。


12.根据权利要求11所述的方法，其中所述第三分量手势识别器是排他性组合器，并且所述第三要求指定所述第一分量手势识别器必须失败以便使所述第二分量手势识别器成功。


13.根据权利要求11所述的方法，其中所述第三分量手势识别器是同时组合器，并且所述第三要求要求在相应的时间点所述第一分量手势识别器和所述第二分量手势识别器中的至少一个分量手势识别器的成功，以便使所述第三分量手势识别器成功。


14.根据权利要求11所述的方法，其中所述第三分量手势识别器是顺序组合器，并且为了使所述第三分量手势识别器成功，所述第三要求要求所述第一分量手势识别器的成功，并且在所述第一分量手势识别器成功之后，要求所述第二分量手势识别器的成功。


15.根据权利要求1至14中任一项所述的方法，其中所述第一分量手势识别器的所述第一要求要求描述所述输入的参数的值满足指定的阈值。


16.根据权利要求1至10中任一项所述的方法，其中所述手势识别器是轻击手势识别器，其中：
所述第一分量手势识别器是距离分量手势识别器，所述距离分量手势识别器存储与所述输入被第一次检测到时的时间点对应的所述输入的初始位置，并且接收在相应时间点的所述输入的当前位置，其中由所述第一分量手势识别器定义的所述第一要求要求所述输入的所述初始位置和所述输入的所述当前位置之间的距离在阈值距离内；以及
所述第二分量手势识别器是持续时间分量手势识别器，所述持续时间分量手势识别器存储与所述输入被第一次检测到时的所述时间点对应的初始时间戳，并且接收与所述相应时间点对应的当前时间戳，其中由所述第二分量手势识别器定义的所述第二要求要求所述初始时间戳与所述当前时间戳之间的时间量在阈值时间量内；
其中所述轻击手势识别器还包括：
位置分量手势识别器，所述位置分量手势识别器确定所述输入在所述相应时间点具有当前位置；
第一选通组合器，所述第一选通组合器要求所述第二分量手势识别器的成功和所述位置分量手势识别器的成功以便成功；和
第二选通组合器，所述第二选通组合器要求所述第一选通组合器的成功以及所述第一分量手势识别器的成功以便成功。


17.一种电子设备，包括：
输入设备；
一个或多个处理器；和
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于进行以下操作的指令：
经由所述输入设备检测输入；
响应于检测到所述输入，使用手势识别器监视所述输入，其中所述手势识别器包括多个分量手势识别器，所述多个分量手势识别器定义用于识别手势的要求，其中来自所述多个分量手势识别器的第一分量手势识别器定义用于识别所述手势的第一要求，并且来自所述多个分量手势识别器的第二分量手势识别器定义用于识别所述手势的第二要求；以及
根据确定所述输入满足包括所述第一分量手势识别器的所述第一要求和所述第二分量手势识别器的所述第二要求的第一手势识别标准，使用所述手势识别器识别第一手势。


18.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由具有输入设备的电子设备执行时使得所述电子设备：
经由所述输入设备检测输入；
响应于检测到所述输入，使用手势识别器监视所述输入，其中所述手势识别器包括多个分量手势识别器，所述多个分量手势识别器定义用于识别手势的要求，其中来自所述多个分量手势识别器的第一分量手势识别器定义用于识别所述手势的第一要求，并且来自所述多个分量手势识别器的第二分量手势识别器定义用于识别所述手势的第二要求；以及
根据确定所述输入满足包括所述第一分量手势识别器的所述第一要求和所述第二分量手势识别器的所述第二要求的第一手势识别标准，使用所述手势识别器识别第一手势。


19.一种电子设备，包括：
输入设备；
用于经由所述输入设备检测输入的装置；
响应于检测到所述输入而启用的用于使用手势识别器监视所述输入的装置，其中所述手势识别器包括多个分量手势识别器，所述多个分量手势识别器定义用于识别手势的要求，其中来自所述多个分量手势识别器的第一分量手势识别器定义用于识别所述手势的第一要求，并且来自所述多个分量手势识别器的第二分量手势识别器定义用于识别所述手势的第二要求；以及
根据确定所述输入满足包括所述第一分量手势识别器的所述第一要求和所述第二分量手势识别器的所述第二要求的第一手势识别标准而启用的用于使用所述手势识别器识别第一手势的装置。


20.一种信息处理装置，所述信息处理装置用于在具有输入设备的电子设备中使用，包括：
用于经由所述输入设备检测输入的装置；
响应于检测到所述输入而启用的用于使用手势识别器监视所述输入的装置，其中所述手势识别器包括多个分量手势识别器，所述多个分量手势识别器定义用于识别手势的要求，其中来自所述多个分量手势识别器的第一分量手势识别器定义用于识别所述手势的第一要求，并且来自所述多个分量手势识别器的第二分量手势识别器定义用于识别所述手势的第二要求；以及
根据确定所述输入满足包括所述第一分量手势识别器的所述第一要求和所述第二分量手势识别器的所述第二要求的第一手势识别标准而启用的用于使用所述手势识别器识别第一手势的装置。


21.一种电子设备，包括：
输入设备；
一个或多个处理器；和
存储器，所述存储器存储一个或多个程序，其中所述一个或多个程序被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至16中的任一项所述的方法的指令。


22.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由具有显示器、触敏表面、[用于检测与所述触敏表面的接触的强度的一个或多个传感器]和[一个或多个触觉输出发生器]的电子设备执行时，使得所述设备执行根据权利要求1至16中的任一项所述的方法。


23.一种在电子设备上的图形用户界面，所述电子设备具有输入设备、存储器、以及执行存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据权利要求1至16中的任一项所述的方法所显示的用户界面。


24.一种电子设备，包括：
输入设备；和
用于执行根据权利要求1至16中的任一项所述的方法的装置。


25.一种信息处理装置，所述信息处理装置用于在具有输入设备的电子设备中使用，包括：
用于执行根据权利要求1至16中的任一项所述的方法的装置。


26.一种方法，包括：
在具有显示器和输入设备的电子设备处：
在所述显示器上显示应用程序的用户界面，其中所述用户界面包括以视图分级结构布置的多个视图，其中所述视图分级结构定义第一视图和第二视图之间的第一关系，并且其中所述第一视图包括第一手势识别器，并且所述第二视图包括第二手势识别器；
经由所述输入设备检测在对应于所显示的用户界面的第一位置处的输入；以及
使用包括所述第一手势识别器和所述第二手势识别器的手势识别分级结构来处理所述输入，其中基于所述视图分级结构中的所述第一视图和所述第二视图之间的所述第一关系来确定所述第一手势识别器和所述第二手势识别器之间的第二关系。


27.根据权利要求26所述的方法，其中所述视图分级结构中除了所述第一视图和所述第二视图之外的一个或多个视图包括相应手势识别器，并且其中所述手势识别分级结构包括所述一个或多个其他视图的相应手势识别器。


28.根据权利要求26所述的方法，包括识别所述视图分级结构中对应于所述第一位置的视图的子集，其中所识别的子集包括所述第一视图和所述第二视图，并且其中所述手势识别分级结构包括所识别的视图的子集的相应手势识别器。


29.根据权利要求28所述的方法，其中所述视图分级结构包括不对应于所述第一位置的一个或多个视图，其中所述一个或多个视图包括一个或多个手势识别器，并且其中所述手势识别分级结构不包括不对应于所述第一位置的所述一个或多个视图的所述一个或多个手势识别器。


30.根据权利要求26至29中任一项所述的方法，其中所述手势识别分级结构包括分量手势识别器，所述分量手势识别器通过要求所述第一手势识别器失败以便使所述第二手势识别器成功来定义所述第一手势识别器和所述第二手势识别器之间的所述第二关系。


31.根据权利要求26至29中任一项所述的方法，其中所述手势识别分级结构包括分量手势识别器，所述分量手势识别器定义所述手势识别分级结构中的所述第一手势识别器和所述第二手势识别器之间的所述第二关系，并且其中使用所述手势识别分级结构处理所述输入包括：
在手势识别分级结构处接收描述所述输入的信息；
将描述所述输...

【专利技术属性】
技术研发人员：J·S·哈珀，J·A·肖，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国;US