用于传送基于接近度和基于接触的输入事件的设备、方法和用户界面技术

一种具有显示器和与该显示器分开的输入设备的电子设备，该电子设备显示包括第一应用程序的表示和指针对象的用户界面。该设备在该输入设备处接收用户输入事件，所述该用户输入事件指向该用户界面中显示该指针对象的位置。响应于该用户输入事件，当该用户界面中显示该指针对象的该相应位置在该述第一应用程序的表示上方时，该设备向第一应用程序提供描述模拟触摸事件的信息，该信息包括描述该用户界面中的一个或多个模拟触摸的位置的信息；并且在该显示器上显示由该第一应用程序响应于描述该模拟触摸事件的该信息而确定的该第一应用程序的表示的变化。

【技术实现步骤摘要】
【国外来华专利技术】用于传送基于接近度和基于接触的输入事件的设备、方法和用户界面
本公开总体涉及具有输入设备的电子设备，包括但不限于具有促进并且传送基于接近度和基于接触的输入事件的触敏表面的电子设备。
技术介绍
触敏表面作为计算机和其他电子计算设备的输入设备的使用在近年来显著增长。示例性触敏表面包括触控板和触摸屏显示器。此类表面广泛地用于操纵显示器上的用户界面对象。一些触敏表面还包括检测由对象(例如，触笔)提供的输入的传感器，该对象不与触敏表面直接接触，但是非常接近触敏表面。基于接近度的输入为在显示器上操纵用户界面对象提供了额外的途径。然而，基于接触的输入和基于接近度的输入通常不能无缝地协同工作并且可能彼此干扰，并给用户带来困惑和沮丧。
技术实现思路
因此，需要促进基于接触和基于接近度的用户输入以及基于对适当的应用程序和此类应用程序内的视图的接触和接近度来传送输入事件的方法。此外，需要平移其他用户输入(例如，不基于与触敏表面的接触或接近度的用户输入，诸如基于鼠标或轨迹球的输入)到基于接触和基于接近度的输入事件中，使得期望此类输入事件的应用程序可与不同操作系统以及不同外围输入设备兼容。此类方法和界面任选地补充或替换用于处理基于接触和基于接近度的用户输入的常规方法。通过所公开的设备减少或消除了与电子设备的事件处理相关联的上述缺陷和其他问题。在一些实施例中，该设备是台式计算机。在一些实施例中，该设备是便携式的(例如，笔记本电脑、平板电脑或手持设备)。在一些实施例中，该设备具有触控板。在一些实施例中，所述设备具有触敏显示器(也称为“触摸屏”或“触摸屏显示器”)。在一些实施例中，该设备具有图形用户界面(GUI)、一个或多个处理器、存储器和一个或多个模块、被存储在存储器中以用于执行多个功能的程序或指令集。在一些实施例中，用户主要通过触笔和/或手指接触以及触敏表面上的手势来与GUI进行交互。用于执行这些功能的可执行指令任选地被包括在被配置用于由一个或多个处理器执行的非暂态计算机可读存储介质或其他计算机程序产品中。根据一些实施例，在具有显示器和与所述显示器分开的输入设备的电子设备处执行一种方法。所述方法包括在所述显示器上同时显示包括以下各项的用户界面：包括多个用户界面对象的第一应用程序的表示；以及指针对象。所述方法还包括，在同时显示所述第一应用程序的所述表示和所述指针对象时，在与所述显示器分开的所述输入设备处接收指向所述用户界面中显示所述指针对象的相应位置的用户输入事件。所述方法还包括：响应于检测到所述用户输入事件，根据确定所述用户界面中显示所述指针对象的所述相应位置在所述第一应用程序的所述表示上方：向所述第一应用程序提供描述模拟触摸事件的信息，所述信息包括描述所述用户界面中的一个或多个模拟触摸的位置的信息；以及在所述显示器上显示由所述第一应用程序响应于描述所述模拟触摸事件的所述信息而确定的所述第一应用程序的所述表示的变化。根据一些实施例，在具有显示器和与所述显示器分开的一个或多个输入设备的电子设备处执行一种方法。所述方法包括在所述显示器上显示应用程序的用户界面。所述方法还包括在与所述显示器分开的所述一个或多个输入设备处接收用户输入事件。所述方法还包括根据所述用户输入事件生成多个独立事件流。所述方法还包括合并来自所述多个独立事件流的信息以生成合并的用户输入事件流；向所述应用程序提供描述所述合并的用户输入事件流的信息；以及在显示器上显示所述应用程序的响应，所述响应至少部分地基于描述所述合并的用户输入事件流的所述信息。根据一些实施例，在具有显示器和输入设备的电子设备处执行一种方法。所述方法包括在所述显示器上显示包括多个用户界面对象的应用程序的用户界面。所述方法还包括在显示所述应用程序的所述用户界面时，在所述输入设备处接收用户输入。所述方法还包括响应于所述用户输入，向所述应用程序提供具有带有第一阶段值的阶段字段的第一输入事件，所述第一输入事件对应于接近但不接触触敏表面的输入。所述方法还包括，在提供所述第一输入事件之后，向所述应用程序提供具有带有第二阶段值的阶段字段的第二输入事件，所述第二输入事件对应于所述用户输入接触所述触敏表面。所述方法还包括在所述显示器上显示对所述应用程序的所述用户界面的更新，所述更新至少部分地基于所述第一输入事件和所述第二输入事件。根据一些实施例，电子设备包括显示器、输入设备(例如，任选的触敏表面)、用于检测所述触敏表面上方的输入对象的接近度的任选的一个或多个传感器、用于检测与所述触敏表面的接触强度的任选的一个或多个传感器、一个或多个处理器、存储器以及一个或多个程序；一个或多个程序被存储在存储器中并且被配置为由一个或多个处理器执行，并且一个或多个程序包括用于执行或导致执行任何本文所述的方法的操作的指令。根据一些实施例，计算机可读存储介质在其中存储有指令，所述指令当由具有显示器、输入设备(例如，任选的触敏表面)、用于检测所述触敏表面上方的输入对象的接近度的任选的一个或多个传感器以及用于检测接触强度的任选的一个或多个传感器的电子设备执行时，使得所述设备执行本文所述方法中的任一种方法的操作或使得本文所述方法中的任一种方法的操作被执行。根据一些实施例，电子设备包括：显示器、输入设备(例如，任选的触敏表面)、用于检测所述触敏表面上方的输入对象的接近度的任选的一个或多个传感器、用于检测接触强度的任选的一个或多个传感器，以及用于执行本文所述方法中的任一种方法的操作或使得本文所述方法中的任一种方法的操作被执行的装置。根据一些实施例，用于具有显示器和输入设备(例如，任选的触敏表面)的电子设备中的信息处理装置，任选地包括用于检测所述触敏表面上方的输入对象的接近度的一个或多个传感器、任选地包括用于检测接触强度的一个或多个传感器，并且包括用于执行本文所述方法中的任一种方法的操作或使得本文所述方法中的任一种方法的操作被执行的装置。因此，向具有显示器、输入设备(例如，任选的触敏表面)、用于检测所述触敏表面上方的输入对象的接近度的任选的传感器以及用于检测接触强度的任选的传感器提供了促进基于接近度和基于接触的用户输入并基于此类用户输入传送输入事件的改进的方法，从而提高此类设备的有效性和效率，并提高用户对此类设备的满意度。此类方法可补充或替换用于处理基于接近度和基于接触的输入的常规方法。附图说明为了更好地理解各种所述实施例，应结合以下附图参考下面的具体实施方式，其中类似的附图标号在所有附图中指示对应的部分。图1A是示出根据一些实施例的具有触敏显示器的便携式多功能设备的框图。图1B是示出根据一些实施例的用于事件处理的示例性部件的框图。图2示出了根据一些实施例的具有触摸屏的便携式多功能设备。图3是根据一些实施例的具有显示器和触敏表面的示例性多功能设备的框图。图4是根据一些实施例的示例性电子触笔的框图。图5A至图5B示出了根据一些实施例的触笔相对于触敏表面的位置状态。图6A示出了根据一些实施例的便携式多功能设备上的应用程序菜单的示例性用户界面。<本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n在具有显示器和与所述显示器分开的输入设备的电子设备处：/n在所述显示器上同时显示包括以下各项的用户界面：/n包括多个用户界面对象的第一应用程序的表示；和/n指针对象；/n在同时显示所述第一应用程序的所述表示和所述指针对象时，在与所述显示器分开的所述输入设备处接收用户输入事件，所述用户输入事件指向所述用户界面中显示所述指针对象的相应位置；/n响应于检测到所述用户输入事件，根据确定所述用户界面中显示所述指针对象的所述相应位置在所述第一应用程序的所述表示上方：/n向所述第一应用程序提供描述模拟触摸事件的信息，所述信息包括描述所述用户界面中的一个或多个模拟触摸的位置的信息；以及/n在所述显示器上显示由所述第一应用程序响应于描述所述模拟触摸事件的所述信息而确定的所述第一应用程序的所述表示的变化。/n

【技术特征摘要】
【国外来华专利技术】20180603 US 62/679,956;20190529 US 16/425,8281.一种方法，包括：
在具有显示器和与所述显示器分开的输入设备的电子设备处：
在所述显示器上同时显示包括以下各项的用户界面：
包括多个用户界面对象的第一应用程序的表示；和
指针对象；
在同时显示所述第一应用程序的所述表示和所述指针对象时，在与所述显示器分开的所述输入设备处接收用户输入事件，所述用户输入事件指向所述用户界面中显示所述指针对象的相应位置；
响应于检测到所述用户输入事件，根据确定所述用户界面中显示所述指针对象的所述相应位置在所述第一应用程序的所述表示上方：
向所述第一应用程序提供描述模拟触摸事件的信息，所述信息包括描述所述用户界面中的一个或多个模拟触摸的位置的信息；以及
在所述显示器上显示由所述第一应用程序响应于描述所述模拟触摸事件的所述信息而确定的所述第一应用程序的所述表示的变化。


2.根据权利要求1所述的方法，包括：
根据所述用户输入事件生成数字化事件，所述数字化事件包括所述用户界面中显示所述指针对象的所述位置；以及
将所述数字化事件转换为所述模拟触摸事件。


3.根据权利要求2所述的方法，其中所述数字化事件包括指针事件，所述指针事件与所述用户界面中显示所述指针对象的所述相应位置配对或具有对应于所述相应位置的位置信息。


4.根据权利要求2所述的方法，
其中所述数字化事件由指针事件生成，所述指针事件与所述用户界面中显示所述指针对象的所述相应位置配对或具有对应于所述相应位置的位置信息。


5.根据权利要求1至4中任一项所述的方法，其中所述模拟触摸事件包括：具有信息的多个字段，所述信息包括对应于所述用户界面中的所述相应位置的所述位置信息；以及从预定义阶段值集合中选择的阶段值，所述预定义阶段值集合包括至少第一预定义阶段值和第二预定义阶段值，所述第一预定义阶段值指示模拟触摸的开始阶段，所述第二预定义阶段值指示所述模拟触摸事件是对先前模拟触摸事件的更新。


6.根据权利要求5所述的方法，其中所述预定义阶段值集合包括至少第三预定义阶段值，所述第三预定义阶段值指示悬停阶段，所述悬停阶段指示接近但不接触所述显示器的模拟触摸。


7.根据权利要求5至6中任一项所述的方法，其中：
所述输入设备包括按钮；
所述用户输入事件包括所述按钮的状态的变化；并且
根据所述按钮的所述状态的所述变化，所述模拟触摸事件具有指示所述模拟触摸的所述开始阶段的所述第一预定义阶段值。


8.根据权利要求7所述的方法，其中：
所述按钮的所述状态的所述变化包括所述按钮的激活；并且，所述方法还包括：
在显示所述指针对象时，在与所述显示器分开的所述输入设备处接收包括所述按钮的停用的第二用户输入事件；以及
响应于检测到所述第二用户输入事件：
向所述第一应用程序提供信息，所述信息描述第二模拟触摸事件，所述第二模拟触摸事件具有指示所述第二模拟触摸事件对应于所述模拟触摸事件的结束的阶段值。


9.根据权利要求5至8中任一项所述的方法，包括：
在显示所述指针对象时，在与所述显示器分开的所述输入设备处接收第三用户输入事件，所述第三用户输入事件将所述指针对象从所述相应位置移动到所述显示器上的第三位置；以及
响应于检测到所述第三用户输入事件：
向所述第一应用程序提供信息，所述信息描述具有所述第二预定义阶段值的第三模拟触摸事件，所述第二预定义阶段值指示所述第三模拟触摸事件是对所述模拟触摸事件的更新。


10.根据权利要求1至9中任一项所述的方法，包括：
在显示所述指针对象时，在与所述显示器分开的所述输入设备处接收第四用户输入事件，所述第四用户输入事件指向显示所述指针对象的第三位置，所述第三位置对应于不同于所述第一应用程序的相应应用程序的表示；以及
响应于检测到所述第四用户输入事件：
根据确定所述相应应用程序被配置为在第一操作系统框架中执行，向所述相应应用程序提供描述第四模拟触摸事件的信息，所述信息包括描述一个或多个附加模拟触摸的位置的信息；以及
根据确定所述相应应用程序没有被配置为在所述第一操作系统框架中执行，放弃向所述相应应用程序提供描述模拟触摸事件的信息。


11.根据权利要求1至10中任一项所述的方法，其中：
所述一个或多个模拟触摸在所述用户界面中显示所述指针对象的所述相应位置处具有质心。


12.根据权利要求1至11中任一项所述的方法，其中所述输入设备选自由以下项构成的组：
鼠标；
滚轮；
键盘；和
与所述显示器分开的触摸板。


13.根据权利要求1至12中任一项所述的方法，其中显示所述指针对象的所述相应位置对应于多个视图，并且所述模拟触摸事件被提供给所述多个视图中的每个视图。


14.根据权利要求1至13中任一项所述的方法，其中：
所述输入设备是第一输入设备；
所述模拟触摸事件是具有预定义事件类型和字段集合的归一化触摸事件；并且
所述方法包括：
在第二输入设备处接收第五用户输入事件；
响应于检测到所述第五用户输入事件：
向所述第一应用程序提供描述第五模拟触摸事件的信息，所述第五模拟触摸事件为归一化触摸事件。


15.根据权利要求1至14中任一项所述的方法，其中：
所述输入设备是与所述显示器分开的多个输入设备中的相应输入设备；
所述用户输入事件是从与所述显示器分开的所述多个输入设备接收的多个用户输入事件中的第一用户输入事件；并且
所述方法还包括：
根据所述多个用户输入事件生成多个独立事件流；以及
合并来自所述多个事件流的信息以生成合并的用户输入事件流，其中描述所述模拟触摸事件的所述信息包括描述所述合并的用户输入事件流的信息。


16.一种电子设备，包括：
显示器；
与所述显示器分开的输入设备；
一个或多个处理器；
存储器；和
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于如下操作的指令：
在所述显示器上同时显示包括以下各项的用户界面：
包括多个用户界面对象的第一应用程序的表示；和
指针对象；
在同时显示所述第一应用程序的所述表示和所述指针对象时，在与所述显示器分开的所述输入设备处接收用户输入事件，所述用户输入事件指向所述用户界面中显示所述指针对象的相应位置；
响应于检测到所述用户输入事件，根据确定所述用户界面中显示所述指针对象的所述相应位置在所述第一应用程序的所述表示上方：
向所述第一应用程序提供描述模拟触摸事件的信息，所述信息包括描述所述用户界面中的一个或多个模拟触摸的位置的信息；以及
在所述显示器上显示由所述第一应用程序响应于描述所述模拟触摸事件的所述信息而确定的所述第一应用程序的所述表示的变化。


17.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由具有显示器和与所述显示器分开的输入设备的电子设备执行时，使得所述设备：
在所述显示器上同时显示包括以下各项的用户界面：
包括多个用户界面对象的第一应用程序的表示；和
指针对象；
在同时显示所述第一应用程序的所述表示和所述指针对象时，在与所述显示器分开的所述输入设备处接收用户输入事件，所述用户输入事件指向所述用户界面中显示所述指针对象的相应位置；
响应于检测到所述用户输入事件，根据确定所述用户界面中显示所述指针对象的所述相应位置在所述第一应用程序的所述表示上方：
向所述第一应用程序提供描述模拟触摸事件的信息，所述信息包括描述所述用户界面中的一个或多个模拟触摸的位置的信息；以及
在所述显示器上显示由所述第一应用程序响应于描述所述模拟触摸事件的所述信息而确定的所述第一应用程序的所述表示的变化。


18.一种电子设备，包括：
显示器；
与所述显示器分开的输入设备；
用于在所述显示器上同时显示包括以下各项的用户界面的装置：
包括多个用户界面对象的第一应用程序的表示；和
指针对象；
在同时显示所述第一应用程序的所述表示和所述指针对象时启用的用于在与所述显示器分开的所述输入设备处接收用户输入事件的装置，所述用户输入事件指向所述用户界面中显示所述指针对象的相应位置；
响应于检测到所述用户输入事件，根据确定所述用户界面中显示所述指针对象的所述相应位置在所述第一应用程序的所述表示上方而启用的装置，所述装置用于：
向所述第一应用程序提供描述模拟触摸事件的信息，所述信息包括描述所述用户界面中的一个或多个模拟触摸的位置的信息；以及
在所述显示器上显示由所述第一应用程序响应于描述所述模拟触摸事件的所述信息而确定的所述第一应用程序的所述表示的变化。


19.一种在具有显示器和与所述显示器分开的输入设备的电子设备中使用的信息处理装置，包括：
用于在所述显示器上同时显示包括以下各项的用户界面的装置：
包括多个用户界面对象的第一应用程序的表示；和
指针对象；
在同时显示所述第一应用程序的所述表示和所述指针对象时启用的用于在与所述显示器分开的所述输入设备处接收用户输入事件的装置，所述用户输入事件指向所述用户界面中显示所述指针对象的相应位置；
响应于检测到所述用户输入事件，根据确定所述用户界面中显示所述指针对象的所述相应位置在所述第一应用程序的所述表示上方而启用的装置，所述装置用于：
向所述第一应用程序提供描述模拟触摸事件的信息，所述信息包括描述所述用户界面中的一个或多个模拟触摸的位置的信息；以及
在所述显示器上显示由所述第一应用程序响应于描述所述模拟触摸事件的所述信息而确定的所述第一应用程序的所述表示的变化。


20.一种电子设备，包括：
显示器；
与所述显示器分开的输入设备；
一个或多个处理器；
存储器；和
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至15所述的方法中的任一种方法的指令。


21.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由具有显示器和与所述显示器分开的输入设备的电子设备执行时，使得所述设备执行根据权利要求1至15所述的方法中的任一种方法。


22.一种电子设备上的图形用户界面，所述电子设备具有显示器、与所述显示器分开的输入设备、存储器以及用于执行存储在所述存储器中的一个或多个程序的一个或多个处理器，所述图形用户界面包括根据权利要求1至15所述的方法中的任一种方法显示的用户界面。


23.一种电子设备，包括：
显示器；
与所述显示器分开的输入设备；和
用于执行根据权利要求1至15所述的方法中的任一种方法的装置。


24.一种在具有显示器和与所述显示器分开的输入设备的电子设备中使用的信息处理装置，包括：
用于执行根据权利要求1至15所述的方法中的任一种方法的装置。


25.一种方法，包括：
在具有显示器和与所述显示器分开的一个或多个输入设备的电子设备处：
在所述显示器上显示应用程序的用户界面；
在与所述显示器分开的所述一个或多个输入设备处接收用户输入事件；
根据所述用户输入事件生成多个独立事件流；
合并来自所述多个独立事件流的信息以生成合并的用户输入事件流；
向所述应用程序提供描述所述合并的用户输入事件流的信息；以及
在所述显示器上显示所述应用程序的响应，所述响应至少部分地基于描述所述合并的用户输入事件流的所述信息。


26.根据权利要求25所述的方法，其中：
所述合并的用户输入事件流包括滚动事件，所述滚动事件包括对应于所述用户界面中的相应位置的位置信息。


27.根据权利要求26所述的方法，其中相应滚动事件包括选自以下字段的多个字段：
具有指示第一滚动量的值的字段；
具有指示针对所述第一滚动量的乘数或大于所述第一滚动量的第二滚动量中的任一者的值的字段；
具有指示用户界面中相应位置的值的字段；和
具有选自预定义阶段值集合的阶段值的字段，所述预定义阶段值集合包括至少指示所述相应滚动事件的开始阶段的第一预定义阶段值以及指示所述相应滚动事件是对滚动事件的更新的第二预定义阶段值。


28.根据权利要求26至27中任一项所述的方法，其中所述应用程序对所述滚动事件的所述响应包括平移所述用户界面的至少一部分。


29.根据权利要求28所述的方法，其中所述显示器为触敏显示器，并且所述应用程序被配置为响应于来自所述触敏显示器的触摸输入以及来自所述合并的用户输入事件流的滚动事件而平移所述用户界面的至少所述部分。


30.根据权利要求26所述的方法，其中每个滚动事件是具有预定义事件类型和字段集合的归一化事件，其中所述滚动事件被配置为根据以下任一项进行归一化：
从滚轮接收的相应用户输入事件；
对应于触敏显示器上的第一预定义手势的相应用户输入事件；以及
对应于在与显示器分开的触敏表面上不同于所述第一预定义手势的第二预定义手势的相应用户输入事件。


31.根据权利要求25至30中任一项所述的方法，其中：
与所述显示器分开的所述一个或多个输入设备包括第一输入设备和与所述第一输入设备不同且分开的第二输入设备；以及
所述用户输入事件包括：
从所述第一输入设备接收的第一事件；
从所述第二输入设备接收的第二事件；和
所述合并的用户输入事件流包括用户输入事件，所述用户输入事件包括对应于由与所述第二事件相对应的信息进行修改的所述第一事件的信息。


32.根据权利要求25至31中任一项所述的方法，其中：
与所述显示器分开的所述一个或多个输入设备包括第一输入设备；
所述用户输入事件包括：
从所述第一输入设备接收的第一事件，该第一事件对应于指针在所述显示器上的移动；和
不同于所述第一事件的第二事件，所述第二事件对应于所述第一输入设备的致动；并且
所述合并的用户输入事件流包括用户输入事件，所述用户输入事件包括对应于所述第一事件的信息以及对应于所述第二事件的信息。


33.一种电子设备，包括：
显示器；
与所述显示器分开的一个或多个输入设备；
一个或多个处理器；
存储器；和
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于如下操作的指令：
在所述显示器上显示应用程序的用户界面；
在与所述显示器分开的所述一个或多个输入设备处接收用户输入事件；
根据所述用户输入事件生成多个独立事件流；
合并来自所述多个独立事件流的信息以生成合并的用户输入事件流；
向所述应用程序提供描述所述合并的用户输入事件流的信息；以及
在所述显示器上显示所述应用程序的响应，所述响应至少部分地基于描述所述合并的用户输入事件流的所述信息。


34.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包...

【专利技术属性】
技术研发人员：M·T·特尼尔，R·J·雷德，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国;US