增强的虚拟触摸板和触摸屏制造技术

本发明专利技术涉及增强的虚拟触摸板和触摸屏。本发明专利技术提供了一种方法，该方法包括由计算机(26)在耦接至该计算机的显示器(28)上呈现多个交互项(36)、接收指示计算机的用户(22)的凝视方向的输入。响应于该凝视方向，选择多个交互项中的一个，并且继选择交互项中的一个之后，接收至少包含用户的手(31)的三维(3D)图的序列。分析3D图以检测由该用户所执行的手势，并且响应于该手势来对所选择的交互项执行操作。

Enhanced virtual TouchBoard and touch screen

The invention relates to an enhanced virtual touch panel and a touch screen. The invention provides a method, which comprises a computer (26) presenting multiple interaction items (36) on the display (28) coupled to the computer, and receiving the input of the staring direction indicating the user (22) of the computer. In response to the staring direction, one of a plurality of interaction items is selected, and after selecting one of the interaction items, a sequence of three dimensional (3D) graphs containing at least user's hand (31) is received. Analysis of 3D detection by the user to perform a gesture, and in response to perform operation on the interactive items selected in the gesture.

【技术实现步骤摘要】
增强的虚拟触摸板和触摸屏本申请是申请日为2013年3月24日、申请号为201380016670.6、名称为“增强的虚拟触摸板和触摸屏”的专利技术专利申请的分案申请。
本专利技术整体涉及用于计算机化系统的用户界面，并且具体地，涉及基于三维感测的用户界面。
技术介绍
当前可使用许多不同类型的用户界面设备和方法。常见的触觉界面设备包括计算机键盘、鼠标和操纵杆。触摸屏检测由手指或在显示区域内的其他对象所进行的触摸的存在及位置。红外远程控制被广泛使用，并且还出于远程控制的目的已经开发出了“可穿戴的”硬件设备。还已提出了基于对用户身体的部分进行三维(3D)感测的计算机接口。例如，PCT国际公开WO03/071410，其公开内容以引用方式并入本文，描述了使用深度感知传感器的手势识别系统。3D传感器通常定位在用户附近的房间中，提供用于识别由感兴趣的身体部分所创建的手势的位置信息。基于身体部分的形状以及其在间隔内的位置和取向来识别手势。对手势进行分类以用于确定进入相关电子设备中的输入。在本专利申请中以引用方式并入的文档被认为是除了在这些并入的文档中以与在本说明书中明确地或隐含地作出的定义相冲突的方式被定义的任何术语之外的本申请的不可分割的部分，应仅考虑本说明书中的定义。又如，美国专利7,348,963，其公开内容以引用方式并入本文，描述了一种交互式视频显示系统，在该交互式视频显示系统中，显示屏显示视觉图像，并且照相机捕捉有关显示屏前方的交互区域中的对象的3D信息。计算机系统指导显示屏以响应于对象中的改变来改变视觉图像。三维人机界面系统不仅可识别用户的手，还可识别身体的其他部分，包括头部、躯干及肢体。例如，美国专利申请公开2010/0034457，其公开内容以引用方式并入本文，描述了用于通过深度图来对类人形态进行建模的方法。对深度图进行分割以便找到身体的轮廓。对轮廓进行处理以便识别受试者的躯干和一个或多个肢体。通过分析深度图中的所识别的肢体中的至少一者的部署来生成输入以控制在计算机上运行的应用程序。一些用户界面系统跟踪用户凝视的方向。例如，美国专利7,762,665，其公开内容以引用方式并入本文，描述了一种对设备的操作进行调制的方法，包括：提供用于获取关于用户的注视状态的信息的注视用户界面；以及基于所获取的信息对设备的操作进行调制，其中经调制的操作由设备发起。优选地，关于用户的注视状态的信息为由注视用户界面所感测的用户与设备的眼神接触。
技术实现思路
根据本专利技术的实施例，提供一种方法，该方法包括由计算机：在耦接至计算机的显示器上呈现多个交互项；接收指示计算机的用户的凝视方向的输入；响应于该凝视方向，选择所述多个交互项中的一个；继选择交互项中的一者之后接收至少包含用户的手的三维(3D)图的序列；分析3D图以检测由用户所执行的手势；以及响应于该手势来对所选择的交互项执行操作。根据本专利技术的实施例，还提供一种包括感测设备、显示器、以及耦接至感测设备和显示器的计算机的装置。所述感测设备被配置为接收至少包含用户的头部和手的三维(3D)图并且接收至少包含用户的眼睛的二维(2D)图像；所述计算机被配置为：在显示器上呈现多个交互项；接收指示由计算机的用户所执行的凝视方向的输入；响应于凝视方向，选择所述多个交互项中的一个；继选择交互项中的一者之后接收至少包含用户的手的3D图的序列；分析3D图以检测由用户所执行的手势；并且响应于所述手势来对所选择的交互项中的一者执行操作。根据本专利技术的实施例，进一步提供一种包括非暂态计算机可读介质的计算机软件产品，在该非暂态计算机可读介质中存储有程序指令，所述指令在由计算机读取时，使得计算机：在耦接至计算机的显示器上呈现多个交互项；接收指示由计算机的用户所执行的凝视方向的输入；响应于该凝视方向，选择所述多个交互项中的一个；继选择交互项中的一者之后接收至少包含用户的手的三维(3D)图的序列；分析3D图以检测由用户所执行的手势；并且响应于所述手势来对所选择的交互项中的一者执行操作。根据本专利技术的实施例，另外提供一种方法，该方法包括：由计算机接收至少包含物理表面的二维图像(2D)；将物理表面分割成一个或多个物理区域；向所述一个或多个物理区域中的每一个物理区域分配功能，所述功能中的每一项功能对应于触觉输入设备；接收至少包含计算机的用户的手的三维(3D)图的序列，所述手定位在物理区域中的一者上；分析3D图以检测由用户所执行的手势；并且基于所述手势来模拟与物理区域中的一者对应的触觉输入设备的输入。根据本专利技术的实施例，还提供一种包括感测设备、显示器和耦接至感测设备与显示器的计算机的装置。所述感测设备被配置为接收至少包含物理表面的二维(2D)图像，并且接收至少包含用户的手(所述手定位在物理表面上)的三维(3D)图的序列；所述计算机被配置为：将物理表面分割成一个或多个物理区域；向所述一个或多个物理区域中的每一个物理区域分配功能，所述功能中的每一项功能对应于触觉输入设备；分析3D图以检测由用户所执行的手势；并且基于所述手势来模拟与物理区域中的一者对应的触觉输入设备的输入。根据本专利技术的实施例，进一步提供一种包括非暂态计算机可读介质的计算机软件产品，在该非暂态计算机可读介质中存储有程序指令，所述指令在由计算机读取时，使得计算机：接收至少包含物理表面的二维图像(2D)；将物理表面分割成一个或多个物理区域；向所述一个或多个物理区域中的每一个物理区域分配功能，所述功能中的每一项功能对应于触觉输入设备；接收至少包含计算机的用户的手的三维(3D)图的序列，所述手定位在物理区域中的一者上；分析3D图以检测由用户所执行的手势；并且基于所述手势来模拟与物理区域中的一者对应的触觉输入设备的输入。根据本专利技术的实施例，另外提供一种方法，该方法包括：接收三维(3D)图的序列，所述三维(3D)图的序列至少包含物理表面、定位在物理表面上的一个或多个物理对象、以及计算机的用户的手，所述手定位在物理表面附近；分析3D图以检测由用户所执行的手势；响应于所述手势来将动画投射到物理表面上；以及将所述一个或多个物理对象结合到动画中。根据本专利技术的实施例，还提供一种包括感测设备、投影仪和耦接至感测设备与投影仪的计算机的装置。所述感测设备被配置为接收三维(3D)图的序列，所述三维(3D)图的序列至少包含物理表面、定位在物理表面上的一个或多个物理对象、以及用户的手(所述手定位在物理表面附近)；所述计算机被配置为：分析3D图以检测由用户所执行的手势；响应于所述手势使用投影仪来将动画呈现到物理表面上；以及将所述一个或多个物理对象结合到动画中。根据本专利技术的实施例，进一步提供一种包括非暂态计算机可读介质的计算机软件产品，在该非暂态计算机可读介质中存储有程序指令，所述指令在由计算机读取时，使得计算机：接收三维(3D)图的序列，所述三维(3D)图的序列至少包含物理表面、定位在物理表面上的一个或多个物理对象、以及计算机的用户的手，所述手定位在物理表面附近；分析3D图以检测由用户所执行的手势；响应于所述手势来将动画投射到物理表面上；以及将所述一个或多个物理对象结合到动画中。根据本专利技术的实施例，另外提供一种方法，该方法包括：由计算机接收至少包含物理表面的二维图像(2D)；将物理表面分割成一个或多个物本文档来自技高网...

【技术保护点】
一种方法，包括：由计算机接收至少包含物理表面的二维2D图像；将所述物理表面分割成一个或多个物理区域；向所述一个或多个物理区域中的每一个物理区域分配功能，所述功能中的每一项功能对应于触觉输入设备；接收至少包含所述计算机的用户的手的三维3D图的序列，所述手定位在所述物理区域中的一个上；分析所述3D图以检测由所述用户执行的手势；以及基于所述手势来模拟与所述物理区域中的所述一个对应的所述触觉输入设备的输入。

【技术特征摘要】
2012.03.26 US 61/615,403;2012.06.25 US 61/663,6381.一种方法，包括：由计算机接收至少包含物理表面的二维2D图像；将所述物理表面分割成一个或多个物理区域；向所述一个或多个物理区域中的每一个物理区域分配功能，所述功能中的每一项功能对应于触觉输入设备；接收至少包含所述计算机的用户的手的三维3D图的序列，所述手定位在所述物理区域中的一个上；分析所述3D图以检测由所述用户执行的手势；以及基于所述手势来模拟与所述物理区域中的所述一个对应的所述触觉输入设备的输入。2.根据权利要求1所述的方法，其中所述触觉输入设备选自包括键盘、鼠标和触摸板的列表。3.根据权利要求1所述的方法，进一步包括响应于所述手势来将图像投射在所述物理表面上。4.根据权利要求3所述的方法，其中所述触觉输入设备包括触摸屏。5.根据权利要求1-4中任一项所述的方法，进一步包括基于3D图的所述序列来确定由所述手的一个或多个手指针对所述物理表面所施加的压力，并且将所述压力结合到所模拟的输入中。6.根据权利要求1-4中任一项所述的方法，进一步包括基于所述2D图像来识别由所述手保持的并且与所述物理表面接触的对象的颜色，并且将所述颜色结合到所模拟的输入中。7.根据权利要求1-4中任一项所述的方法，进一步包括基于3D图的所述序列来确定所述手的一个或多个手指的位置和速度，并且将所述位置和所述速度结合到所模拟的输入中。8.一种装置，包括：感测设备，所述感测设备被配置为接收至少包含物理表面的二维2D图像，并且接收至少包含用户的手的三维3D图的序列，所述手定位在所述物理表面上；显示器；和计算机，所述计算机耦接至所述感测设备和所述显示器，并且被配置为：将所述物理表面分割成一个或多个物理区域；向所述一个或多个物理区域中的每一个物理区域分配功能，所述功能中的每一项功能对应于触觉输入设备；分析所述3D图以检测由所述用户所执行的手势；并且基于所述手势来模拟与所述物理区域中的一个对应的所述触觉输入设备的输入。9.根据权利要求8所述的装置，其中所述计算机被配置为从包括键盘、鼠标和触摸板的列表中选择所述触觉输入设备。10.根据权利要求8所述的装置，进一步包括投影仪，所述投影仪耦接至所述计算机并且被配置为响应于所述手势来将图像投射在所述物理表面上。11.根据权利要求10所述的装置，其中所述触觉输入设备包括触摸屏。12.根据权利要求8-11中任一项所述的装置，其中所述计算机被配置为基于3D图的所述序列来确定由所述手的一个或多个手指针对所述物理表面所施加的压力，并且将所述压力结合到所模拟的输入中。13.根据权利要求8-11中任一项所述的装置，其中所述计算机被配置为基于所述2D图像来识别由所述手保持的并且与所述物理表面接触的对象的颜色，并且将所述颜色结合到所模拟的输入中。14.根据权利要求8-11中任一项所述的装置，其中所述计算机被配置为基于3D图的所述序列来确定所述手的一个或多个手指的位置和速度，并且将所述位置和所述速度结合到所模拟的输入中。15.一种包括非暂态计算机可读介质的计算机软件产品，在所述非暂态计算机可读介质中存储有程序指令，所述指令在由计算机读取时，使得所述计算机：接收至少包含物理表面的二维2D图像；将所述物理表面分割成一个或多个物理区域；向所述一个或多个物理区域中的每一个物理区域分配功能，所述功能中的每一项功能对应于触觉输入设备；接收至少包含所述计算机的用户的手的三维3D图的序列，所述手定位在所述物理区域中的一个上；分析所述3D图以检测由所述用户所执行的手势；并且基于所述手势来模拟与所述物理区域中的所述一个对应的所述触觉输入设备的输入。16.一种方法，包括...

【专利技术属性】
技术研发人员：E·贝奇克夫，O·伯瑞兹恩，M·盖尔奥尔，O·奥尔，J·珀克帕斯，A·艾施尔，E·谷恩德尔曼，A·伯恩森，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国,US