利用手势增强触摸输入制造技术

本发明专利技术提供用于增强交互式输入的根据一或多个实施例的方法和系统。在一实施例中，一种方法包含并行地俘获用户装置的屏幕上的触摸输入数据以及所述用户装置的所述屏幕外的非触摸手势输入数据。所述方法还包含至少部分地基于所述并行地俘获的触摸输入数据和所述非触摸手势输入数据的组合确定输入命令。且所述方法进一步包含基于所述所确定的输入命令影响所述用户装置的操作。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术大体涉及用户装置接口上的交互式输入。
技术介绍
当前，例如触摸屏等具有交互式输入能力的用户装置(例如，智能电话、平板计算机、膝上型计算机等)通常具有小型屏幕。此些小型屏幕可限制交互式输入能力。举例来说，小型屏幕可能妨碍例如平稳滚动、平移、缩放等交互。触摸交互可需要用户执行重复动作以在用户装置的触摸屏上执行例如多个夹捏、选择或滚动运动等任务。此外，触摸输入可使用户装置的屏幕模糊从而使得难以看到受影响内容。因此，在此项技术中需要增强用户装置接口上的交互式输入。
技术实现思路
根据本专利技术的一或多个实施例的系统和方法提供增强型交互式输入使得触摸输入数据(例如，从利用例如手、手指等的位置或运动等控制对象执行的手势检测到)可与非触摸输入数据(其可由例如超声波传感器、图像或视频俘获能力(例如，相机)、深度传感器或类似者等传感器检测到)融合。有利地，例如显示器或屏幕等用户装置的接口的视图可保持实质上不受阻挡。根据一实施例，一种方法包括:并行地俘获用户装置的屏幕上的触摸输入数据和所述用户装置的所述屏幕外的非触摸手势输入数据；至少部分地基于所述并行地俘获的触摸输入数据和所述非触摸手势输入数据的组合确定输入命令；以及基于所确定的输入命令影响用户装置的操作。根据另一实施例，一种方法包括:在用户装置处并行地检测所述用户装置的屏幕上的触摸以及不在触摸所述用户装置的手的至少一部分的姿势和实质上在大体上平行于所述屏幕的平面中的部分的运动中的至少一者；至少部分地基于所检测触摸和所检测姿势或运动的组合确定命令；以及基于所确定的命令调节用户装置的操作。在一实施例中，所述手的所述部分包括所述手的用于触摸所述屏幕的另一部分。在另一实施例中，所述方法进一步包括在确定所述命令之前确定所述手的所述部分包括所述手的用于触摸所述屏幕的另一部分。在另一实施例中，检测所述姿势或所述运动进一步包括识别所述手的一或多个末端。在另一实施例中，所述手不同于用于触摸所述屏幕的手。在另一实施例中，所述运动包括滑动。在另一实施例中，所述运动包括旋转或扫掠。在另一实施例中，所述手的所述部分在包括屏幕和所述屏幕的垂直于所述屏幕的垂直延伸部的体积外部。在另一实施例中，检测所述触摸进一步包括检测屏幕上的多个触摸。在另一实施例中，屏幕上的触摸的位置识别所述操作或待调节的对象。在另一实施例中，检测所述触摸进一步包括检测所述触摸沿着所述屏幕的移动，其中所述确定所述命令包括至少部分地基于所检测触摸移动和所检测姿势或运动的组合确定所述命令。在另一实施例中，所检测姿势或运动包括检测到的姿势。在另一实施例中，所检测姿势或运动包括检测到的运动。在另一实施例中，所检测姿势或运动包括当所述手的所述部分处于检测到的姿势时所执行的检测到的运动。【附图说明】图1A-1C是说明根据本专利技术的实施例用于利用非触摸手势增强触摸的流程的图式。图2A-2B是说明根据本专利技术的另一实施例用于利用非触摸手势增强触摸的流程的图式。各图已经修订。图3A-3C是说明根据本专利技术的又一实施例用于利用非触摸手势增强触摸的流程的图式。图4为说明根据本专利技术的实施例利用非触摸手势增强触摸输入的方法的流程图。图5为说明根据本专利技术的实施例的用于实施装置的系统的框图。【具体实施方式】提供根据本专利技术的一或多个实施例的系统和方法用于例如经由同时多模式传感器融合增强例如触摸输入与屏幕外非触摸输入(例如，手势)等交互式输入。非触摸输入可包含利用例如手、手指等控制对象执行的例如姿势或运动等手势，其可由例如超声波传感器、图像或视频俘获能力(例如，相机)、深度传感器或类似者等传感器检测到。在这一方面，经配置以检测非触摸输入的传感器或技术可包含在用户装置或系统中和/或位于用户装置的各种表面上，(例如)在用户装置的顶部、底部、左侧、右侧和/或背后，使得例如手势等非触摸数据可在其在用户装置正前方(屏幕上)以及用户装置的屏幕的直接视线外(屏幕外)执行时被俘获到。大体来说，屏幕外非触摸输入在下文也可被称作“屏幕外手势”，其中“屏幕外手势”可指代例如手、手指、笔等控制对象的位置或运动数据，其中所述控制对象不在触摸用户装置，但接近于所述用户装置。这些“屏幕外”非触摸手势不仅可从用户装置的屏幕移除，而且其可包含控制对象的相对于装置的屏幕或显示器从装置横向偏移的一部分。举例来说，可想像在大体上垂直于显示器或屏幕的平面的方向中远离装置的显示器或屏幕延伸的体积。“屏幕外”手势可包括如下手势:执行所述手势的控制对象的至少一部分在此体积外部。举例来说，在图1A-1C和2A-2B中，用户的手指在“屏幕外”。例如触摸输入和屏幕外非触摸输入(例如，手势)等并行交互式输入可创建高级命令。在一实施例中，用户可触摸用户装置的屏幕上显示的目标项目且同时使用屏幕外手势(例如，相同手或另一只手上的手指)来调节目标项目的一方面。屏幕外非触摸手势可包含对应于调节所述目标项目的特定方面的任何合适的预定义手势。举例来说，可使用特定手运动或位置来调节设定，例如向下手运动可对应于减小屏幕的亮度设定。触摸输入感测数据和非触摸屏幕外输入感测数据(下文称为“手势输入感测数据”)可大体上并行地俘获使得这些输入感测数据集可组合以创建一个输入命令。也就是说，新颖复合命令可经启用使得输入目标与所述输入目标的可变调节可组合。应注意，在各种实施例中，在例如运动等手势开始或结束时与检测到触摸输入时之间可存在最小或可忽略的偏移。在本文的一些实施例中，触摸输入感测数据和手势输入感测数据可大体上并行地或同时俘获例如以允许触摸和手势的定时之间的较小余地。在各种实施例中，可通过检测对象的位置和移动而俘获手势输入感测数据。举例来说，例如手或手指等对象的所检测移动可与例如用户装置的显示器或屏幕等表面大体上平行或处于相同平面中，且可在屏幕外而非屏幕上方执行。由此，避免或减少对显示器或屏幕的阻挡，因此允许屏幕可见。存在可组合输入目标与可变调节的复合命令的许多实例。此些实例可包含通过使用一只或两只手调节一或多个设定，包含以下:相机:经由影响目标项目的触摸和非触摸手势选择所述目标项目，例如以调节焦点、孔径、场景模式等。举例来说，当利用相机拍摄照片时，用户可经由触摸(例如，使用例如手指、笔等对象)选择离焦照片，同时执行可在相机的一侧俘获的非触摸手势以调节所述焦点。在这一方面，因为非触摸手势可在屏幕外(例如，在相机的一侧、顶部、底部或后方)执行，所以不会从用户的视线阻挡所显示照片。此实例将在下文中根据一实施例相对于图1A-1C更详细说明。设定:经由触摸和手势选择所要设定区域或图标以调节所述设定或与所述图标相关联的设定(例如，音量、亮度等)。类似于上文描述的相机实例，用户可经由触摸选择所要设定或表示例如亮度等设定的图标，同时执行可在屏幕外俘获的非触摸手势。所述非触摸手势可对应于调节所述亮度。在各种实施例中，可触摸与可变控制相关联的任何命令图标，且随后通过例如扫掠或旋转手等手势而调节所述可变性。因此，在一些实施例中，可能不需要例如具有用于调节亮度、音量等的滑条的第二菜单。因为所述手势在屏幕外执行和俘获，所以不会从用户的视线阻挡显示器或屏幕。举例来说，用户装置可检测触摸输入，例如用户的拇指触摸表示屏幕上或用户装置的边框的一侧上的亮度本文档来自技高网...

【技术保护点】
一种用于检测交互式输入的方法，其包括：并行地俘获用户装置的屏幕上的触摸输入数据和非触摸手势输入数据，所述手势输入数据指示在从所述用户装置的所述屏幕横向偏移的区域中执行的手势；至少部分地基于所述并行地俘获的触摸输入数据和所述非触摸手势输入数据的组合确定输入命令；以及基于所述所确定的输入命令影响所述用户装置的操作。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：D·L·克鲁尔斯，F·B·麦克杜格尔，V·W·基廷，A·J·埃弗里特，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US