用于与数字设备交互的直接指向检测的系统和方法技术方案

公开了系统、方法和非暂态性计算机可读介质。例如，公开的非接触式手势识别系统包括至少一个处理器。该处理器可配置为启用向用户的第一显示信息的呈现，以提示在显示器上的至少第一位置处的第一非接触式手势。所述处理器还可配置为从至少一个图像传感器接收第一手势信息，该第一手势信息对应于与用户做出的第一非接触式手势相关的显示器上的第一手势位置，其中至少部分地由于用户的一只眼相对用户的另一只眼占优势，第一手势位置不同于第一显示信息的位置。另外，该处理器可能配置为确定与第一显示信息的位置和第一手势位置相关联的第一偏移。进一步地，该处理器可能配置为启用第二信息的呈现，以提示用户在显示器上的至少第二位置做出后续的非接触式手势。此外，该处理器可能配置为从至少一个图像传感器接收对应于用户做出的后续非接触式手势的后续手势信息。并且，该处理器可能配置为使用第一偏移确定显示器上受后续非接触式手势影响的位置。

Direct pointing detection system and method for interaction with digital devices

Systems, methods, and non transient computer readable media are disclosed. For example, the disclosed contactless gesture recognition system includes at least one processor. The processor may be configured to enable presentation of the first display information to the user to prompt a first contactless gesture at least at a first position on the display. The processor may also be configured to receive first gesture information from at least one image sensor corresponding to a first gesture position on a display associated with a first contactless gesture made by a user, wherein the first gesture position is different from the position of the first display information at least in part because one eye of the user is superior to the other eye of the user. In addition, the processor may be configured to determine a first offset associated with the location of the first display information and the location of the first gesture. Further, the processor may be configured to enable the presentation of the second information to prompt the user to make a subsequent non-contact gesture at least at a second position on the display. Further, the processor may be configured to receive subsequent gesture information corresponding to a subsequent contactless gesture made by the user from at least one image sensor. Further, the processor may be configured to use a first offset to determine a location on the display that is affected by subsequent contactless gestures.

【技术实现步骤摘要】
用于与数字设备交互的直接指向检测的系统和方法相关申请本申请要求2013年6月27日提交的申请号为61/840,447的美国临时申请的优先权，通过引用将其全部内容包括在内。
本专利技术涉及非接触式手势检测，尤其涉及用于采用传感器来检测非接触式手势的设备和计算机可读介质。
技术介绍
允许用户与设备或设备上运行的应用进行交互，这在许多不同设置中都是有用的。例如，电子系统通常包含键盘、鼠标和控制杆等，使得用户能够输入数据、操作数据，并且使得系统的处理器执行各种其它操作。然而，越来越多的触控式输入设备，比如键盘、鼠标和控制杆等，被那些允许非接触式用户交互的设备所代替或补充。例如，系统可能包括的图像传感器，该图像传感器捕获包括用户的手和/或手指等的用户图像。处理器可配置为接收该图像并基于用户执行的非接触式手势而发起操作。因此，有必要改进用于检测和输入非接触式手势的技术。
技术实现思路
在一个公开的实施例中，公开了一种非接触式手势识别系统。该非接触式手势识别系统可能包括至少一个处理器。该至少一个处理器可能被配置为，启用对用户的第一显示信息的呈现，以在显示器上的至少第一位置处提示第一非接触式手势，从至少一个图像传感器接收第一手势信息，该第一手势信息对应于与所述用户的第一非接触式手势相关联的、显示器上的第一手势位置，其中至少部分地由于用户的一只眼相对于该用户的另一只眼而言占优势，所述第一手势位置不同于所述第一显示信息的位置，确定与所述第一显示信息的位置和所述第一手势位置相关联的第一偏移，启用第二信息的呈现，以提示用户在所述显示器上的至少第二位置处做出后续非接触式手势，从至少一个图像传感器接收所述用户的后续非接触式手势对应的后续手势信息，并使用所述第一偏移确定所述显示器上受所述后续非接触式手势影响的位置。将在以下描述中的部分阐述与实施例有关的其他方面，并且从描述中可以理解本专利技术的其他方面，或者可以通过公开的实施例的实践学习本专利技术的其他方面。可以理解的是，以上整体概述和以下详细描述仅是示例性和解释性的，并非对权利要求的限制。附图说明合并在本说明书中并构成本说明书的一部分的附图，举例说明了本专利技术中的几个示例性实施例，其连同描述，用来说明本专利技术的原理。图1展示了根据一些公开实施例的非接触式用户界面系统的示例性图形表示；图2A展示了根据一些公开实施例的非接触式用户界面的示例性处理单元；图2B展示了根据一些公开实施例的系统的示例性框图；图3A展示了示例性偏移确定步骤，其可依照与本专利技术的实施例相关联的方法、系统及计算机可读介质而使用；图3B展示了手势检测和识别的示例性步骤，其可依照与本专利技术的实施例相关联的方法、系统及计算机可读介质而使用；图4展示了根据一些公开实施例的非接触式用户界面系统的示例性图形表示；图5展示了用于识别指向位置的示例性步骤，其可依照与本专利技术的实施例相关联的方法、系统及计算机可读介质而使用；图6A展示了根据一些公开实施例的非接触式用户界面系统的示例性图形表示；图6B展示了根据一些公开实施例的非接触用户界面系统的示例性图形表示；图7展示了示例性校准步骤，其可依照与本专利技术的实施例相关联的方法、系统及计算机可读介质而使用；图8展示了根据一些公开实施例的非接触式用户界面系统的示例性图形表示；图9展示了用于识别候选平面或候选区域的示例性步骤，其可依照与本专利技术的实施例相关联的方法、系统及计算机可读介质而使用；图10展示了根据一些公开实施例的示例性候选平面的维恩图(Venndiagram)；图11展示了示例性手势追踪步骤，其可依照与本专利技术的实施例相关联的方法、系统及计算机可读介质而使用；图12展示了用于确定单眼优势的示例性步骤，其可依照与本专利技术的实施例相关联的方法、系统及计算机可读介质而使用；图13展示了根据一些公开实施例的非接触式用户界面系统的示例性图形表示；图14展示了根据一些公开实施例的用户脸部的示例性图形表示；图15展示了根据一些公开实施例的用户手部的示例性图形表示；图16A展示了根据一些公开实施例的指向视觉效果的示例性图形表示；图16B展示了根据一些公开实施例的指向视觉效果的示例性图形表示；图17展示了根据一些公开实施例的非接触式用户界面系统的示例性图形表示。具体实施例以下将结合附图对本专利技术的示例性实施例进行详细描述。在可能情况下，附图所使用的相同附图标记表示相同或相似的部件。图1描绘了系统2的实施例，其用于具有显示器6的设备4的非接触操作。该设备4可能包括，例如，手机、智能眼镜、个人计算机(PC)、娱乐设备、机顶盒、电视机、移动游戏机、平板计算机、电子阅读器、便携式游戏机、笔记本电脑或超级笔记本电脑等便携式计算机、厨房电器等家用电器、通信设备、空调、坞站、移动视频游戏设备等游戏机、数码摄像头、手表、娱乐设备、扬声器、智能家居设备、媒体播放器或媒体系统、定位设备、微型投影仪或嵌入式投影仪、医学显示设备等医学设备、车辆、车载/机载资讯娱乐系统、导航系统、可穿戴设备、增强现实功能设备、可穿戴护目镜、机器人、交互式数字看板、数字亭、自动售卖机、自动柜员机(ATM)、或可从用户接收数据或向用户输出数据的任何其它设备或系统。该显示器6可能包括能够导致图形或其他视觉信息显示的任何平面、表面、或其它工具。进一步地，该显示器6可能包括将图像或视觉信息投影到平面或曲面上的任何类型的投影仪。例如，该显示器6可能包括一个或多个电视机、计算机显示器、头戴式显示器、广播参考监视器、液晶显示器(LCD)屏幕、基于发光二极管(LED)的显示器、LED背光LCD显示器、阴极射线管(CRT)显示器、电致发光(ELD)显示器、电子纸/墨水显示器、等离子显示面板、有机发光二极管(OLED)显示器、薄膜晶体管(TFT)显示器、高性能定址(HPA)显示器、表面传导电子发射显示器、量子点显示器、干涉调制器显示器、体扫描显示器、碳纳米管显示器、变焦镜显示器、发射波长显示器、激光显示器、全息显示器、光场显示器、墙壁、三维显示器、电子墨水显示器、以及用于输出视觉信息的任何其它电子设备。该显示器6可能包括触摸屏或者是触摸屏的一部分。图1描绘的显示器6是设备4的一部分。然而，在可选的实施例中，显示器6可能在设备4的外部。该系统2还可能包括图像传感器8(或从图像传感器8接收信息)，该图像传感器8位于设备4附近并且配置为获取以虚线10为界的三维(3-D)观察空间的图像。该图像传感器8可能包括任何图像采集设备，例如，摄像头、光传感器、红外线(IR)传感器、超声传感器、接近传感器、CMOS图像传感器、短波红外线(SWIR)图像传感器、或反射传感器、CCD图像传感器、反射传感器、包括三维图像传感器或两个或两个以上二维立体图像传感器的深度视频系统、以及能够感应环境的视觉特性的任何其它设备中的一个或多个。举例来说，图1描绘了与设备4相邻的图像传感器8，但在可选的实施例中，该图像传感器8可能成为该设备4的一部分或者远离设备4。位于由虚线10所指示的观察空间中的用户16可能出现在图像传感器8所获取的图像中。该图像传感器8可能输出二维的或三维的单色的、彩色的、或IR视频至处理单元12，该处理单元12可能与图像传感器8集成在一起，或者通过有线或无线通信通道连接至该图像传感器8。本专利技术的实本文档来自技高网...

【技术保护点】
1.非接触式手势识别系统，包括：至少一个处理器，其配置为：启用对用户的第一显示信息的呈现，以提示在显示器上的至少第一位置处的第一非接触式手势；从至少一个图像传感器接收第一手势信息，该第一手势信息与所述用户做出的第一非接触式手势相关、且对应于所述显示器上的第一手势位置，其中，至少部分由于所述用户的一只眼相对于该用户的另一只眼而言占优势，所述第一手势位置不同于所述第一显示信息的位置；确定与所述第一显示信息的位置和所述第一手势位置相关联的第一偏移；启用第二信息的呈现，以提示所述用户在所述显示器上的至少第二位置处做出后续的非接触式手势；从所述至少一个图像传感器接收后续手势信息，该后续手势信息对应于所述用户做出的后续非接触式手势；以及使用所述第一偏移来确定所述显示器上受所述后续非接触式手势影响的位置。

【技术特征摘要】
2013.06.27 US 61/840,4471.非接触式手势识别系统，包括：至少一个处理器，其配置为：启用对用户的第一显示信息的呈现，以提示在显示器上的至少第一位置处的第一非接触式手势；从至少一个图像传感器接收第一手势信息，该第一手势信息与所述用户做出的第一非接触式手势相关、且对应于所述显示器上的第一手势位置，其中，至少部分由于所述用户的一只眼相对于该用户的另一只眼而言占优势，所述第一手势位置不同于所述第一显示信息的位置；确定与所述第一显示信息的位置和所述第一手势位置相关联的第一偏移；启用第二信息的呈现，以提示所述用户在所述显示器上的至少第二位置处做出后续的非接触式手势；从所述至少一个图像传感器接收后续手势信息，该后续手势信息对应于所述用户做出的后续非接触式手势；以及使用所述第一偏移来确定所述显示器上受所述后续非接触式手势影响的位置。2.根据权利要求1所述的系统，其特征在于，所述第一非接触式手势和所述后续非接触式手势包括手指指向，并且所述至少一个处理器还配置为，使用来自所述至少一个图像传感器的所述第一手势信息和后续手势信息来确定在所述显示器上的指向位置。3.根据权利要求1所述的系统，其特征在于，所述至少一个处理器还配置为向目的地发送输出，反映与所述后续非接触手势相关联的所识别的手势。4.根据权利要求1所述的系统，其特征在于，至少部分地由于所述用户的一只眼相对于该用户另一只眼而言占优势，所述后续手势位置不同于所述显示器上的所述第二信息的位置。5.根据权利要求1所述的系统，其特征在于，所述至少一个处理器还配置为，通过识别第一候选指向区域和第二候选指向区域中的至少一个来确定所述第一偏移，所述第一候选指向区域是使用与所述用户的第一眼相关联的第一视线生成的，所述第二候选指向区域是使用与所述用户的第二眼相关联的第二视线生成的。6.根据权利要求1所述的系统，其特征在于，与所述第一偏移相关联的信息对应于脸上除瞳孔以外的、用作视线计算的起始点的位置，并且其中所述至少一个处理器还配置为使用所述脸上的非瞳孔位置来确定所述后续非接触式手势的意图位置。7.根据权利要求1所述的系统，其特征在于，所述至少一个处理器配置为，使用与所述第一偏差相关联的信息来确定所述后续非接触式手势在所述显示器上的意图位置。8.根据权利要求1所述的系统，其特征在于，所述至少一个处理器还配置为，通过选择第一点和第二点中的至少一个来确定所述第一手势位置，其中，所述第一点在所述显示器上的第一区域内，该第一区域与从与所述第一眼相关联的位置穿过指尖并到达所述显示器上的第一视线相关联，所述第二点在所述显示器上的第二区域内，该第二区域与从与所述第二眼相关联的第二位置穿过所述指尖并到达所述显示器上的第二视线相关联。9.根据权利要求8所述的系统，其特征在于，所述至少一个处理器还配置为，通过确定所述第一点和所述第二点附近处的至少第三点来确定所述第一手势位置。10.根据权利要求1中的系统，其特征在于，所述至少一个处...

【专利技术属性】
技术研发人员：伊泰·卡茨，
申请(专利权)人：视力移动科技公司，
类型：发明
国别省市：以色列,IL