利用单个感测系统的基于多模式姿势的交互系统及方法技术方案

本文描述了一种用于提供与计算机化系统进行高效且互补的基于自然多模式姿势的交互的方法及系统，该计算机化系统将视觉反馈信息显示在交互表面(120)上的图形用户界面上。交互表面(120)位于包括单个感测系统(170)的成像装置的截头锥体内。该系统使用单个感测系统(170)来同时检测用户的手(240a，240b)所执行的、与交互表面(120)进行的触摸姿势交互以及在交互表面(120)上方的区域或体积(230a，230b)中的三维无接触姿势交互。当姿势已经被检测到时，这两种类型的交互与用于控制计算机化系统的交互命令在情境上相关联。该系统优选地包括投影系统(160)，该投影系统(160)用于将图形用户界面和视觉反馈显示在交互表面(120)上，投影系统可位于交互表面(120)相对于感测系统(170)的相同侧或者相对侧。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及多模式人-计算机交互系统的改进或者涉及多模式人-计算机交互系统，并且更具体地涉及一种用于利用单个感测装置(例如，被操作用于进行姿势识别的三维成像系统)来提供两种互补的交互模式的方法及系统，所述两种交互模式分别为触摸姿势交互和三维无触摸姿势交互。
技术介绍
传统的人-计算机接口包括硬件控制系统接口，诸如，键盘、鼠标、遥控器、触摸板(pads)、触摸屏和指向设备。使用这些接口，需要在硬件设备自身上通过这些设备接口所允许的方式来执行物理动作(例如，触摸、移动、握住、指向、按压、移动、点击或者甚至是按照顺序或同时一起执行的多个这些动作)，使得控制命令(诸如，所触发的二进制事件或连续值)可以被发送计算机系统，所述接口意图与该计算机系统进行交互。计算机系统通常包括图形用户界面(GUI)，该GUI包括窗口、按钮以及其他项目或元素，所有上述项一起被称为参数，这些参数被显示在屏幕上用于根据所触发并执行的控制命令来向用户提供视觉反馈；这些参数是根据传统人-计算机硬件接口的可用性和人类工程学以及针对主流显示系统的二维能力而被设计的。例如，操作系统具有基本的二维GUI窗口，该二维GUI窗口通常包括用于允许在媒体内容(诸如，地图、图像或文本框)内进行导航的滚动条，所述媒体内容的尺寸可能大于由显示屏尺寸自身的尺寸所限定的区域内所显示的图像的尺寸。使用鼠标硬件设备上的轮子或者将鼠标光标的运动与握住点击动作结合起来对与滚动条的交互进行优化。此外，传统的GUI通常包括二维按钮，当鼠标光标表示正指向所具体确定的按钮区域时，用户使用鼠标按钮点击该二
维按钮以将GUI中的内容放大或缩小。此外，传统的二维GUI还可以包括地图导航GUI交互，该地图导航GUI交互通常需要与连续的鼠标移动结合的点击，以使得地图根据鼠标移动进行滚动或者从一个地图区域变化到另一个地图区域。近来，已经对传统的二维GUI进行了开发以便于能够通过触摸和/或多重触摸控制接口(诸如，能够进行多重触摸的表面和显示屏)来进行操作。这些第二代基于触摸姿势的接口的控制命令已经被设计成允许用户使用至少一只手的至少一部分(例如，手指)来进行交互、点击、滚动或者放大和缩小，并且可以基于不同类型的硬件技术，诸如，基于电容、电阻、红外线网格、光学成像、分散的信号或声波的技术。甚至近来，已经可以获得第三代控制系统接口。这一代控制系统接口包括无接触式交互系统。这些系统还可以基于电容式运动跟踪传感器并且可以包括一种包含有电极和接口电路的系统。在现有的控制系统中使用这样的电容式传感器的主要优点是：这些电容式传感器的功耗低、能够提供无缝集成以及成本低。然而，电容式传感器仅能够进行非常近距离的无接触式交互，例如，在距离于电极的平面的0cm至10cm之间的距离内，并且仅能够同时分辨并跟踪数量非常有限的兴趣点或端点，诸如，人类的手指，通常仅能分辨并跟踪一个或两个手指。这些电容式运动跟踪传感器通常与第一代或第二代控制接口的另一交互系统(诸如，触摸屏系统)相关联，以便于能够同时进行触摸和无触摸或无接触式姿势交互。然而，这样的传感器不足以作为高效地将触摸三维姿势识别与无接触式三维姿势识别的补充，其中，控制姿势是用户在距离于交互表面接口0cm与150cm之间的不同距离处通过例如双手和多个手指(例如，6根手指)在空中执行的。这些第三代无接触式交互系统还可以基于成像系统(例如，二维或三维相机装置)的，该成像系统用于关于时间连续地捕获场景的图像，以及这些第三代无接触式交互系统还可以是基于用于确定用户在所捕获的场景内所执行的三维姿势的方法的。这样的无接触式交互系统是兼容的，以与现有的传统的硬件
接口结合(诸如，触摸屏显示器)进行使用，或者可选地通过如下方式单独地使用：通过触发与所述传统硬件接口相同、但是来自于一组经组织的三维姿势(即，在连续捕获的场景的图形内的静态姿势或动态姿势)的控制命令。在WO-A-2013/104681中描述了一种这样的多模式交互系统，该多模式交互系统利用了与另一种硬件设备交互系统的结合的基于3D相机的无触摸姿势识别系统。在该WO-A-2013/104681中，描述了一种新型手持无线远程控制设备系统。该系统可以用于提供传统的基于硬件的远程控制信号，用于和与姿势识别系统所提供的基于三维姿势的控制信号相关联的计算机系统交互。该手持无线远程控制设备包括壳体，该壳体包括感测单元并且具有能够针对相关联的计算机化系统生成或触发控制信号的至少一个控制按钮。该计算机化系统以多模式方式使用从控制设备获取的信息和从姿势识别系统获取的信息一起来解决任何歧义(例如，由于执行姿势的手或者在与该计算机化系统相关联的成像系统的视野之外的手出现遮蔽的情况)并且触发与基于姿势的交互系统的交互。按照多种模式进行操作，结合地高效使用两种不同的交互系统，并且每个交互系统都递送被用于增强来自另一方的信号，从而能够增强人计算机交互，这种情况在仅使用两种交互系统之一时不能实现。在WO-A-99/40562中描述了另一种无接触式交互系统，该无接触式交互系统使用了摄像机和计算机屏幕系统。该系统包括类似触摸屏的数据录入系统，该数据录入系统是根据包括与接近计算机屏幕的物体有关的数据的视频图形来确定的。摄像机系统被安装在计算机屏幕上方用于监测紧靠在屏幕前方的区域。图像的处理使得通过使用常见的背景移除技术能对屏幕的前景内的笔或用户的手进行探测和跟踪。使用校准处理，在校准处理中，校准点被定位成使得这些校准点覆盖大部分屏幕，校准处理利用类似于线性插值和线性外推的方法通过对所跟踪的手的位置进行虚拟空间坐标转换来生成了屏幕空间坐标。在WO-A-02/03316中，无源电容式触摸屏至少与基于立体视觉相机的无接触式交互系统相关联。通过相机所检索出的信息提高了低分辨率、温度和湿度依赖性以及低可伸缩性的电容式触摸系统的数据。基于立体视觉相机的无接触
式交互系统包括具有重叠视野的至少两个相机，所述相机包括电容式触摸屏表面。这些相机从不同的位置获取触摸表面的图像，并且当在相机所获取的图形中捕获到了指示器时，这些相机确定该指示器相对于触摸表面的精确位置。校准程序用于便于通过使用三角测量并且考虑到相机关于触摸表面的偏移角度来进行物体定位确定。这使得能够增强确定：指示器是否在给定的点处与触摸表面接触或者盘旋在接触表面上方。然而，尽管现有的人计算机交互系统能够基于触摸接口以及无触摸三维姿势接口通过与具有不同技术的至少两个感测系统(例如，与使用来自三维相机的深度信息进行操作的三维无触摸姿势识别系统相关联的电容式触摸屏)相关联的方式进行多模式交互，但是仍然没有一种用于通过与利用不同的现有技术的组合的系统相同的方式控制计算机化系统的准确、可靠、高效并且节约成本的基于多模式触摸和无触摸三维姿势的接口。此外，具有不同技术的两种感测系统与图形用户界面的集成通常受限于这些技术之一。例如，当使用用于进行触摸姿势交互的电容式显示屏时，所使用的屏幕具有主图形用户界面，并且附加的另一图形用户界面(例如，可以具有可伸缩的属性，诸如，投影系统)需要增加现有系统的复杂度和成本。同样地，将多个显示屏与多个感测系统相关联并不能提供完整的多功能且可嵌入的本文档来自技高网...

【技术保护点】
一种用于与计算机化系统进行多模式触摸和无触摸交互的方法，其中，所述多模式触摸和无触摸交互是使用来自单个感测系统的数据信息来执行的，所述单个感测系统是三维成像装置，所述方法包括如下步骤：a)对所述三维成像装置的截头锥体内的至少一个物体的至少一部分进行检测和跟踪；b)通过确定正被跟踪的所述至少一个物体的所述至少一部分是否正在执行下列项的至少一项来启动所述交互：在交互表面的预定交互区域上的预定触摸姿势，以及在与预定交互区域垂直的向量轴线上的预定交互体积中的预定无触摸三维姿势；c)通过对所述至少一个物体的所述至少一部分在所述三维成像装置的截头锥体内所执行的所述姿势进行检测和识别来与所述计算机化系统进行交互，所检测和识别的姿势为下列项中的至少一项：在所述交互表面的预定交互区域上的预定触摸姿势，以及在与预定交互区域垂直的向量轴线上的预定交互体积中的预定无触摸三维姿势。

【技术特征摘要】
【国外来华专利技术】1.一种用于与计算机化系统进行多模式触摸和无触摸交互的方法，其中，所述多模式触摸和无触摸交互是使用来自单个感测系统的数据信息来执行的，所述单个感测系统是三维成像装置，所述方法包括如下步骤：a)对所述三维成像装置的截头锥体内的至少一个物体的至少一部分进行检测和跟踪；b)通过确定正被跟踪的所述至少一个物体的所述至少一部分是否正在执行下列项的至少一项来启动所述交互：在交互表面的预定交互区域上的预定触摸姿势，以及在与预定交互区域垂直的向量轴线上的预定交互体积中的预定无触摸三维姿势；c)通过对所述至少一个物体的所述至少一部分在所述三维成像装置的截头锥体内所执行的所述姿势进行检测和识别来与所述计算机化系统进行交互，所检测和识别的姿势为下列项中的至少一项：在所述交互表面的预定交互区域上的预定触摸姿势，以及在与预定交互区域垂直的向量轴线上的预定交互体积中的预定无触摸三维姿势。2.根据权利要求1所述的方法，其中，对所述交互表面的预定交互区域上的触摸姿势的执行进行检测对应于检测正被跟踪的所述至少一个物体的所述至少一部分何时在三维空间中与所述交互表面上的预定交互区域位于空间中的同一位置。3.根据权利要1或2所述的方法，其中，检测是否已经执行触摸姿势是确定在三维空间中正被跟踪的所述至少一个物体的所述至少一部分距所述交互表面的距离何时低于预定阈值。4.根据权利要求1至3中任一项所述的方法，其中，当正被跟踪的所述至少一个物体的至少两个部分在空间中的位置到达属于所述交互表面的至少两个预定交互区域时，则确定执行了多重触摸姿势。5.根据权利要求1至4中任一项所述的方法，还包括如下步骤：根据触摸
\t姿势和多重触摸姿势的至少之一的多个相继位置和持续时间来确定触摸姿势交互控制。6.根据权利要求1至5中任一项所述的方法，还包括如下步骤：根据由正被跟踪的所述至少一个物体的所述至少一部分所执行的所述三维姿势来确定三维无触摸姿势交互控制。7.根据权利要求1至6中任一项所述的方法，其中，步骤c)还包括如下步骤：当预定事件被触发时结束所述交互，所述预定事件包括下列项中的至少一项：过了预定的时间段、识别所述交互表面上的预定触摸姿势、识别所述三维成像装置的所述截头锥体中的预定三维无触摸姿势，以及所述至少一个物体从所述三维空间中的预定体积中离开。8.根据权利要求7所述的方法，其中，步骤b)包括使用所述至少一个物体的第一被检测和跟踪的部分，以及步骤c)包括使用所述至少一个物体的第二被检测和跟踪的部分。9.根据权利要求7所述的方法，其中，通过使用一个物体的单个被检测和跟踪的部分来按照顺序控制步骤b)和c)。10.根据权利要求1至9中任一项所述的方法...

【专利技术属性】
技术研发人员：阿历山大·卡莫维彻，J·托洛，劳伦特·季格斯，
申请(专利权)人：索弗特凯耐提克软件公司，
类型：发明
国别省市：比利时;BE