人机交互系统和方法技术方案

提供了一种人机交互系统和人机交互方法，所述人机交互系统包括：图像获取设备，用于获取图像数据；人机交互处理设备，根据从图像数据检测的用户的多种类型的动作和姿态来确定用户想要进行的交互操作；显示设备，显示与交互操作的结果对应的显示屏幕。本发明专利技术可以利用多种运动检测方式的组合来进行人机交互操作，从而在不需要额外的输入装置的情况下，降低人机交互操作识别的模糊度，提高人机交互操作的准确性。

【技术实现步骤摘要】
人机交互系统和方法本申请是申请日为2012年11月7日，申请号为“201210440197.1”专利技术名称为“人机交互系统和方法”的专利技术专利申请的分案申请。
本专利技术涉及计算机视觉和模式识别领域，更具体地，涉及一种非接触的、自然的远距离人机交互(HCI)系统和方法。
技术介绍
基于计算机视觉技术的人机交互方式可通过各种图像获取和处理方法来视觉地获取用户输入。基于计算机视觉技术的人机交互方式成为了新一代人机交互技术的热门话题，尤其在休闲娱乐的人机交互方面得到了广泛的应用。在这种交互方式下，可通过用户的身体姿态、头部姿态、视线或人体动作来与计算机进行交互，从而可以使用户从传统的键盘、鼠标等的输入方式中解脱，得到前所未有的人机交互体验。目前提出了多种基于计算机视觉的人机交互方式。在一种现有的人机交互方式中，可通过使用触摸输入和三维(3D)手势输入来产生、修改和操作3D物体。在另一种方法中，可通过人体姿态检测来与虚拟用户界面进行交互。然而，现有的人机交互设备和方法所利用的运动检测的类型较为单一，通常需要基于触摸的输入装置并且需要用户记住大量的规定动作来执行交互。由于手势、姿势以及深度感应范围的原因，通常需要进行预处理或各种手动操作，例如，需要校准各种传感器，预先定义交互空间等。这使用户感到不方便。因此，需要一种能够利用多种运动检测方式且不依赖于附加的输入装置的人机交互方式。
技术实现思路
根据本专利技术的一方面，提供了一种人机交互系统，包括：图像获取设备，用于获取图像数据；人机交互处理设备，根据从图像数据检测的用户的多种类型的动作和姿态来确定用户想要进行的交互操作；显示设备，显示与交互操作的结果对应的显示屏幕。根据本专利技术的一方面，人机交互处理设备包括：运动检测模块，从图像数据中检测用户的多种类型的动作和姿态；交互确定模块，根据运动检测模块检测的用户的多种类型的动作和姿态来确定用户想要将要进行的交互操作，并向显示控制模块发出相应的显示操作指令；显示控制模块，根据交互确定模块确定的指令控制显示设备在显示屏幕上显示相应的交互操作。根据本专利技术的一方面，运动检测模块包括：视线捕捉模块，用于从图像数据中检测用户的视线方向；姿态追踪模块，用于在图像数据中追踪和识别用户身体各部分的姿态和动作。根据本专利技术的一方面，视线捕捉模块通过从图像数据中检测用户的头部的俯仰方向和偏转方向来确定用户的视线方向。根据本专利技术的一方面，姿态追踪模块在图像数据中追踪和检测用户的手的节点以确定用户的手的运动和手势，并检测用户的身体骨骼节点以确定用户身体各部分的姿态动作。根据本专利技术的一方面，交互确定模块根据视线捕捉模块检测的用户的视线方向和姿态追踪模块识别的用户的手的姿态来确定是否开始交互操作。根据本专利技术的一方面，如果确定用户的视线方向和用户的手的指示方向均指向显示屏幕上的显示项超过预定时间，则交互确定模块确定开始对该显示项进行交互操作。根据本专利技术的一方面，如果确定用户的视线方向和用户的手的指示方向均未指向显示项，则交互确定模块确定停止对该显示项进行交互操作。根据本专利技术的一方面，当用户靠近图像获取设备时，姿态追踪模块追踪和识别用户的手指动作以识别用户的手势，当用户远离图像获取设备时，姿态追踪模块追踪和识别用户的手臂的动作。根据本专利技术的一方面，人机交互处理设备还包括：自定义姿势注册模块，用于注册与用户自定义的姿势动作对应的交互操作命令。根据本专利技术的另一方面，提供了一种人机交互方法，包括：获取图像数据；根据从图像数据检测的用户的多种类型的动作和姿态来确定用户想要进行的交互操作；显示与交互操作的结果对应的显示屏幕。根据本专利技术的另一方面，确定交互操作的步骤包括：从图像数据中检测用户的多种类型的动作和姿态；根据检测的用户的多种类型的动作和姿态来确定将要进行的交互操作，并发出与交互操作对应的显示操作指令；根据确定的指令控制显示设备在显示屏幕上显示相应的交互操作。根据本专利技术的另一方面，检测用户的多种类型的动作和姿态的步骤包括：从图像数据中检测用户的视线方向；追踪和识别用户身体各部分的姿态动作。根据本专利技术的另一方面，通过从图像数据中检测用户的头部的俯仰方向和偏转方向来确定用户的视线方向。根据本专利技术的另一方面，通过在图像数据中追踪和检测用户的手的节点以确定用户的手的运动和手势，并通过从图像数据中检测用户的身体骨骼节点以确定用户身体各部分的姿态动作。根据本专利技术的另一方面，根据检测的用户的视线方向和姿态追踪模块识别的用户的手的姿态来确定是否开始交互操作。根据本专利技术的另一方面，如果确定用户的视线方向和用户的手的指示方向均指向显示屏幕上的显示项超过预定时间，则确定开始对该显示项进行交互操作。根据本专利技术的另一方面，如果确定用户的视线方向和用户的手的指示方向均未指向显示项，则确定停止对该显示项进行交互操作。根据本专利技术的另一方面，当用户靠近图像获取设备时，追踪和识别用户的手指动作以识别用户的手势，当用户远离图像获取设备时，识别用户的手臂的动作。根据本专利技术的另一方面，确定交互操作的步骤还包括：确定与注册的用户自定义的姿势动作对应的交互操作。附图说明通过下面结合示例性地示出实施例的附图进行的描述，本专利技术的上述和其他目的和特点将会变得更加清楚，其中：图1是示出根据本专利技术实施例的人机交互系统和用户进行互动的示意图；图2是示出根据本专利技术实施例的人机交互系统的人机交互处理设备的结构框图；图3是示出根据本专利技术另一实施例的开始或停止人机交互操作姿态的示意图；图4是示出根据本专利技术实施例的人机交互方法的流程图；图5是示出根据本专利技术实施例的人机交互方法进行菜单操作的流程图；图6是示出根据本专利技术实施例的人机交互方法进行3D显示目标的交互操作的流程图；图7是示出根据本专利技术实施例的人机交互方法进行手写操作的流程图。具体实施方式现将详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本专利技术。图1是示出根据本专利技术实施例的人机交互系统和用户进行互动的示意图。如图1所示，根据本专利技术实施例的人机交互系统包括图像获取设备100、人机交互处理设备200和显示设备300。图像获取设备100用于获取图像数据，图像数据可具有深度特征和颜色特征。图像获取设备100可以是能够拍摄深度图像的装置，例如，深度相机。人机交互处理设备200用于对图像获取设备100获取的图像数据进行分析，从而识别出用户的姿态和动作并对用户的姿态和动作进行解析。然后，人机交互处理设备200根据解析的结果控制显示设备300进行对应的显示。显示设备300可以是诸如电视机(TV)，投影仪的设备。这里，如图1所示，人机交互处理设备200可根据检测到的用户的多种类型的动作和姿态来确定用户想要进行的交互操作。例如，用户可在注视显示设备300所显示的内容中的多个对象(例如，图1中所示的OBJ1、OBJ2和OBJ3)中的某个特定对象(OBJ2)的同时，用手指指向该特定对象，从而开始交互操作。也就是说，人机交互处理设备200可检测用户的视线方向、手势和身体各部分的动作和姿势。用户还可通过移动手指来对显示的某个特定对象进行操作，例如，改变该对象的显示位置。同时，用户还可移动身体的某个部位(例如，手本文档来自技高网...

【技术保护点】
1.一种人机交互系统，包括：图像获取设备，用于获取图像数据；视线捕捉模块，通过从图像数据中检测用户的头部的姿势来确定用户的视线方向；姿态追踪模块，用于在图像数据中追踪和识别用户的身体部件的指示方向；交互确定模块，基于用户的视线方向和用户的身体部件的指示方向均指向显示项来确定交互操作的开始。

【技术特征摘要】
1.一种人机交互系统，包括：图像获取设备，用于获取图像数据；视线捕捉模块，通过从图像数据中检测用户的头部的姿势来确定用户的视线方向；姿态追踪模块，用于在图像数据中追踪和识别用户的身体部件的指示方向；交互确定模块，基于用户的视线方向和用户的身体部件的指示方向均指向显示项来确定交互操作的开始。2.根据权利要求1所述的人机交互系统，其中，所述交互确定模块：响应于确定用户的视线方向和用户的身体部件的指示方向中的至少一个仍指向显示项来保持交互操作，响应于确定用户的视线方向和用户的身体部件的指示方向均未指向显示项来停止交互操作。3.如权利要求1所述的人机交互系统，其中，姿态追踪模块还用于在图像数据中追踪和识别用户身体各部分的姿态和动作。4.如权利要求3所述的人机交互系统，其中，姿态追踪模块在图像数据中追踪和检测用户的手的节点以确定用户的手的运动和手势，并检测用户的身体骨骼节点以确定用户身体各部分的姿态动作。5.如权利要求4所述的人机交互系统，其中，交互确定模块还根据用户身体各部分的姿态和动作来...

【专利技术属性】
技术研发人员：孙迅，陈茂林，
申请(专利权)人：北京三星通信技术研究有限公司，三星电子株式会社，
类型：发明
国别省市：北京,11