基于Kinect的多人手势人机交互方法及装置制造方法及图纸

本发明专利技术公开了一种基于Kinect的多人手势人机交互方法及装置，其中，方法包括：通过Kinect相机采集场景的彩色图像和深度图像，并获取场景内操作者的人体关节位置和面部特征参数；根据人体关节位置和面部特征参数通过光沿直线传播原理得到操作者双手对应的光标位置；根据人体关节位置在彩色图像中分割出操作者的手掌区域图像，并由预先训练的手势分类模型对操作指令进行识别分类。该方法操作自然快速，无需借助其他外接设备，并采用无接触交互方式，能应对医院，科研等特殊场景，且可以多人同时使用，满足未来更复杂的交互要求。

【技术实现步骤摘要】
基于Kinect的多人手势人机交互方法及装置
本专利技术涉及人机交互
，特别涉及一种基于Kinect的多人手势人机交互方法及装置。
技术介绍
人机交互是人与计算机间的信息交换，信息在人与计算机之间建立交互。以前的人机交互主要是以计算机为中心，例如命令行、图形用户界面等交互方式，人们只能通过键盘、鼠标、触屏等方式与计算机进行交互。现在，更多新颖且符合人类自然交互的交互形式正日益成熟，这些新技术是人与计算机之间的较量更密切，而且能提高其交互效率。人机交互也经历了由命令行、图形界面到自然用户界面的转变和发展。自然用户界面是指用户以自然的交互方式如语音、手势等与计算机进行交互。手势是人机交互中一种新型的交互方式，这种交互方式没有接触性，更符合人类的自然交互行为。目前手势识别的研究主要是基于彩色图像流，根据图像的颜色、纹理、灰度特征或运动特征来检测和跟踪目标。但是由于彩色图像只有二维的坐标信息，容易受到相应背景、光照和环境的影响，所以对于目标的检测和跟踪效果较差，难以对复杂环境下的目标进行检测和跟踪。Kinect相机是一种特殊的相机，可以同时采集场景的彩色图像和深度图像，从而得到场景的三维信息。根据获取的三维信息，可以准确的提取场景内人体关节及手势信息。现有的手势交互系统多与图形界面结合使用，但多通过静态手势识别，只能代替遥控器或键盘与菜单方式的图形界面进行交互。要代替现有最简单常用的键盘和鼠标组合语更复杂的图像界面进行交互，需要通过手势实现光标移动的功能。光标所在位置是操作者在图形界面中最关注的位置，可以通过操作者的视线和手指指向的位置反映出来。现有的交互系统多针对单人使用，在一些特殊场景下，如设计创作时，可能需要多人同时与计算机进行交互。而基于手势的交互方式，由于其不需要其它交互设备，只要在相机视野范围内即可交互，具备多人同时与计算机进行交互的条件。然而，相关技术的人机交互模式需要通过鼠标，键盘，手柄等设备，这些操控设备都可通过有线或者无线的方式连接。有线方式下，操控距离较短；无线方式下，操作略显迟钝，两种方式均不具有操控的自然性。另一种交互方式是接触式的触屏操控，目前在小尺寸的手机和平板电脑中应用最多。对于尺寸高达60英寸甚至100英寸的大型触摸屏，操作者在操作时，由于操作者离屏幕太近以至于无法看清屏幕上所有内容，使得一些基本的操作变得笨拙。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于Kinect的多人手势人机交互方法，该方法操作自然快速，无需借助其他外接设备，并采用无接触交互方式，能应对医院，科研等特殊场景，且可以多人同时使用，满足未来更复杂的交互要求。本专利技术的另一个目的在于提出一种基于Kinect的多人手势人机交互装置。为达到上述目的，本专利技术一方面实施例提出了一种基于Kinect的多人手势人机交互方法，包括以下步骤：通过Kinect相机采集场景的彩色图像和深度图像，并获取所述场景内操作者的人体关节位置和面部特征参数；根据所述人体关节位置和面部特征参数通过光沿直线传播原理得到所述操作者双手对应的光标位置；根据所述人体关节位置在所述彩色图像中分割出所述操作者的手掌区域图像，并由预先训练的手势分类模型对操作指令进行识别分类。本专利技术实施例的基于Kinect的多人手势人机交互方法，通过Kinect相机获取人体关节及面部信息，并根据操作者眼及手部位置确定操作光标位置，同时根据采集的操作者手势图像确定操作指令，从而与设备图形界面进行交互，操作自然快速，无需借助其他外接设备，并采用无接触交互方式，能应对医院，科研等特殊场景，且可以多人同时使用，满足未来更复杂的交互要求。另外，根据本专利技术上述实施例的基于Kinect的多人手势人机交互方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，还包括：获取相机坐标系、屏幕坐标系和人脸坐标系，并检测指尖和光标点。进一步地，在本专利技术的一个实施例中，还包括：检测屏幕原点位置在所述相机坐标系的位置及其方位在所述相机坐标系的旋转矩阵，并获取所述相机坐标系到所述屏幕坐标系的变换矩阵，以得到屏幕位置；获取人头部关节位置在所述相机坐标系下的位置及其方位在所述相机坐标系的旋转矩阵，并获取所述相机坐标系到所述人脸坐标系的变换矩阵，以得到人脸方向及视野。进一步地，在本专利技术的一个实施例中，所述根据所述人体关节位置和面部特征参数通过光沿直线传播原理得到所述操作者双手对应的光标位置，进一步包括：检测人指尖和鼻根在所述相机坐标系下的位置，并根据所述相机坐标系到人脸坐标系的变换矩阵与所述人指尖和鼻根在所述人脸坐标系下的坐标，以判断所述指尖是否在所述视野范围内；通过三维标定获得所述相机坐标系到所述屏幕坐标系的变换矩阵，以得到所述指尖在所述相机坐标系下的位置和所述鼻根在所述相机坐标系下的位置，并获取经过所述指尖与所述鼻根的直线在所述相机坐标系下的表示，获取经过所述指尖与所述鼻根的直线与屏幕平面的交点，及通过相机到屏幕坐标系转换矩阵得到光标在屏幕坐标系的位置，以判断光标点是否在屏幕范围内。进一步地，在本专利技术的一个实施例中，所述根据所述人体关节位置在所述彩色图像中分割出所述操作者的手掌区域图像，并由预先训练的手势分类模型对操作指令进行识别分类，进一步包括：获取操作者手掌心的在所述彩色图像中的像素位置，以所述操作者手掌心为中点分割生成预设大小的手势图像；将所述手势图像由所述人工神经网络进行分类识别，并确定手势对应的指令。为达到上述目的，本专利技术另一方面实施例提出了一种基于Kinect的多人手势人机交互装置，包括：采集模块，用于通过Kinect相机采集场景的彩色图像和深度图像，并获取所述场景内操作者的人体关节位置和面部特征参数；处理模块，用于根据所述人体关节位置和面部特征参数通过光沿直线传播原理得到所述操作者双手对应的光标位置；识别分类模块，用于根据所述人体关节位置在所述彩色图像中分割出所述操作者的手掌区域图像，并由预先训练的手势分类模型对操作指令进行识别分类。本专利技术实施例的基于Kinect的多人手势人机交互装置，通过Kinect相机获取人体关节及面部信息，并根据操作者眼及手部位置确定操作光标位置，同时根据采集的操作者手势图像确定操作指令，从而与设备图形界面进行交互，操作自然快速，无需借助其他外接设备，并采用无接触交互方式，能应对医院，科研等特殊场景，且可以多人同时使用，满足未来更复杂的交互要求。另外，根据本专利技术上述实施例的基于Kinect的多人手势人机交互装置还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，还包括：第一获取模块，用于获取相机坐标系、屏幕坐标系和人脸坐标系，并检测指尖和光标点。进一步地，在本专利技术的一个实施例中，还包括：检测模块，用于检测屏幕原点位置在所述相机坐标系的位置及其方位在所述相机坐标系的旋转矩阵，并获取所述相机坐标系到所述屏幕坐标系的变换矩阵，以得到屏幕位置；第二获取模块，获取人头部关节位置在所述相机坐标系下的位置及其方位在所述相机坐标系的旋转矩阵，并获取所述相机坐标系到所述人脸坐标系的变换矩阵，以得到人脸方向及视野。进一步地，在本专利技术的一个实施例中，所述处理模块包括：检测单元，用于检测人指尖本文档来自技高网...

【技术保护点】
1.一种基于Kinect的多人手势人机交互方法，其特征在于，包括以下步骤：通过Kinect相机采集场景的彩色图像和深度图像，并获取所述场景内操作者的人体关节位置和面部特征参数；根据所述人体关节位置和面部特征参数通过光沿直线传播原理得到所述操作者双手对应的光标位置；以及根据所述人体关节位置在所述彩色图像中分割出所述操作者的手掌区域图像，并由预先训练的手势分类模型对操作指令进行识别分类。

【技术特征摘要】
1.一种基于Kinect的多人手势人机交互方法，其特征在于，包括以下步骤：通过Kinect相机采集场景的彩色图像和深度图像，并获取所述场景内操作者的人体关节位置和面部特征参数；根据所述人体关节位置和面部特征参数通过光沿直线传播原理得到所述操作者双手对应的光标位置；以及根据所述人体关节位置在所述彩色图像中分割出所述操作者的手掌区域图像，并由预先训练的手势分类模型对操作指令进行识别分类。2.根据权利要求1所述的基于Kinect的多人手势人机交互方法，其特征在于，还包括：获取相机坐标系、屏幕坐标系和人脸坐标系，并检测指尖和光标点。3.根据权利要求2所述的基于Kinect的多人手势人机交互方法，其特征在于，还包括：检测屏幕原点位置在所述相机坐标系的位置及其方位在所述相机坐标系的旋转矩阵，并获取所述相机坐标系到所述屏幕坐标系的变换矩阵，以得到屏幕位置；获取人头部关节位置在所述相机坐标系下的位置及其方位在所述相机坐标系的旋转矩阵，并获取所述相机坐标系到所述人脸坐标系的变换矩阵，以得到人脸方向及视野。4.根据权利要求3所述的基于Kinect的多人手势人机交互方法，其特征在于，所述根据所述人体关节位置和面部特征参数通过光沿直线传播原理得到所述操作者双手对应的光标位置，进一步包括：检测人指尖和鼻根在所述相机坐标系下的位置，并根据所述相机坐标系到人脸坐标系的变换矩阵与所述人指尖和鼻根在所述人脸坐标系下的坐标，以判断所述指尖是否在所述视野范围内；通过三维标定获得所述相机坐标系到所述屏幕坐标系的变换矩阵，以得到所述指尖在所述相机坐标系下的位置和所述鼻根在所述相机坐标系下的位置，并获取经过所述指尖与所述鼻根的直线在所述相机坐标系下的表示，获取经过所述指尖与所述鼻根的直线与屏幕平面的交点，及通过相机到屏幕坐标系转换矩阵得到光标在屏幕坐标系的位置，以判断光标点是否在屏幕范围内。5.根据权利要求4所述的基于Kinect的多人手势人机交互方法，其特征在于，所述根据所述人体关节位置在所述彩色图像中分割出所述操作者的手掌区域图像，并由预先训练的手势分类模型对操作指令进行识别分类，进一步包括：获取操作者手掌心的在所述彩色图像中的像素位置，以所述操作者手掌心为中点分割生成预设大小的手势图像；将所述手势图像由所述人工神经...

【专利技术属性】
技术研发人员：陶彦博，阮松波，梁斌，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11