本发明专利技术提出了一种多维手势识别装置、方法、电子设备和存储介质，所述装置包括多维手势识别模块和无线通信模块；多维手势识别模块包括安装在装置左侧、顶部、右侧和中央方向的四个三维手势传感器、安装在装置中部的摄像头、安装在装置底部的红外激光器以及安装在装置内部的主控芯片；所述无线通信模块用于将识别的手势信息发送给使用者；该装置将二维手势识别与三维手势识别算法进行整合，使用三维手势辅助二维手势的识别能够有效区分出非手指的特征点并将其过滤掉。提高二维手势的准确度和整个系统的鲁棒性，减少误识别。同时该装置可以识别触发多个三维手势传感器的综合手势，能够将其识别成一组动作，提供更加丰富的可识别的用户手势。别的用户手势。别的用户手势。
【技术实现步骤摘要】
一种多维手势识别装置、方法、电子设备和存储介质
[0001]本专利技术属于手势控制
，特别是涉及一种多维手势识别装置、方法、电子设备和存储介质。
技术介绍
[0002]目前，现有技术中有多种方法进行手势识别，例如采用红外阵列模块方法进行手势识别，该方法无法识别平面内的二维手势输入，并且对三维手势的识别精度较低，红外阵列由多个红外发光二极管组成，功耗大。不便于调试维护。由于红外阵列体积较大，不便于集成。例如采用红外激光器与单目摄像头的方法，该方法无法识别空间内的三维手势输入。并且由于只能够识别二维平面内特征点的有无，而无法识别手指的抬起过程和下落过程。这就导致缺少了手势运动过程中特征点的中间过程信息。当平面内存在其他物体时，会导致手指的误识别。而红外激光器与单目摄像头方案对非手指的干扰点无法进行有效的过滤。例如采用电容传感器方案，由于该方案属于非接触式的方案，所以无法识别平面内接触式的二维手势输入。电容传感器方案对距离较远的手势识别精度低。例如Leapmotion或Kinect等深度摄像头方案，该方案需要操作系统及平台支持。对运行平台有一定硬性要求，成本较高、体积大且不易于移植。例如《一种多模式动态手势识别系统、装置及方法》中的二维与三维手势识别方案，虽然支持二维手势和三维手势两种手势识别方法。但相互之间独立，没有相互依赖关系。在识别算法上，不支持多个传感器相互协作的情况。即使单纯的增加传感器数量，例如将传感器增加到3个，也只是能够识别出3个独立的手势，而无法将这3个独立的手势整合为一个完整动作。另外，其中提出的三维手势识别没有与其二维手势识别进行综合处理。无法帮助其二维手势模块对非手指的干扰点进行过滤。并且其通信方式采用USB通信，与无线通信相比USB采用有线连接，成本较高且不够方便。
技术实现思路
[0003]本专利技术目的是为了解决现有技术中的问题，提出了一种多维手势识别装置、方法、电子设备和存储介质。
[0004]本专利技术是通过以下技术方案实现的，本专利技术提出一种多维手势识别装置，所述装置包括多维手势识别模块和无线通信模块；所述多维手势识别模块包括安装在所述装置左侧、顶部、右侧和中央方向的四个三维手势传感器、安装在所述装置中部的摄像头、安装在所述装置底部的红外激光器以及安装在所述装置内部的主控芯片；所述无线通信模块设置在所述装置内部，所述无线通信模块用于将所述多维手势识别模块识别的手势信息发送给使用者；所述主控芯片用于控制多维手势识别模块和无线通信模块的运行以及处理操作；
[0005]所述摄像头与红外激光器用来进行二维平面手势的采集；所述左侧三维手势传感器、顶部三维手势传感器和右侧三维手势传感器分别独立工作进行独立的三维手势识别，以及上述三个传感器中相邻的两个或两个以上的三维手势传感器协同工作进行多传感器协作三维手势的识别；所述中央三维手势传感器采用三维辅助二维手势识别方法进行二维
平面手势的识别。
[0006]进一步地，所述中央三维手势传感器采用三维辅助二维手势识别方法进行二维平面手势的识别，所述三维辅助二维手势识别方法能够区分出非手指点的无效特征点，因为对于平面内的非手指点，不会影响中央三维手势传感器，具体为：用户的手在进行平面的二维手势操作时，手部同时进入了中央三维手势传感器识别区域，在进行二维手势操作时会同时操作中央三维手势传感器，产生相应的三维手势，根据三维手势判断二维手势类型，如果在识别区域没有识别出任何三维手势则判定为非手指点。
[0007]进一步地，所述三维手势包括手的上、下、左、右挥动及向前靠近和向后远离六种三维手势。
[0008]进一步地，所述摄像头为单目摄像头。
[0009]进一步地，所述多传感器协作三维手势包括左上、上左、右上、上右、左上右、右上左方向的挥动手势。
[0010]本专利技术还提出一种多维手势识别装置的识别方法，包括以下步骤：
[0011]步骤1、系统硬件初始化；
[0012]步骤2、摄像头和红外激光器对用户的手部图像进行二维平面手势的采集，同时判断是否中央三维手势传感器成功识别到三维手势，如果成功识别则进入步骤3，如果识别不成功则进入步骤4；
[0013]步骤3、采用三维辅助二维手势识别方法根据识别到的三维手势进行二维平面手势的识别，如果识别成功则得到三维辅助的二维平面手势类型，执行步骤5；如果不能成功的识别为二维平面手势，则当前手势为单独的三维手势，从而得到独立的三维手势，执行步骤5；
[0014]步骤4、进行多传感器协作三维手势的识别，判断多传感器协作三维手势的识别是否成功，如果成功则得到多传感器协作的三维手势，如果不成功则该三维手势为单独的三维手势，从而得到独立的三维手势，执行步骤5；
[0015]步骤5、将步骤3或步骤4得到的手势识别结果通过无线通信模块发送给使用者。
[0016]进一步地，在除了中央三维手势传感器外的每个三维手势传感器成功识别用户的三维手势后，等待一定的时间，如果在该时间内，在当前三维手势传感器成功识别的手势的手势方向上，与当前三维手势传感器相邻的三维手势传感器也成功识别到了相同的手势，则认为这两个手势为一个多传感器协作三维手势；如果在等待的时间内，相邻的三维手势传感器没有识别出相同的手势，则当前三维手势是独立的三维手势。
[0017]本专利技术还提出一种电子设备，所述电子设备包括存储器和处理器；
[0018]所述存储器，用于存储计算机程序；
[0019]所述处理器，用于当执行所述计算机程序时被配置为执行所述多维手势识别装置的识别方法。
[0020]本专利技术还提出一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现所述多维手势识别装置的识别方法。
[0021]本专利技术的有益效果：
[0022]1、本专利技术提出的装置能够解决平面手势识别方案中，无法区分非手指点的问题。提高平面手势识别的准确性。
[0023]2、本专利技术提出的装置能够操作多个三维手势传感器协同工作，扩展更多手势。
[0024]3、本专利技术提出的装置既支持单独的二维和三维手势，又支持多传感器协作的手势。
[0025]4、本专利技术提出的装置无需操作系统支持，可独立工作，集成度高，便携性好。
[0026]5、本专利技术提出的装置采用无线通信，无需导线连接。
[0027]6、本专利技术提出的装置支持二次开发，成本低。
附图说明
[0028]图1为本专利技术所述多维手势识别装置总体框图；
[0029]图2为本专利技术所述多维手势识别装置结构示意图；
[0030]图3为本专利技术所述多维手势识别方法流程图；
[0031]图4为三维辅助二维手势识别方法流程图；
[0032]图5为三维手势识别流程图；
[0033]图6为左上挥动手势示意图；
[0034]图7为上左挥动手势示意图；
[0035]图8为右上挥动手势示意图；
[0036]图9为上右挥动手本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种多维手势识别装置，其特征在于：所述装置包括多维手势识别模块和无线通信模块；所述多维手势识别模块包括安装在所述装置左侧 、顶部、右侧和中央方向的四个三维手势传感器、安装在所述装置中部的摄像头、安装在所述装置底部的红外激光器以及安装在所述装置内部的主控芯片；所述无线通信模块设置在所述装置内部，所述无线通信模块用于将所述多维手势识别模块识别的手势信息发送给使用者；所述主控芯片用于控制多维手势识别模块和无线通信模块的运行以及处理操作；所述摄像头与红外激光器用来进行二维平面手势的采集；所述左侧三维手势传感器、顶部三维手势传感器和右侧三维手势传感器分别独立工作进行独立的三维手势识别，以及上述三个传感器中相邻的两个或两个以上的三维手势传感器协同工作进行多传感器协作三维手势的识别；所述中央三维手势传感器采用三维辅助二维手势识别方法进行二维平面手势的识别。2.根据权利要求1所述的装置，其特征在于：所述中央三维手势传感器采用三维辅助二维手势识别方法进行二维平面手势的识别，所述三维辅助二维手势识别方法能够区分出非手指点的无效特征点，因为对于平面内的非手指点，不会影响中央三维手势传感器，具体为：用户的手在进行平面的二维手势操作时，手部同时进入了中央三维手势传感器识别区域，在进行二维手势操作时会同时操作中央三维手势传感器，产生相应的三维手势，根据三维手势判断二维手势类型，如果在识别区域没有识别出任何三维手势则判定为非手指点。3.根据权利要求1或2所述的装置，其特征在于：所述三维手势包括手的上、下、左、右挥动及向前靠近和向后远离六种三维手势。4.根据权利要求1所述的装置，其特征在于：所述摄像头为单目摄像头。5.根据权利要求1所述的装置，其特征在于：所述多传感器协作三维手势包括左上、上左、右上、上右、左上右、右上左方向的挥动手势...
【专利技术属性】
技术研发人员：杜国铭，张毅，窦振龙，冯大志，
申请(专利权)人：哈尔滨拓博科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。