基于深度信息的手势识别方法及系统技术方案

本发明专利技术揭示了一种基于深度信息的手势识别方法及系统，所述方法包括：训练人体部件响应的CNN模型，输入摄像头读取的图像，通过训练的模型预测，得到人体上半身部件响应图，从而判断手的位置，并分割手部位置图片；训练基于手部关节点的CNN模型，实现端到端的关节点定位；将上述分割的手部位置图片预处理并输入模型中进行关节点位置预测，并拟合成手势；计算手指关节点位置与手掌中心位置的距离，判断与位置关系相匹配的手势。本发明专利技术提出的基于深度信息的手势识别方法及系统，可在复杂场景下，读取深度信息，通过识别手势与显示器进行交互。

Gesture Recognition Method and System Based on Depth Information

The invention discloses a gesture recognition method and system based on depth information. The method includes: training CNN model of human body parts response, inputting image read by camera, obtaining response map of upper body parts of human body through training model prediction, thereby judging the position of hand and separating the position picture of hand parts; training CNN model based on hand joint points, realizing end-to-end. The position of the joint points at the end of the hand is located; the image of the segmented hand position is preprocessed and input into the model to predict the position of the joint points and fit into gestures; the distance between the position of the finger joint points and the position of the center of the palm is calculated, and the gestures matching the position relationship are judged. The method and system of gesture recognition based on depth information proposed by the invention can read depth information in complex scenes and interact with the display by recognizing gesture.

【技术实现步骤摘要】
基于深度信息的手势识别方法及系统
本专利技术属于图像处理与智能交互
，涉及一种基于深度信息的手势识别方法及系统。
技术介绍
随着科学技术的发展，人机交互的研究与应用受到越来越多的学者关注。其中，手势识别作为人机交互的一个主要分支，是人机交互领域的重要研究课题之一。手势交互对于使用者而言具有便捷、交互性强、表达内容丰富等优点，一直是人机交互方式的首要选择。在深度摄像头普及之前，手势识别多采用二维RGB图像输入，容易受到复杂背景的干扰，准确性不能达到理想的交互效果。有鉴于此，如今迫切需要设计一种新的手势识别方式，以便克服现有手势识别方式存在的上述缺陷。
技术实现思路
本专利技术提供一种基于深度信息的手势识别方法及系统，可在复杂场景下，读取深度信息，通过识别手势与显示器进行交互。为解决上述技术问题，根据本专利技术的一个方面，采用如下技术方案：一种基于深度信息的手势识别方法，所述方法包括：步骤S1、设置深度摄像头读取深度图像的深度空间范围,并读取图像；步骤S2、训练人体部件响应的卷积神经网络CNN模型，输入摄像头读取的图像，通过训练的模型预测，得到人体上半身部件响应图，从而判断手的位置，并分割手部位置图片；步骤S3、训练基于手部关节点的卷积神经网络CNN模型，实现端到端的关节点定位；步骤S4、将步骤S2中分割的手部位置图片预处理并输入模型中进行关节点位置预测，并拟合成手势；步骤S5、计算手指关节点位置与手掌中心位置的距离，判断与位置关系相匹配的手势。作为本专利技术的一种实施方式，首先对手部关节点空间特征进行提取并对位置进行迭代优化，结合多尺度特征进行训练，对手部的关节点位置进行最终确定，并在全连接层中对关节点进行匹配连接，拟合完整的手部结构。作为本专利技术的一种实施方式，所述步骤S3中的卷积神经网络CNN模型，采用多尺度图像输入，将上一个尺度提取出的关节点位置作为空间特征合并当前尺度提取出的图像特征，求出新的关节点位置向量，并作为新的空间特征合并下一尺度的特征图，通过回归函数得到关节点位置，并匹配连接成手势：pt＝R(pt-1，F)其中，pt-1表示上一尺度的图像空间特征，F表示当前尺度的图像特征，pt表示当前图像手部关节点位置。作为本专利技术的一种实施方式，步骤S3中，通过6个5X5卷积层，3个池化层提取图像特征，卷积前填充2行边缘像素，使提取出的特征图宽高与输入图像宽高相同；对图像特征提取兴趣区域，对每个兴趣区域在全连接层中通过回归函数得到关节点位置，将关节点位置返回兴趣区域，形成空间特征图。作为本专利技术的一种实施方式，兴趣区域按图像的4个边角位置为起点提取，分别截取特征图像的2/3大小的宽与高，能包含手部的全部图像信息；此处2/3将截取的图像与下一尺度图像尺寸匹配合并；特征合并为在截取的四个区域图像上得到关节点位置空间特征与下一尺度的图像特征合并。作为本专利技术的一种实施方式，步骤S5中，将步骤S3中得到的各个关节点位置坐标提取出来，计算5个手指的顶点位置与手掌关节点的距离dj，j表示当前手指类别，并设置一个阈值σ，当dj<σ认为手指为弯曲状态，否则为伸展状态。作为本专利技术的一种实施方式，所述方法还包括步骤S6、在显示器屏幕中间初始化一个手的图标，通过手掌中心关节点控制图标的移动，通过手势实现图标对显示器的操作。作为本专利技术的一种实施方式，步骤S6中，当步骤S2中分割到手部图像时，在显示器屏幕中心位置初始化一个图标，通过手掌中心点的坐标位置移动控制图标的移动；通过手势控制图标实现对屏幕中物体的拾取，移动操作。作为本专利技术的一种实施方式，所述步骤S2包括：步骤S21：先对原始深度图像进行卷积得到10个响应点(9个上半身部件以及1个背景)的空间信息响应图score1，并在下一步作为空间信息输入。步骤S22：将人体关节点位置的空间特征与深度图像特征，以及中心约束响应图合并成一组特征图作为输入，卷积得到关节位置的score2响应图作为下一步的空间信息的输入。步骤S23：输入的深度特征选用步骤S22中的中间层特征图，并与步骤S22的空间信息图以及中心约束合并，卷积层中计算得到空间部件响应图；以此类推，在下一步得到关于半身关节点的响应输出。作为本专利技术的一种实施方式，所述步骤S3中，3D手部关节点定位包括：步骤S31：将得到的手部位置裁剪出来，并做归一化处理；送入6个conv层，3个pooling层的CNN模型中得到相应的Feature；步骤S32：在最后一层卷积层中采用FastR-CNN的方法提取出ROI区域，将FeatureMaps以图像的4个边角位置为起点，截取图像2/3宽高比，将图像分成4个区域；步骤S33：在每个区域上将回归函数得到的手的关节点的位置进行集成，最后将集成的各区域关节点在全连接层中进行连接，形成空间特征；步骤S34：这种方法回归集成得到的手的关节点位置容易出现小范围误差偏移的情况，对提取出的关节点3D位置进行优化处理，得到更精确的关节点位置；步骤S35：将得到的关节点位置信息作为关节的空间特征与96X96的图像的FeatureMaps合并，形成新的特征，进行关节点位置的重新定位，对关节点位置重复步骤S33。一种基于深度信息的手势识别系统，所述系统包括：人体部件响应CNN模型训练模块，用以训练人体部件响应的卷积神经网络CNN模型，输入摄像头读取的图像，通过训练的模型预测，得到人体上半身部件响应图，从而判断手的位置，并分割手部位置图片；手部关节点CNN模型训练模块，用以训练基于手部关节点的卷积神经网络CNN模型，实现端到端的关节点定位；关节点位置预测模块，用以将所述人体部件响应CNN模型训练模块分割的手部位置图片预处理并输入基于手部关节点的CNN模型中进行关节点位置预测，并拟合成手势；手势识别模块，用以计算手指关节点位置与手掌中心位置的距离，判断与位置关系相匹配的手势。本专利技术的有益效果在于：本专利技术提出的基于深度信息的手势识别方法及系统，可在复杂场景下，读取深度信息，通过识别手势与显示器进行交互。深度摄像头捕获深度图像可以提取物体的深度信息，同时可以避免光照、环境等因素的影响，提取深度上下文信息，结合卷积神经网络训练模型，使手势识别达到实际应用的要求。附图说明图1为本专利技术一实施例中基于深度信息的手势识别方法的流程图。图2为本专利技术一实施例中基于深度信息的手势识别方法的流程图。图3为本专利技术一实施例中手部特征提取ConvNet的流程图。图4为本专利技术一实施例中CNN模型结构图。图5为本专利技术一实施例中基于深度信息的手势识别系统的组成示意图。具体实施方式下面结合附图详细说明本专利技术的优选实施例。为了进一步理解本专利技术，下面结合实施例对本专利技术优选实施方案进行描述，但是应当理解，这些描述只是为进一步说明本专利技术的特征和优点，而不是对本专利技术权利要求的限制。该部分的描述只针对几个典型的实施例，本专利技术并不仅局限于实施例描述的范围。相同或相近的现有技术手段与实施例中的一些技术特征进行相互替换也在本专利技术描述和保护的范围内。本专利技术揭示了一种基于深度信息的手势识别方法，图1为本专利技术一实施例中基于深度信息的手势识别方法的流程图；请参阅图1，在本专利技术的一实施例中，所述方法包括：步骤S1、设置深度摄像头读取深度图像的深度空间范围,并读取图像；步骤S2、训本文档来自技高网...

【技术保护点】
1.一种基于深度信息的手势识别方法，其特征在于，所述方法包括：步骤S1、设置深度摄像头读取深度图像的深度空间范围,并读取图像；步骤S2、训练人体部件响应的卷积神经网络CNN模型，输入摄像头读取的图像，通过训练的模型预测，得到人体上半身部件响应图，从而判断手的位置，并分割手部位置图片；步骤S3、训练基于手部关节点的卷积神经网络CNN模型，实现端到端的关节点定位；步骤S4、将步骤S2中分割的手部位置图片预处理并输入基于手部关节点的CNN模型中进行关节点位置预测，并拟合成手势；步骤S5、计算手指关节点位置与手掌中心位置的距离，判断与位置关系相匹配的手势。

【技术特征摘要】
1.一种基于深度信息的手势识别方法，其特征在于，所述方法包括：步骤S1、设置深度摄像头读取深度图像的深度空间范围,并读取图像；步骤S2、训练人体部件响应的卷积神经网络CNN模型，输入摄像头读取的图像，通过训练的模型预测，得到人体上半身部件响应图，从而判断手的位置，并分割手部位置图片；步骤S3、训练基于手部关节点的卷积神经网络CNN模型，实现端到端的关节点定位；步骤S4、将步骤S2中分割的手部位置图片预处理并输入基于手部关节点的CNN模型中进行关节点位置预测，并拟合成手势；步骤S5、计算手指关节点位置与手掌中心位置的距离，判断与位置关系相匹配的手势。2.根据权利要求1所述的基于深度信息的手势识别方法，其特征在于：所述步骤S3中，首先对手部关节点空间特征进行提取并对位置进行迭代优化，结合多尺度特征进行训练，对手部的关节点位置进行最终确定，并在全连接层中对关节点进行匹配连接，拟合完整的手部结构。3.根据权利要求1所述的基于深度信息的手势识别方法，其特征在于：所述步骤S3中的卷积神经网络CNN模型，采用多尺度图像输入，将上一个尺度提取出的关节点位置作为空间特征合并当前尺度提取出的图像特征，求出新的关节点位置向量，并作为新的空间特征合并下一尺度的特征图，通过回归函数得到关节点位置，并匹配连接成手势：pt＝R(pt-1，F)其中，pt-1表示上一尺度的图像空间特征，F表示当前尺度的图像特征，pt表示当前图像手部关节点位置。4.根据权利要求3所述的基于深度信息的手势识别方法，其特征在于：步骤S3中，通过6个5X5卷积层，3个池化层提取图像特征，卷积前填充2行边缘像素，使提取出的特征图宽高与输入图像宽高相同；对图像特征提取兴趣区域，对每个兴趣区域在全连接层中通过回归函数得到关节点位置，将关节点位置返回兴趣区域，形成空间特征图。5.根据权利要求4所述的基于深度信息的手势识别方法，其特征在于：兴趣区域按图像的4个边角位置为起点提取，分别截取特征图像的2/3大小的宽与高，能包含手部的全部图像信息；此处2/3将截取的图像与下一尺度图像尺寸匹配合并；特征合并为在截取的四个区域图像上得到关节点位置空间特征与下一尺度的图像特征合并。6.根据权利要求1所述的基于深度信息的手势识别方法，其特征在于：步骤S5中，将步骤S3中得到的各个关节点位置坐标提取出来，计算5个手指的顶点位置与手掌关节点的距离dj，j表示当前手指类别，并设置一个阈值σ，当dj<σ认为手指为弯曲状态，否则为伸展状态。7.根据权利要求1所述的基于深度信息的手势识别方法，其特征在于：所述方法还包括步骤S6、在显示器屏幕中间初始化一个手的图标，通...

【专利技术属性】
技术研发人员：朱志林，方勇，
申请(专利权)人：上海易维视科技股份有限公司，
类型：发明
国别省市：上海,31