一种基于深度卷积神经网络的3D手势识别方法及系统技术方案

本发明专利技术提供了一种基于深度卷积神经网络的3D手势识别方法及系统，其方法包括：首先利用第一个深度卷积神经网络对大量包含手部的彩色图像进行预分割提取手动作的部分；其次利用第二个深度卷积神经网络对提取的手部进行手部关节节点检测；然后利用双流深度卷积网络对检测到的关节节点进行手势的3D重建；最后构建一个包含3个全连接层的softmax网络对3D重建的手势进行识别。本发明专利技术的有益效果是：本发明专利技术所提出的技术方案能有效提高手势识别的精度；从应用范围看，该方法对象是单目相机采集的RGB图像，所需设备简单廉价，应用的场景更广。

A 3D Gesture Recognition Method and System Based on Deep Convolution Neural Network

The invention provides a 3D gesture recognition method and system based on depth convolution neural network. The method includes: firstly, the first depth convolution neural network is used to pre-segment a large number of color images containing hands to extract the part of hand action; secondly, the second depth convolution neural network is used to detect the extracted hand joint nodes; secondly, the double flow depth is used to detect the extracted hand joint nodes. Degree convolution network is used to reconstruct the 3D gestures of the detected joint nodes. Finally, a software Max network with three full connection layers is constructed to recognize the 3D reconstruction gestures. The beneficial effect of the invention is that the technical scheme of the invention can effectively improve the accuracy of gesture recognition; from the application scope, the object of the method is the RGB image collected by a monocular camera, and the required equipment is simple and cheap, and the application scene is wider.

【技术实现步骤摘要】
一种基于深度卷积神经网络的3D手势识别方法及系统
本专利技术涉及深度学习领域，尤其涉及一种基于深度卷积神经网络的3D手势识别方法及系统。
技术介绍
人类对客观世界的感知有70％由视觉获取，使用计算机代替人类对世界进行感知、语义分析和理解是计算机视觉的最终目标。手势作为人类最自然的交流方式之一，具有极强的信息表达与传递功能。而用手操作行为本身就是人与外界相互作用的主要方式。手势识别问题主要来源于新型人机相互技术的需求，是新型人机交互技术中不可或缺的重要组成部分，有着广泛的应用前景。将手势识别应用在智能家居领域，人们可以用手势来控制家电设备，用手势换台、播放音乐、玩虚拟游戏等。在医疗领域中，手势交互接口可以帮助医生在非接触条件下控制显示屏上超声或核磁共振图像中感兴趣区域的放大缩小，这对要求无菌条件的手术非常有利。尽管近几年国内外都在手势识别和姿态估计上取得了重要进展，绝大部分的方法都采用了深度相机采集的深度图像，但其应用场景和设备的要求限制了手势识别的应用范围，因此对单目摄像头采集的RGB图像进行手势、姿态识别的研究仍具有很大的挑战性。传统的手势检测基于二维彩色图像信息，根据肤色特征或者本文档来自技高网...

【技术保护点】
1.一种基于深度卷积神经网络的3D手势识别方法，其特征在于：包括以下步骤：S101：从现有开源数据集中获取第一样本数据集；并建立3D手势识别网络；所述样本数据分为第一训练数据集和第一测试数据集；所述3D手势识别网络包括：3D手势重建网络和softmax网络；S102：利用渲染合成的方法扩充所述第一训练数据集和第一测试数据集，得到扩充后的第一训练样本集和扩充后的第一测试数据集；S103：利用扩充后的第一训练数据集对所述3D手势重建网络进行训练，得到训练后的3D手势重建网络；S104：利用扩充后的第一测试数据集对训练后的3D手势重建网络进行测试，得到测试通过率x；S105：判断条件x>y是否...

【技术特征摘要】
1.一种基于深度卷积神经网络的3D手势识别方法，其特征在于：包括以下步骤：S101：从现有开源数据集中获取第一样本数据集；并建立3D手势识别网络；所述样本数据分为第一训练数据集和第一测试数据集；所述3D手势识别网络包括：3D手势重建网络和softmax网络；S102：利用渲染合成的方法扩充所述第一训练数据集和第一测试数据集，得到扩充后的第一训练样本集和扩充后的第一测试数据集；S103：利用扩充后的第一训练数据集对所述3D手势重建网络进行训练，得到训练后的3D手势重建网络；S104：利用扩充后的第一测试数据集对训练后的3D手势重建网络进行测试，得到测试通过率x；S105：判断条件x>y是否成立。若是，则到步骤S106；若否，则返回步骤S102；其中y大于0，为通过率阈值，根据经验值设定；S106：从现有开源数据集中获取第二样本数据；所述第二样本数据包括：第二训练数据集和第二测试数据集；S107：利用渲染合成的方法扩充所述第二训练数据集和第二测试数据集，得到扩充后的第二训练样本集和扩充后的第二测试数据集；S108：利用扩充后的第二训练数据集对所述3D手势识别网络进行再次训练，得到训练后的3D手势识别网络；其中，3D手势识别网络中的3D手势重建网络为训练后的3D手势重建网络；S109：利用扩充后的第二测试数据集对所述3D手势识别网络进行测试，得到测试通过率x1；S110：判断条件x1>y1是否成立。若是，则到步骤S110；否则，返回步骤S107；S111：将真实的3D手势图片数据所述训练后的3D手势识别网络，输出真实的手势识别结果。2.如权利要求1所述的一种基于深度卷积神经网络的3D手势识别方法，其特征在于：步骤S101中，所述第一样本数据集采用公开数据集立体手姿势跟踪基准StereoHandPoseTrackingBenchmark；所述第一测试数据集采用公开的德语手语数据集RWTHGermanFingerspellingDatabase。3.如权利要求1所述的一种基于深度卷积神经网络的3D手势识别方法，其特征在于：步骤S101中，所述3D手势重建网络包括顺次连接的第一深度卷积神经网络、第二深度卷积神经网络和双流深度卷积网络；利用第一深度卷积神经网络定位手动作的部分，并将其进行预分割提取手动作的部分；将提取的手动作的部分作为第二深度卷积神经网络的输入，检测手部关键特征点，输出三个检测得分图；对检测得分图进行双流深度卷积网络训练，上路预测节点的位置信息Wc，下路估计相对于实际图片的空间变换关系R，将两路结果融合得到最终的3D节点特征Wrel；利用双流深度卷积网络对检测到的关节节点进行手势的3D重建，得到重建的3D手势。4.如权利要求3所述的一种基于深度卷积神经网络的3D手势识别方法，其特征在于：所述检测得分图中，通过检测w个手关节节点，以更少量的特征点来代替整个手部，进一步减少手部的冗余信息，提高网络训练的精度；其中，w大于0，取值根据选用的第一样本数据集种类确定。5.如权利要求1所述的一种基于深度卷积神经网络的3D手势识别方法，其特征在于：步骤S103中，利用扩充后的第一训...

【专利技术属性】
技术研发人员：陈分雄，胡凯，黄华文，王典洪，蒋伟，熊鹏涛，叶佳慧，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：湖北,42