一种基于改进残差神经网络的手势识别方法技术

本发明专利技术公开一种基于改进型残差神经网络的手势识别方法，包括下列步骤：S1、训练样本集的获取；S2、对训练样本集进行预处理，通过算法找出手势在图像中的位置，裁剪后作为原始训练数据；S3、训练样本增强，对采集训练样本集进行平移变换、旋转变换、镜像变换、缩放变换等，增大训练样本集；S4、手势模型获取，将处理后的训练样本集输入到预训练的残差网络中训练网络参数，得到手势识别模型；S5、将待识别手势图片进行与步骤S2相同处理，得到待识别手势数据；S6、将待识别手势数据输入到训练完成的网络中得出手势序列。本发明专利技术基于深度残差网络，在自行采集的数据集上对残差网络进行训练，实现第三视角的高识别率手势识别。

A gesture recognition method based on improved residual neural network

The invention discloses a gesture recognition method based on improved residual neural network, which includes the following steps: S1, acquisition of training sample set, S2, pre processing of training sample set, finding the position of gestures in the image by algorithm, and after cutting out as original training data; S3, training sample enhancement, training for collection and training. The sample set is carried out by translation transformation, rotation transformation, mirror image transformation, zoom transformation and so on to increase the training sample set; S4, the gesture model is obtained, and the processed training samples are input into the pre trained residual network to train the network parameters and get the gesture recognition model. S5, the same gesture picture will be identified the same as step S2. We get the gesture data to be recognized, S6, and input the gesture data into the network to get the gesture sequence. Based on the depth residual network, the invention trains residual network on self collected data sets, and achieves high recognition rate gesture recognition with third viewpoints.

【技术实现步骤摘要】
一种基于改进残差神经网络的手势识别方法
本专利技术设计图像处理
，尤其涉及一种基于改进残差网络的手势识别方法。
技术介绍
关于手势识别，手势识别作为人机交互中重要的拓展，因其较为直观、自然、易学的特点受到广泛欢迎，具有非常广泛的应用，如游戏交互中优化游戏体验、自动驾驶中交通手势识别、自动手语翻译为残疾人群提供便利。手势识别系统可分为3类：1、基于数据手套采集到的数据进行识别，MiguelSimao等人在数据手套采集到的数据下，通过基于ANN的方法用双三次插值去解决静态手势和动态手势同模型的问题达到98.7％的静态手势识别率。2、基于跟踪设备，如鼠标、手写笔。3、基于相机采集图像数据，用计算机视觉手段进行处理。PabloBarros等人通过提取手势上部分重要点识别手势，采用HMM+DTW方法实现，虽然识别率不是最高水平，但是能够做到实时性。使用数据手套和跟踪设备的方法能够在较少的训练数据下达到极高的识别正确率，但手套需连接计算机等系统才能对数据进行采集，采集到的数据格式不规范，使得系统变得复杂，用户体验也较差。基于计算机视觉的方法需要大量的数据进行训练，要求较高的计算能力，使得实时处理动态手势的难度非常高。近年来深度学习理论在计算机视觉领域发挥了巨大作用，在2012ImageNet图像识别竞赛中，深度网络以巨大优势击败了传统算法，激起了众多学者对深度网络的研究热潮，各种新型网络不断涌现，网络的性能逐步提升。基于深度残差网络(ResNet)的分类器(150层网络)以4.94％的识别错误率首次超过人类识别率。手势识别可通过设计手势分类器来实现，深度方法的发展使得手势识别主要难点的解决成为可能。大部分人采用深度学习中的CNN或RCNN对手势识别进行改进，但随着网络层数增加到一个临界点后，梯度消失和弥散问题随之而来，网络精度达到饱和后迅速下降。
技术实现思路
本专利技术的目的是为了解决现有技术中的上述缺陷，提供一种基于改进残差神经网络的手势识别方法，以解决网络精度和梯度弥散的问题，极大地提高了手势识别的精度。本专利技术的目的可以通过采取如下技术方案达到：一种基于改进残差神经网络的手势识别方法，所述的手势识别方法包括下列步骤：S1、训练样本集的获取。手势样本数据集的设计参考CIFAR-10数据集，依照增大不同手势类内变化，减小同种手势类间变化原则，采集不同光照、背景下的第三视角手势；S2、对训练样本集进行预处理。通过select、search等算法找出手势在图像中的位置，裁剪后作为原始训练数据；S3、训练样本增强。对采集训练样本集进行平移变换、旋转变换、镜像变换、缩放变换等，增大训练样本集；S4、手势模型获取。将处理后的训练样本集输入到在ImageNet上预训练的残差网络中训练网络参数，得到手势识别模型；S5、将待识别手势图片进行与步骤2相同处理，得到待识别手势数据；S6、将待识别手势数据输入到训练完成的网络中得出手势序列。进一步地，所述训练样本及待识别手势图片，包括单手的手势和双手的手势图片。进一步地，所述的一种基于改进残差神经网络的手势识别方法，其特征在于所述残差网络结构设计包括Input、Convolution、SpatialBatchNormalization、ReLU、多个BasicBlock(残差网络基本模块)、SpatialAveragePooling、FullConnection、Linear、ClassesOutput等结构，各结构依次相连。进一步地，所述的一种基于改进残差神经网络的手势识别方法，其特征在于,所述的改进残差网络模块设计包括以下结构：输入层(Input)、卷积层(Convolution)、归一化层(BatchNormal)、激活函数层(ReLU)、相加层(Addition)、输出层(Output)等结构，其中输入层、初始卷积层、归一化层、激活函数层、卷积层、归一化层依次相连接，并将结果输出至相加层，所述的输入层存在一条短接路径通向相加层，相加层的输出通向激活函数层，激活函数层的输出作为最终的输出层；所述的残差网络模块的改进是将残差网络模块的基本结构中归一化层从相加层之前改为相加层之后。进一步地，所述的残差网络的基本模块，所述输入层用于特征图(FeatureMaps)的输入；所述的初始卷积层用于对输入图像数据进行卷积；所述的残差网络用于短接前后层的特征，具体公式如下：y＝F(x,{wi})+x其中x和y分别表示残差网络的输入和输出向量。进一步地，所述的一种基于改进残差神经网络的手势识别方法，所述的手势图片划分为RGB三通道输入到网络，以3x3卷积核对输入数据进行卷积计算。进一步地，所述的一种基于改进残差神经网络的手势识别方法，所述RGB三通道输入信息经Convolution提取16个卷积特征，先经过所述SpatialBatchNormalization进行空间批量归一化，再输入到所述ReLU。进一步地，所述的一种基于改进残差神经网络的手势识别方法，残差网络输出经过SpatialAveragePooling进行空间平均池化操作后再输入全连接层。本专利技术相对于现有技术具有如下的优点及效果：1、本专利技术采用最新的深度残差网络并加以改进，增强网络前后层之间的联系，促使网络更好地提取手势特征，最终达到97.94％的分类准确率；2、本专利技术对BatchNormal层在网络中的位置进行实验比较，最终将BatchNormal层从相加层之前改为相加层之后，在加快网络收敛速度的同时提高分类的准确率；3、本专利技术充分调研现有手势数据库的优缺点，自主采集了一个全新的第三视角静态手势数据库，适用于不同的手势交互场景；4、本专利技术结合手势识别任务个体差异大特点，对原始训练数据进行包括平移、旋转、缩放、镜像在内的一系列数据增强处理，增加训练样本的多样性，确保最终模型的鲁棒性；5、本专利技术通过select、search检测算法确定手部位置，拍出背景干扰，提高分类准确率；6、本专利技术使用ImageNet上预训练的深度残差网络进行微调，减少网络训练时间的同时增加模型的泛化能力；7、本专利技术采用的手势图片输入可直接从视频中提取，也可以普通RGB图片输入，提高了用户体验，在适用上具有极高的广泛性；附图说明图1是本专利技术中公开的基于改进残差神经网络的手势识别方法流程图；图2(a)是残差神经网络的基本结构图；图2(b)是残差神经网络的改进型结构图；图3(a)是本专利技术中不同光照下采集的数据；图3(b)是本专利技术中不同角度下采集的数据；图3(c)是本专利技术中不同背景下采集的数据；图3(d)是本专利技术中不同手势的定义；图4是本专利技术中改进残差神经网络的整体网络结构图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例本实施例公开了一种基于改进残差神经网络手势识别方法，具体流程图参照附图1所示，包括下列步骤：S1、训练样本集的获取。手势样本数据集的设计参考CIFAR-10数据集，设计原则为本文档来自技高网...

【技术保护点】
一种基于改进残差神经网络的手势识别方法，其特征在于，所述的手势识别方法包括下列步骤：S1、训练样本集的获取，手势样本数据集的设计参考CIFAR‑10数据集，依照增大不同手势类内变化，减小同种手势类间变化原则，采集不同光照、背景下的第三视角手势；S2、对训练样本集进行预处理，找出手势在图像中的位置，裁剪后作为原始训练数据；S3、训练样本增强，对采集训练样本集进行平移变换、旋转变换、镜像变换、缩放变换，增大训练样本集；S4、手势模型获取，将处理后的训练样本集输入到在ImageNet上预训练的残差网络中训练网络参数，得到手势识别模型；S5、将待识别手势图片进行与步骤S2相同处理，得到待识别手势数据；S6、将待识别手势数据输入到训练完成的网络中得出手势序列。

【技术特征摘要】
1.一种基于改进残差神经网络的手势识别方法，其特征在于，所述的手势识别方法包括下列步骤：S1、训练样本集的获取，手势样本数据集的设计参考CIFAR-10数据集，依照增大不同手势类内变化，减小同种手势类间变化原则，采集不同光照、背景下的第三视角手势；S2、对训练样本集进行预处理，找出手势在图像中的位置，裁剪后作为原始训练数据；S3、训练样本增强，对采集训练样本集进行平移变换、旋转变换、镜像变换、缩放变换，增大训练样本集；S4、手势模型获取，将处理后的训练样本集输入到在ImageNet上预训练的残差网络中训练网络参数，得到手势识别模型；S5、将待识别手势图片进行与步骤S2相同处理，得到待识别手势数据；S6、将待识别手势数据输入到训练完成的网络中得出手势序列。2.根据权利要求1所述的一种基于改进残差神经网络的手势识别方法，其特征在于,所述的训练样本及所述的待识别手势图片包括单手的手势和双手的手势图片。3.根据权利要求1所述的一种基于改进残差神经网络的手势识别方法，其特征在于,所述的改进残差网络模块设计包括以下结构：输入层、卷积层、归一化层、激活函数层、相加层、输出层，其中输入层、初始卷积层、...

【专利技术属性】
技术研发人员：张鑫，林宏辉，李晨阳，郑浩东，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44