The invention discloses a gesture recognition method based on improved residual neural network, which includes the following steps: S1, acquisition of training sample set, S2, pre processing of training sample set, finding the position of gestures in the image by algorithm, and after cutting out as original training data; S3, training sample enhancement, training for collection and training. The sample set is carried out by translation transformation, rotation transformation, mirror image transformation, zoom transformation and so on to increase the training sample set; S4, the gesture model is obtained, and the processed training samples are input into the pre trained residual network to train the network parameters and get the gesture recognition model. S5, the same gesture picture will be identified the same as step S2. We get the gesture data to be recognized, S6, and input the gesture data into the network to get the gesture sequence. Based on the depth residual network, the invention trains residual network on self collected data sets, and achieves high recognition rate gesture recognition with third viewpoints.
【技术实现步骤摘要】
一种基于改进残差神经网络的手势识别方法
本专利技术设计图像处理
,尤其涉及一种基于改进残差网络的手势识别方法。
技术介绍
关于手势识别,手势识别作为人机交互中重要的拓展,因其较为直观、自然、易学的特点受到广泛欢迎,具有非常广泛的应用,如游戏交互中优化游戏体验、自动驾驶中交通手势识别、自动手语翻译为残疾人群提供便利。手势识别系统可分为3类:1、基于数据手套采集到的数据进行识别,MiguelSimao等人在数据手套采集到的数据下,通过基于ANN的方法用双三次插值去解决静态手势和动态手势同模型的问题达到98.7%的静态手势识别率。2、基于跟踪设备,如鼠标、手写笔。3、基于相机采集图像数据,用计算机视觉手段进行处理。PabloBarros等人通过提取手势上部分重要点识别手势,采用HMM+DTW方法实现,虽然识别率不是最高水平,但是能够做到实时性。使用数据手套和跟踪设备的方法能够在较少的训练数据下达到极高的识别正确率,但手套需连接计算机等系统才能对数据进行采集,采集到的数据格式不规范,使得系统变得复杂,用户体验也较差。基于计算机视觉的方法需要大量的数据进行训练,要求较高的计算能力,使得实时处理动态手势的难度非常高。近年来深度学习理论在计算机视觉领域发挥了巨大作用,在2012ImageNet图像识别竞赛中,深度网络以巨大优势击败了传统算法,激起了众多学者对深度网络的研究热潮,各种新型网络不断涌现,网络的性能逐步提升。基于深度残差网络(ResNet)的分类器(150层网络)以4.94%的识别错误率首次超过人类识别率。手势识别可通过设计手势分类器来实现,深度方法的发 ...
【技术保护点】
一种基于改进残差神经网络的手势识别方法,其特征在于,所述的手势识别方法包括下列步骤:S1、训练样本集的获取,手势样本数据集的设计参考CIFAR‑10数据集,依照增大不同手势类内变化,减小同种手势类间变化原则,采集不同光照、背景下的第三视角手势;S2、对训练样本集进行预处理,找出手势在图像中的位置,裁剪后作为原始训练数据;S3、训练样本增强,对采集训练样本集进行平移变换、旋转变换、镜像变换、缩放变换,增大训练样本集;S4、手势模型获取,将处理后的训练样本集输入到在ImageNet上预训练的残差网络中训练网络参数,得到手势识别模型;S5、将待识别手势图片进行与步骤S2相同处理,得到待识别手势数据;S6、将待识别手势数据输入到训练完成的网络中得出手势序列。
【技术特征摘要】
1.一种基于改进残差神经网络的手势识别方法,其特征在于,所述的手势识别方法包括下列步骤:S1、训练样本集的获取,手势样本数据集的设计参考CIFAR-10数据集,依照增大不同手势类内变化,减小同种手势类间变化原则,采集不同光照、背景下的第三视角手势;S2、对训练样本集进行预处理,找出手势在图像中的位置,裁剪后作为原始训练数据;S3、训练样本增强,对采集训练样本集进行平移变换、旋转变换、镜像变换、缩放变换,增大训练样本集;S4、手势模型获取,将处理后的训练样本集输入到在ImageNet上预训练的残差网络中训练网络参数,得到手势识别模型;S5、将待识别手势图片进行与步骤S2相同处理,得到待识别手势数据;S6、将待识别手势数据输入到训练完成的网络中得出手势序列。2.根据权利要求1所述的一种基于改进残差神经网络的手势识别方法,其特征在于,所述的训练样本及所述的待识别手势图片包括单手的手势和双手的手势图片。3.根据权利要求1所述的一种基于改进残差神经网络的手势识别方法,其特征在于,所述的改进残差网络模块设计包括以下结构:输入层、卷积层、归一化层、激活函数层、相加层、输出层,其中输入层、初始卷积层、...
【专利技术属性】
技术研发人员:张鑫,林宏辉,李晨阳,郑浩东,
申请(专利权)人:华南理工大学,
类型:发明
国别省市:广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。