一种基于多级深度卷积神经网络的手势识别方法技术

本发明专利技术提供了一种基于多级深度卷积神经网络的手势识别方法，属于计算机和信息技术领域。该方法包括：(1)把当前人体图像I送入人体态势感知DNN；所述人体图像I为人体bmp位图数据；(2)判断人体是否处于操作态势，若是，转步骤(3)，若不是，转步骤(1)；(3)把输入手势g同时送往DNN混合模型群进行并行识别，得到识别结果O1,O2,…,ON，其中，N是混合模型群中DNN的个数；(4)用二分类DNN模型群对步骤(3)得到的每个Oi进行再识别，得到识别结果Y_1,Y_2,…,Y_N；(5)对步骤(4)得到的Y_1,Y_2,…,Y_N进行评价，得到识别结果g′；(6)对g′进行误判识别，并对误判手势进行自动纠正，得到手势g″；(7)输出结果g″。

【技术实现步骤摘要】

本专利技术属于计算机和信息
，具体涉及一种基于多级深度卷积神经网络的手势识别方法。
技术介绍
深度学习神经网络能够非常有效地从大量有标签数据中深度提取数据的特征信息，充分挖掘数据的内在属性和有价值的表征数据。而深度学习的学习能力却异常强大，即使是复杂低分辨率图像也能够很好的提取出目标深度特征。基于DNN((DeepNeuralNetworks,简称DNN))的手势识别所需的图像背景并不需要固定，方法甚至在一定范围内允许运动背景的存在，从而提高了识别的环境耐受力和精细度。手部有非常多的关节，需要非常强的识别能力才可以准确的识别每个精细动作,而深度学习模型的多隐藏层结构使得模型能有效利用海量数据进行训练，所使用数据越多模型性能越高。在同一个手势库中，如果手势类型比较多，无论是基于传统特征检测的手势识别方法还是基于DNN机器学习算法，识别率的提高都极具挑战性。主要原因是：(1)存在大量相似性手势；(2)手势本身具有柔性，使得即使是同一个手势往往也会有差别比较大的图像特征；(3)受光线的影响，手势图像本身噪声干扰往往比较大，使得手势图像的分割误差比较大。这些原因导致手势识别率的提高极具挑战性，尤其是在手势类型多的条件下。
技术实现思路
本专利技术的目的在于解决上述现有技术中存在的难题，提供一种基于多级深度卷积神经网络的手势识别方法，提高手势识别的精确度。本专利技术是通过以下技术方案实现的：一种基于多级深度卷积神经网络的手势识别方法，包括：(1)把当前人体图像I送入人体态势感知DNN；所述人体图像I为人体bmp位图数据；(2)判断人体是否处于操作态势，若是，转步骤(3)，若不是，转步骤(1)；(3)把输入手势g同时送往DNN混合模型群进行并行识别，得到识别结果O1,O2,…,ON，其中，N是混合模型群中DNN的个数；(4)用二分类DNN模型群对步骤(3)得到的每个Oi进行再识别，得到识别结果Y_1,Y_2,…,Y_N；(5)对步骤(4)得到的Y_1,Y_2,…,Y_N进行评价，得到识别结果g′；(6)对g′进行误判识别，并对误判手势进行自动纠正，得到手势g″；(7)输出结果g″。所述步骤(3)中的输入手势g是这样实现的：把人手从背景中分割出来，即将每个帧的图像分别与背景图像相减，得到输入手势g。所述步骤(3)中的DNN混合模型群是这样实现的：把不同手势构成的手势数据库Big_DataSet分为不同的子库，分别在各个子库上独立训练DNN模型，得到DNN混合模型群。所述步骤(3)中的并行识别是这样实现的：将同一个手势同时输入到不同的DNN模型独立地进行识别，得到识别结果O1,O2,…,ON，其中，N是混合模型群中DNN的个数。所述步骤(4)中的二分类DNN模型群这样实现的：对每一个手势训练出一个DNN模型，但该模型只进行二分识别，即当且仅当二分DNN模型的判断结果表示其输入手势就是该手势时，其输出结果才为1。所述步骤(5)是这样实现的：对Y_1,Y_2,…,Y_N这N个输出结果，选择其值为1所对应的手势即为识别结果g′。所述步骤(6)是这样实现的：(61)将g设为输入手势i，g′设为输出手势j，计算输入手势i和输出手势j的特征误差δi，j；(62)如果||δi，j||≤σ1且||pi，j||＜σ2，则判定输出手势j是正确的；其中，pi,j表示手势i被误识为手势j的概率，该值可以通过统计等常规概率分析方法得到。(63)判定j是错误的，则i一定是正确的。σ1、σ2是经验值，通过实验得到合适的值。所述步骤(61)采用下式计算输入手势i与输出手势j的特征误差δi，j：δi，j＝||Feature-Map(i)-Feature-Map(j)||(1)其中，Feature-Map(i)表示手势i的DNN模型中最后一个池化层的图像特征向量，该特征向量是这样组成的：把所述池化层图像从上到下、从左到右依次组装成一个一维向量。与现有技术相比，本专利技术的有益效果是：(a)通过把容易误识的手势分散到不同的手势类集合中，有效地避免了相似手势对识别结果的干扰，确保在初次识别中可以把正确的手势筛选出来。(b)采用二分DNN模型验证每一个筛选出来的手势与方法的输入手势是否是同一个手势，可以有效排除柔性或形变手势的干扰，排除图像分割误差的干扰，准确感知或识别输入手势。(c)与现有方法不同，提出检测错误手势和自动修正错误手势的方法，确保手势识别率。方法能够自动评价检测结果，自动检测识别结果的正确与错误，是本专利技术方法的重要特点之一。(d)由于采用多层次、多数据库、多DNN模型以及大数据等技术，使得系统在识别率、时间开销等总体性能方面达到综合平衡。附图说明图1本专利技术方法的步骤框图；图2DNN结构图。具体实施方式下面结合附图对本专利技术作进一步详细描述：本专利技术将庞大的手势库分布在不同的子库中，将区别特征大的手势放在同一个子库中，将区别特征小的手势放在不同的子库中。通过反复训练每个深度神经网络，使得每个DNN对于相应子库的识别率达到最高；再通过采用多库并行识别和融合技术，筛选出错误识别的手势；进一步根据无法识别的手势反复调整手势在各个子库之间的分布，直到手势的整体识别率达到预期目标为止(图1)。本专利技术通过多层次、自分布多数据库、多DNN模型以及大数据等技术确保大规模手势类型的识别率。M个手势类(其中每个手势类由大量手势样本构成)组成一个大数据手势库Big_DataSet，把该手势数据库分布到不同的数据集上。首先，把整个手势训练库分为若干个混合子数据库(Mix_DataSet)。其次，在各个子库上对深度神经网络进行训练(每个子数据库上可以训练出一个DNN模型，于是多个子数据库产生多个DNN模型，这些DNN模型形成的集合就称为DNN混合模型群)，使得在各个子库中的类内和类间的识别率最高，达到类优化分布的目的。然后，对每种手势建立子数据库Bin_DataSet，并在每个子数据库上进行训练，得到基于二分类的DNN识别模型，进一步对基于类优化分布的DNN模型识别结果进行二分识别，如图1所示。在图1所示的多层次识别框架中，DNN(i)表示基于子数据库Mix_DataSet(i)的深度神经网络模型，Oi表示DNN(i)的输出手势编码，DNN-Oi(g)表示基于数据库Bin_DataSet(Oi)的深度神经网络模型对手势g进行识别。本专利技术方法如图1所示，包括：输入：(a)人体图像I；(b)手势g输出：给出g的识别结果g”(1)把当前人体图像I送入人体态势感知DNN(DNN是一个成熟的结构，如图2所示。)；输入的是人体bmp位图数据；(2)判断人体是否处于操作态势(人体的操作态势可以通过对DNN模型进行学习训练而得到，首先，人在摄像头前做各种姿势，然后把所有姿势分为2类进行标记：手势操作态势和非操作态势，进一步用DNN模型对这两类姿态进行训练学习，得到稳定的DNN结构。这样，每个样本可以通过该DNN模型进行分类识别)，若是，转步骤(3)若不是，转步骤(1)；(3)把输入手势g(用减
技术介绍
把人手从背景中分割出来，即每个帧图像都与背景图像相减，得到手势g。)同时送往DNN混合模型群(把不同手势构成的手势数据库Big_DataSet分为不同的子库，分别在各个子库上独立训练DNN模本文档来自技高网...

【技术保护点】
一种基于多级深度卷积神经网络的手势识别方法，其特征在于：所述方法包括：(1)把当前人体图像I送入人体态势感知DNN；所述人体图像I为人体bmp位图数据；(2)判断人体是否处于操作态势，若是，转步骤(3)，若不是，转步骤(1)；(3)把输入手势g同时送往DNN混合模型群进行并行识别，得到识别结果O1,O2,…,ON，其中，N是混合模型群中DNN的个数；(4)用二分类DNN模型群对步骤(3)得到的每个Oi进行再识别，得到识别结果Y_1,Y_2,…,Y_N；(5)对步骤(4)得到的Y_1,Y_2,…,Y_N进行评价，得到识别结果g′；(6)对g′进行误判识别，并对误判手势进行自动纠正，得到手势g″；(7)输出结果g″。

【技术特征摘要】
1.一种基于多级深度卷积神经网络的手势识别方法，其特征在于：所述方法包括：(1)把当前人体图像I送入人体态势感知DNN；所述人体图像I为人体bmp位图数据；(2)判断人体是否处于操作态势，若是，转步骤(3)，若不是，转步骤(1)；(3)把输入手势g同时送往DNN混合模型群进行并行识别，得到识别结果O1,O2,…,ON，其中，N是混合模型群中DNN的个数；(4)用二分类DNN模型群对步骤(3)得到的每个Oi进行再识别，得到识别结果Y_1,Y_2,…,Y_N；(5)对步骤(4)得到的Y_1,Y_2,…,Y_N进行评价，得到识别结果g′；(6)对g′进行误判识别，并对误判手势进行自动纠正，得到手势g″；(7)输出结果g″。2.根据权利要求1所述的基于多级深度卷积神经网络的手势识别方法，其特征在于：所述步骤(3)中的输入手势g是这样实现的：把人手从背景中分割出来，即将每个帧的图像分别与背景图像相减，得到输入手势g。3.根据权利要求2所述的基于多级深度卷积神经网络的手势识别方法，其特征在于：所述步骤(3)中的DNN混合模型群是这样实现的：把不同手势构成的手势数据库Big_DataSet分为不同的子库，分别在各个子库上独立训练DNN模型，得到DNN混合模型群。4.根据权利要求3所述的基于多级深度卷积神经网络的手势识别方法，其特征在于：所述步骤(3)中的并行识别是这样实现的：将同一个手势同时输入到不同的DNN模型独立地进行识别，得到识别结果O1,O2,…,ON，其中...

【专利技术属性】
技术研发人员：冯志全，
申请(专利权)人：济南大学，
类型：发明
国别省市：山东;37