一种基于多特征融合的单目静态手势识别方法技术

本发明专利技术公开了一种基于多特征融合的单目静态手势识别方法，步骤包括：手势图像采集，用单目摄像头采集包含手势的RGB图像；图像预处理，利用人体肤色信息进行肤色分割，利用形态学处理并结合手部的几何特征，将手部与复杂背景分离，通过距离变换操作定位掌心并去除手部存在的手臂区域，得到手势二值图像；手势特征提取，计算手势的周长与面积比、Hu矩及傅里叶描述子特征，构成手势特征向量；手势识别，输入手势特征向量训练BP神经网络，实现静态手势分类。本发明专利技术结合肤色信息与手部的几何特征，利用形态学处理及距离变换操作实现单目视觉下准确的手势分割；通过组合多种手势特征并训练BP神经网络，得到鲁棒性强、准确率高的手势分类器。

A Monocular Static Gesture Recognition Method Based on Multi-feature Fusion

The invention discloses a monocular static gesture recognition method based on multi-feature fusion. The steps include: gesture image acquisition, acquisition of RGB images containing gestures by monocular camera; image preprocessing, skin color segmentation using human skin color information, separation of hand from complex background by morphological processing combined with hand geometric characteristics, and location by distance transformation operation. Gesture feature extraction, calculation of the perimeter-to-area ratio, Hu moment and Fourier descriptor features of the gesture, constitute the gesture feature vector; gesture recognition, input gesture feature vectors to train BP neural network to achieve static gesture classification. The method combines skin color information with hand geometric features, realizes accurate gesture segmentation under monocular vision by morphological processing and distance transformation operation, and obtains a robust and accurate gesture classifier by combining multiple gesture features and training BP neural network.

【技术实现步骤摘要】
一种基于多特征融合的单目静态手势识别方法
本专利技术涉及图像识别领域，具体涉及一种基于多特征融合的单目静态手势识别方法。
技术介绍
手势作为一种自然而直观的人机交互模式，逐渐发展为人机交互领域的研究热点，并在体感游戏、机器人控制、电脑控制等方面得到广泛的应用。相比基于数据手套的手势识别技术，基于视觉的手势识别技术具有对设备要求低、交互自然等优点，并成为手势识别的主流方式。手势分割是基于视觉的手势识别中关键的环节，分割的效果影响着特征提取，进而影响手势分类结果。在基于单目视觉的静态手势识别方法中，由于复杂背景环境的影响，手势分割的结果不太理想。随着kinect相机的出现，深度信息被用于手势与复杂背景分离的研究中。由于kinect相机成本较高，没有广泛使用，因此该类手势识别方法无法得到推广应用。现有的单目静态手势识别方法采用的手势特征比较单一，导致手势识别系统的鲁棒性较弱，识别准确率不高。因此，提出一种在复杂背景下能够准确分割并识别手势的单目静态手势识别方法是目前函待解决的问题。
技术实现思路
本专利技术的目的是为了解决现有技术中的上述缺陷，提供一种基于多特征融合的单目静态手势识别方法。本专利技术的目的可以通过采取如下技术方案达到：一种基于多特征融合的单目静态手势识别方法，所述的识别方法包括：手势图像采集步骤，用单目摄像头采集包含手势的RGB图像；图像预处理步骤，利用人体肤色信息进行肤色分割，将图像中的肤色及类肤色区域提取出来，利用形态学处理并结合手部的几何特征，将手部与复杂背景分离，通过距离变换操作定位掌心并去除手部存在的手臂区域，得到手势二值图像；手势特征提取步骤，计算手势的周长与面积比、Hu矩以及傅里叶描述子特征，构成手势特征向量；手势识别步骤，将提取的手势特征向量作为BP神经网络的输入，通过训练BP神经网络实现静态手势分类。进一步地，所述的图像预处理步骤包括：肤色分割，将输入的图像进行色彩空间的转换，通过色度阈值分割将图像中的肤色及类肤色区域提取出来，得到二值图像；形态学处理，对肤色分割后的二值图像进行形态学处理，先采用开运算操作，再采用闭运算操作，消除图像中的孤立噪声；手部几何形状分割，实现人脸和手与复杂背景进行分离，计算剩下的两个连通区域的形状复杂度C，通过与阈值T判断，提取手部二值图像；将手部二值图像中的手臂去除，得到手势二值图像。进一步地，所述的将输入的图像进行色彩空间的转换，通过色度阈值分割将图像中的肤色及类肤色区域提取出来，得到二值图像过程如下：转换色彩空间，将输入的图像由RGB色彩空间转换到YCr′Cb′色彩空间，转换公式如下：y＝0.299×r+0.587×g+0.114×b其中r、g、b分别为图像在RGB色彩空间中的红、绿、蓝三个分量，y、cr'、cb'分别为图像在YCr′Cb′色彩空间中的亮度分量、红色色度分量、蓝色色度分量；色度阈值分割，若像素点的两个色度分量同时满足肤色在cr'和cb'分量的阈值范围时，令该像素点取值为1，否则取值为0，从而将图像中的肤色及类肤色区域提取出来，得到二值图像。进一步地，所述的手部几何形状分割，实现人脸和手与复杂背景进行分离，计算剩下的两个连通区域的形状复杂度C，通过与阈值T判断，提取手部二值图像过程如下：面积筛选，利用八连通判别算法，计算图像中不同连通区域的面积，提取面积较大的两个连通区域，实现人脸和手与复杂背景的分离；形状复杂度阈值判断，计算剩下的两个连通区域的形状复杂度C，若连通区域的形状复杂度C取值大于阈值T，则认为该区域为非手部区域并去除，从而得到手部二值图像。进一步地，所述的将手部二值图像中的手臂去除，得到手势二值图像过程如下：掌心定位，采用距离变换操作，计算手部像素点离手部边界的最小距离，距离值取代原像素点取值，除手部的其余区域取值为0，距离变换操作后得到的图像中取值最大的像素点为掌心，对应的取值为R0；手掌切割，将与掌心的距离小于R1的像素点取值为0，从而去除手掌区域，其中，R1＝1.35×R0；阈值法判断手臂是否存在，定位图像中最大取值的像素点P，对应的取值为Pvalue，计算Pvalue/R0，若取值大于阈值T1，则P点所在区域即为手臂区域，继续进行下一移除手臂操作，否则手部二值图像中不存在手臂区域，转至手势特征提取步骤；移除手臂，利用八连通判别算法，去除P点所在区域；异或运算，利用图像间的异或运算，最终得到手势二值图像。进一步地，所述的手势特征提取步骤包括：计算手势的7个不变矩，构成Hu矩特征；利用八连通判别算法，计算手势区域的周长和面积，计算周长与面积的比值；计算手势轮廓的傅里叶描述子特征；组合Hu矩特征、周长与面积的比值及傅里叶描述子特征，构成18维的手势特征向量。进一步地，所述的计算手势轮廓的傅里叶描述子特征过程如下：将手势轮廓边缘的坐标{(xk,yk)}用复数表示，构成复数序列{ck}，ck表示如下：ck＝xk+iyk,k＝0,1,2,...,N-1；对离散序列{ck}作傅里叶变换，得到傅里叶系数序列{C(u)}，公式如下：提取u＝1开始的10个傅里叶系数，对其取模值并归一化，构成傅里叶描述子特征。进一步地，所述的BP神经网络包括输入层、隐藏层和输出层，输入层有d个神经元，由手势特征向量的维数决定，输出层有s个神经元，由手势种类数决定，隐藏层有q个神经元，输入层第i个神经元与隐藏层第h个神经元之间的连接权值为vih，隐藏层第h个神经元与输出层第j个神经元之间的连接权值为whj，隐藏层第h个神经元的阈值为输出层第j个神经元的阈值为θj。进一步地，所述的手势识别步骤之前，还包括：BP神经网络训练步骤，输入训练样本的手势特征向量训练BP神经网络，过程如下：随机初始化权值和阈值，初始化权值的取值范围为[-1,1]，初始化阈值的取值范围为[-0.5,0.5]；输入训练样本的手势特征向量(x1,x2,...,x18)；计算各层的输出数据，其中，所述的BP神经网络采用sigmoid函数作为各层神经元的激活函数，公式如下：隐藏层第h个神经元的输出值为αh，计算公式如下：输出层第j个神经元的输出值为计算公式如下：计算均方误差E，计算公式如下：其中(y1,y2,...,y8)为训练样本的类别标签；参数更新，当E大于设定误差时，采用梯度下降法更新网络的权值和阈值，以修正当前的BP神经网络；当E小于设定误差时，停止训练网络，得到最佳的模型参数。进一步地，所述的形状复杂度C的计算公式如下：其中，A为连通区域的面积，p为连通区域的周长。本专利技术相对于现有技术具有如下的优点及效果：(1)本专利技术利用人体肤色信息与手部的几何特征提取手部区域，采用距离变换操作去除存在的手臂区域，实现手势与复杂背景的准确分离；(2)本专利技术通过组合多种有效的手势特征训练BP神经网络，实现一个鲁棒性强、准确率高的手势识别系统；(3)本专利技术基于普通单目摄像头的静态手势识别方法具有设备成本低、识别准确率高、便于推广应用等优点。附图说明图1是本专利技术中公开的基于多特征融合的单目静态手势识别方法的流程图；图2是本专利技术中公开的基于多特征融合的单目静态手势识别方法中图像预处理流程图；图3是本专利技术中公开的基于多特征融合的单目静态手势识别方法中手势特征提取流程图；图4是本专利技术中公开的基于多特征融本文档来自技高网...

【技术保护点】
1.一种基于多特征融合的单目静态手势识别方法，其特征在于，所述的识别方法包括：手势图像采集步骤，用单目摄像头采集包含手势的RGB图像；图像预处理步骤，利用人体肤色信息进行肤色分割，将图像中的肤色及类肤色区域提取出来，利用形态学处理并结合手部的几何特征，将手部与复杂背景分离，通过距离变换操作定位掌心并去除手部存在的手臂区域，得到手势二值图像；手势特征提取步骤，计算手势的周长与面积比、Hu矩以及傅里叶描述子特征，构成手势特征向量；手势识别步骤，将提取的手势特征向量作为BP神经网络的输入，通过训练BP神经网络实现静态手势分类。

【技术特征摘要】
1.一种基于多特征融合的单目静态手势识别方法，其特征在于，所述的识别方法包括：手势图像采集步骤，用单目摄像头采集包含手势的RGB图像；图像预处理步骤，利用人体肤色信息进行肤色分割，将图像中的肤色及类肤色区域提取出来，利用形态学处理并结合手部的几何特征，将手部与复杂背景分离，通过距离变换操作定位掌心并去除手部存在的手臂区域，得到手势二值图像；手势特征提取步骤，计算手势的周长与面积比、Hu矩以及傅里叶描述子特征，构成手势特征向量；手势识别步骤，将提取的手势特征向量作为BP神经网络的输入，通过训练BP神经网络实现静态手势分类。2.根据权利要求1所述的一种基于多特征融合的单目静态手势识别方法，其特征在于，所述的图像预处理步骤包括：肤色分割，将输入的图像进行色彩空间的转换，通过色度阈值分割将图像中的肤色及类肤色区域提取出来，得到二值图像；形态学处理，对肤色分割后的二值图像进行形态学处理，先采用开运算操作，再采用闭运算操作，消除图像中的孤立噪声；手部几何形状分割，实现人脸和手与复杂背景进行分离，计算剩下的两个连通区域的形状复杂度C，通过与阈值T判断，提取手部二值图像；将手部二值图像中的手臂去除，得到手势二值图像。3.根据权利要求2所述的一种基于多特征融合的单目静态手势识别方法，其特征在于，所述的将输入的图像进行色彩空间的转换，通过色度阈值分割将图像中的肤色及类肤色区域提取出来，得到二值图像过程如下：转换色彩空间，将输入的图像由RGB色彩空间转换到YCr′Cb′色彩空间，转换公式如下：y＝0.299×r+0.587×g+0.114×b其中r、g、b分别为图像在RGB色彩空间中的红、绿、蓝三个分量，y、cr'、cb'分别为图像在YCr′Cb′色彩空间中的亮度分量、红色色度分量、蓝色色度分量；色度阈值分割，若像素点的两个色度分量同时满足肤色在cr'和cb'分量的阈值范围时，令该像素点取值为1，否则取值为0，从而将图像中的肤色及类肤色区域提取出来，得到二值图像。4.根据权利要求2所述的一种基于多特征融合的单目静态手势识别方法，其特征在于，所述的手部几何形状分割，实现人脸和手与复杂背景进行分离，计算剩下的两个连通区域的形状复杂度C，通过与阈值T判断，提取手部二值图像过程如下：面积筛选，利用八连通判别算法，计算图像中不同连通区域的面积，提取面积较大的两个连通区域，实现人脸和手与复杂背景的分离；形状复杂度阈值判断，计算剩下的两个连通区域的形状复杂度C，若连通区域的形状复杂度C取值大于阈值T，则认为该区域为非手部区域并去除，从而得到手部二值图像。5.根据权利要求2所述的一种基于多特征融合的单目静态手势识别方法，其特征在于，所述的将手部二值图像中的手臂去除，得到手势二值图像过程如下：掌心定位，采用距离变换操作，计算手部像素点离手部边界的最小距离，距离值取代原像素点取值，除手部的其余区域取值为0，距离变换操作后得到的图像中取值最大的像素点为掌心，对应的取值为R0；手掌切割，将与...

【专利技术属性】
技术研发人员：周智恒，许冰媛，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44