一种实时手势识别的方法技术

本发明专利技术公开了一种实时手势识别的方法，包括如下步骤：1)将获得的手势视频，分解为按时间顺序进行排序的图像序列，并对所得图像预处理后进行手部区域分割；2)提取每一幅图像中手部区域的手形特征并用SVM支持向量机识别成对应的手势值；3)将每一幅图像的手势值与通过迭代LK金字塔光流算法获得的运动轨迹的方向特征组合为每一个动态手势图像的特征向量；4)循环执行2)‑3)，循环结束条件为当前视频的所有图像均被处理，从而获得一组完整的特征向量序列；5)建立手势模板库6)将得到的特征向量序列与模板库中所有模板都进行优化DTW匹配，计算匹配的失真度，如果大于失真阈值，则识别失败，如果小于失真阈值，则输出识别结果。

A method of real time gesture recognition

The present invention discloses a method of real time gesture recognition, which includes the following steps: 1) the obtained gesture video is decomposed into an image sequence arranged in a chronological order, and the hand region is segmented after the preprocessing of the obtained image; 2) the hand feature of each image in the hand region is extracted and the SVM support vector machine is used to identify the image. The corresponding gesture value; 3) combine the gesture values of each image with the direction characteristics of the motion trajectories obtained through the iterative LK Pyramid optical flow algorithm into the feature vectors of each dynamic gesture image; 4) loop execution 2) 3), the loop end condition is processed for all the images of the current video, thus obtaining a complete set of images. The feature vector sequence; 5) establish the gesture template library 6) to optimize the DTW matching with all the templates in the template library to calculate the matching distortion, and if the distortion threshold is larger than the distortion threshold, the recognition failure is the output recognition result if the distortion threshold is less than the distortion threshold.

【技术实现步骤摘要】
一种实时手势识别的方法
本专利技术涉及图像处理
，特别是一种实时手势识别的方法。
技术介绍
手势识别是指对人手部形态、位移等进行持续采集、建模并识别，从而将获得的手势信息转换为对应的指令，用来控制实现某些操作。动态手势识别是静态手势识别的结合，是由一系列的手势动作组成，重点是获取视频流中的手部信息，提取手势特征与手势运动轨迹，从而进行动态手势识别。物联网时代，人机交互不再是机械性的按键交互、触屏交互，而是会以语音交互、手势交互等更为简单便捷的方式呈现。动态手势的交互方式更加符合人们日常的交流习惯，同时它扩展以实现更多、更丰富的语义，填补了图形、机械、触屏交互与自然语言交互之间的空白，因此该识别技术在人机交互领域的发展中有着重要的研究意义以及广阔的应用前景。尽管现有的基于视觉的动态手势识别技术取得了很大进展，但是还没有真正应用于复杂环境并可以广泛普及的系统。主要原因在于真实环境中背景有很强的不确定性，光线的颜色、强弱、变化都可能给手势识别系统的识别率带来影响，同时实时动态手势识别系统对计算机的处理能力要求也非常高。动态手势的运动速度、表现形态不一、运动物遮挡等都会降低识别率。
技术实现思路
本专利技术所要解决的技术问题是克服现有技术的不足而提供一种实时手势识别的方法，在动态手势的识别过程中对光照变化、复杂背景下的图像信息以及动态手势轨迹进一步优化，提高动态手势识别率。本专利技术为解决上述技术问题采用以下技术方案：根据本专利技术提出的一种实时手势识别的方法，包括如下步骤：步骤1、实时获取手势视频信号，将手势视频信号分解为按时间排序的图像序列；步骤2、对步骤1得到的图像序列预处理得到二值图像，其中预处理包括中值滤波、色彩空间转换和肤色阈值分割；步骤3、对步骤2预处理后的二值图像进行形态学滤波，在二维平面中采用质心定位的方法分割出手部区域；步骤4、提取手部区域的手形特征构成手形特征向量并用SVM支持向量机算法识别成对应的手势值；步骤5、对手部区域采用迭代LK金字塔光流算法提取运动轨迹的方向特征，使其与手势值组合为每一个动态手势图像的特征向量；步骤6、循环执行步骤4和步骤5，直到手势结束，从而获得手势的特征向量序列，该特征向量序列的长度即为步骤1中图像序列的个数；步骤7、建立手势模板库，将步骤6获得的手势的特征向量序列F_test，与手势模板库中所有模板F_ref都进行优化DTW匹配，并计算F_test与F_ref的失真度，如果大于失真阈值，则识别失败，如果小于失真阈值，则输出识别结果。作为本专利技术所述的一种实时手势识别的方法进一步优化方案，步骤1中采用红外摄像头实时获取手势视频信号。作为本专利技术所述的一种实时手势识别的方法进一步优化方案，步骤2中的预处理，对中值滤波后的图像通过图像空间转换技术转换到YCrCb彩色空间进行肤色阈值分割。作为本专利技术所述的一种实时手势识别的方法进一步优化方案，步骤3中采用质心定位的方法分割出手部区域，手部区域的质心位置的求法如下：设(x,y)为手部区域中的像素位置，I(x,y)为手部区域中(x,y)处的像素值，手部区域的零阶矩阵和一阶矩阵分别为：其中，M00为零阶矩阵，M10，M01分别为x和y的一阶矩阵；求得手部区域的质心位置为：其中，xc为质心位置的横坐标，yc为质心位置的纵坐标。作为本专利技术所述的一种实时手势识别的方法进一步优化方案，步骤4具体如下：4-1-1)提取手部区域的手部轮廓存为点序列并将其点序列用直线描绘；4-1-2)计算该手部轮廓的中心矩及7个Hu不变矩，取出几何矩七个特征分量中的前四个分量，使其与手部轮廓的面积周长比共计5个手形特征构成手形特征向量；4-1-3)利用4-1-1)和4-1-2)获得所有图像序列的手形特征向量，对其归一化后送进SVM训练器中进行学习和训练，识别成对应的手势值。作为本专利技术所述的一种实时手势识别的方法进一步优化方案，步骤5利用迭代LK金字塔光流算法，求解出图像序列的光流场，得到运动轨迹的最初特征，选取运动轨迹切线角θ作为运动轨迹的方向特征，并将取值连续的θ均匀量化。作为本专利技术所述的一种实时手势识别的方法进一步优化方案，步骤7中优化DTW匹配具体如下：(1)对DTW匹配在全局最优路径的查找过程中约束路径的斜率，将斜率控制在之间；(2)对DTW匹配设定失真阈值，设M与N为分别为参与匹配的两组特征向量序列的长度，最优路径长度处于max(M,N)与M+N之间，且最优路径中不匹配的次数与最优路径长度成正比例关系，选用α×(M+N)作为失真阈值，α为正比例系数。作为本专利技术所述的一种实时手势识别的方法进一步优化方案，α设定为0.25。本专利技术采用以上技术方案与现有技术相比，具有以下技术效果：(1)本专利技术提供的动态手势识别方法，其能够在动态手势的识别过程中对光照变化、复杂背景下的图像信息以及动态手势轨迹进一步优化，提高动态手势识别率；(2)该专利技术可以应用在智能家居环境下，通过手势对家电进行简单操控，让用户享受人机手势交互的舒适感，且手势简单方便易学；有非常广阔的应用场景。附图说明图1为本专利技术实时手势识别方法的流程示意图；图2为本专利技术实时手势识别方法的图像预处理示意图；图3为本专利技术实时手势识别方法的质心定位手部分割流程图；图4为本专利技术实时手势识别方法的手形特征向量提取流程图；图5为本专利技术实时手势识别方法的迭代LK金字塔光流算法流程图；图6为本专利技术实时手势识别方法提供的动态手势识别装置的功能模块图。具体实施方式为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本专利技术进行详细描述。首先通过终端摄像头实时捕获手势视频，图像模块采集图像信息，并按时间顺序将图像进行排序，对所得的每帧图像做预处理作并进行手部区域分割，提取手部区域的手形特征及运动轨迹的方向特征，把手形特征送进SVM分类器中对应手势值，并将其与所提取的轨迹方向特征结合成动态手势的特征向量，使得到的特征向量序列与模板库中所有的模板都进行DTW匹配，计算其失真度，如果最小失真度比失真度阈值大，则识别失败，如果最小失真度比失真度阈值小，则输出识别结果。将结果送入控制模块，读取手势所对应的指令，从而进行家电控制。该专利技术可以应用在智能家居环境下，让用户享受人机手势交互的舒适感，且手势简单方便易学。有非常广阔的应用场景。如图1所示，本专利技术智能家居场景下手势识别的流程主要包括以下步骤：步骤1，图像采集模块对摄像头记录的手势视频进行图像采集，对采集的每一帧图像进行预处理后进行手部分割，预处理方法详见图2，质心定位手部分割方法详见图3；步骤2，提取手部区域的手形特征并用SVM支持向量机识别成对应的手势值，手形特征提取流程详见图4；步骤3，采用迭代LK金字塔光流算法跟踪动态手势，提取手势运动轨迹的方向特征，并与手势值组成每一个动态手势图像的特征向量，迭代LK金字塔光流算法流程图详见图5。手势运动轨迹的方向特征提取方式如下：手势的运动映射到图像上，就表现为该手势所有点像素值的变化，将像素值的变化速率定义为光流，而手势图像中各像素点的灰度值变化表示光流场。本专利技术采用光流矢量进行手势动作分析，光流矢量反映了手势图像中每个点像素值的变化情况。利用迭代LK金字塔光流算法，求出能够反映运动手势信息的图像序列的光流场，从计本文档来自技高网...

【技术保护点】
一种实时手势识别的方法，其特征在于，包括如下步骤：步骤1、实时获取手势视频信号，将手势视频信号分解为按时间排序的图像序列；步骤2、对步骤1得到的图像序列预处理得到二值图像，其中预处理包括中值滤波、色彩空间转换和肤色阈值分割；步骤3、对步骤2预处理后的二值图像进行形态学滤波，在二维平面中采用质心定位的方法分割出手部区域；步骤4、提取手部区域的手形特征构成手形特征向量并用SVM支持向量机算法识别成对应的手势值；步骤5、对手部区域采用迭代LK金字塔光流算法提取运动轨迹的方向特征，使其与手势值组合为每一个动态手势图像的特征向量；步骤6、循环执行步骤4和步骤5，直到手势结束，从而获得手势的特征向量序列，该特征向量序列的长度即为步骤1中图像序列的个数；步骤7、建立手势模板库，将步骤6获得的手势的特征向量序列F_test，与手势模板库中所有模板F_ref都进行优化DTW匹配，并计算F_test与F_ref的失真度，如果大于失真阈值，则识别失败，如果小于失真阈值，则输出识别结果。

【技术特征摘要】
1.一种实时手势识别的方法，其特征在于，包括如下步骤：步骤1、实时获取手势视频信号，将手势视频信号分解为按时间排序的图像序列；步骤2、对步骤1得到的图像序列预处理得到二值图像，其中预处理包括中值滤波、色彩空间转换和肤色阈值分割；步骤3、对步骤2预处理后的二值图像进行形态学滤波，在二维平面中采用质心定位的方法分割出手部区域；步骤4、提取手部区域的手形特征构成手形特征向量并用SVM支持向量机算法识别成对应的手势值；步骤5、对手部区域采用迭代LK金字塔光流算法提取运动轨迹的方向特征，使其与手势值组合为每一个动态手势图像的特征向量；步骤6、循环执行步骤4和步骤5，直到手势结束，从而获得手势的特征向量序列，该特征向量序列的长度即为步骤1中图像序列的个数；步骤7、建立手势模板库，将步骤6获得的手势的特征向量序列F_test，与手势模板库中所有模板F_ref都进行优化DTW匹配，并计算F_test与F_ref的失真度，如果大于失真阈值，则识别失败，如果小于失真阈值，则输出识别结果。2.根据权利要求1所述的一种实时手势识别的方法，其特征在于，步骤1中采用红外摄像头实时获取手势视频信号。3.根据权利要求1所述的一种实时手势识别的方法，其特征在于，步骤2中的预处理，对中值滤波后的图像通过图像空间转换技术转换到YCrCb彩色空间进行肤色阈值分割。4.根据权利要求1所述的一种实时手势识别的方法，其特征在于，步骤3中采用质心定位的方法分割出手部区域，手部区域的质心位置的求法如下：设(x,y)为手部区域中的像素位置，I(x,y)为手部区域中(x,y)处的像素值，手部区域的零阶矩阵和一阶矩阵分别为：

【专利技术属性】
技术研发人员：张晖，杨纯，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32