一种基于关键帧和边界约束DTW的实时动态手势识别方法技术

本发明专利技术涉及一种基于关键帧和边界约束DTW的实时动态手势识别方法，在动态手势特征提取阶段，将动态手势的运动方向引入到关键帧手势图像选取中，并根据动态手势的变化趋势实现对关键帧手势图像选取阈值的动态调整，在此基础上利用局部极值的特性并结合凸包过滤实现对关键帧手势图像的指尖特征提取；在动态手势识别阶段，提出一种转换方法，用于计算不等长的二维手势序列之间的DTW下界距离，并且在DTW距离计算过程中给出设置手势数据的配对范围的方法。本发明专利技术综合考虑了动态手势的轨迹特征和结构特征，并通过关键帧图像选取、构造DTW下界距离、设置手势数据的配对范围，缩短了动态手势识别过程的计算时间。

Real time dynamic hand gesture recognition method based on key frame and boundary constraint DTW

The present invention relates to a real-time dynamic gesture recognition method of key frame and boundary constraints based on DTW, in the dynamic gesture feature extraction stage, the direction of movement of dynamic gestures into key frame selection in gesture image, and according to the change trend of gesture used to dynamically adjust the threshold selection on key frame gesture image, on the basis of based on the characteristics of the local extremum and combining the characteristics of the filter to achieve the extraction of the convex hull finger gesture image key frame; the dynamic gesture recognition stage, proposed a conversion method is used to calculate the distance between two DTW bound gesture sequence length, and in the given set matching range gesture data in the process of the calculation of DTW distance. The present invention considers the trajectory and the structure features of dynamic gestures, and through key frame selection, construction of DTW lower bound distance, set matching range of gesture data, shorten the calculation time of dynamic gesture recognition process.

【技术实现步骤摘要】
一种基于关键帧和边界约束DTW的实时动态手势识别方法
本专利技术涉及一种基于关键帧和边界约束DTW的实时动态手势识别方法，属于人机交互

技术介绍
随着人机交互技术逐渐成熟，手势识别技术被广泛应用到手语识别、智能交通、游戏娱乐等诸多领域。根据手势采集设备的不同，目前的手势识别技术可以分为基于数据手套的手势识别技术和基于视觉的手势识别技术。其中，基于视觉的手势识别技术不需要穿戴笨重的手套设备，能够以一种更加灵活、自然的方式进行人机交互，已成为目前的研究热点。该技术主要分为手势分割、手势特征提取和手势识别三个阶段，其中，手势特征提取用于表达手势，是进行手势识别的依据，而手势识别用于区分手势，是实现手势交互的重要途径。因此，手势特征提取算法和手势识别算法是决定手势识别技术准确性和实时性的关键因素。动态手势特征提取是指消除手势图像中的重复数据，得到能够描述手势本质属性的一系列用数值表示的特征，并通过这些特征来表达手势。Ganapathyraju等人提出一种基于凸包缺陷的动态手势特征提取算法，对于凸包中的每一个凸包缺陷，根据它的起始点、中心点、距离最远点以及最远点到凸包的距离四个特征之本文档来自技高网...

【技术保护点】
一种基于关键帧和边界约束DTW的实时动态手势识别方法，其特征在于，包括如下步骤：步骤1)根据动态手势运动特性，针对待识别动态手势图像序列，选取关键帧手势图像；步骤2)获得各个关键帧手势图像的指尖特征点，并结合关键帧手势图像的质心，构建该帧手势图像的手势特征向量，然后进一步构建待识别动态手势所对应的动态手势特征向量；步骤3)针对动态手势特征向量，分别计算手势模板库中各个动态手势模板特征向量与待识别动态手势特征向量之间的DTW下界距离，获得满足预设要求的DTW下界距离所对应的各个动态手势模板特征向量；步骤4)针对满足预设要求的DTW下界距离所对应的各个动态手势模板特征向量，分别计算各个动态手势模板...

【技术特征摘要】
1.一种基于关键帧和边界约束DTW的实时动态手势识别方法，其特征在于，包括如下步骤：步骤1)根据动态手势运动特性，针对待识别动态手势图像序列，选取关键帧手势图像；步骤2)获得各个关键帧手势图像的指尖特征点，并结合关键帧手势图像的质心，构建该帧手势图像的手势特征向量，然后进一步构建待识别动态手势所对应的动态手势特征向量；步骤3)针对动态手势特征向量，分别计算手势模板库中各个动态手势模板特征向量与待识别动态手势特征向量之间的DTW下界距离，获得满足预设要求的DTW下界距离所对应的各个动态手势模板特征向量；步骤4)针对满足预设要求的DTW下界距离所对应的各个动态手势模板特征向量，分别计算各个动态手势模板特征向量与待识别动态手势特征向量之间DTW距离，基于DTW距离，实现针对待识别动态手势的识别。2.根据权利要求1所述一种基于关键帧和边界约束DTW的实时动态手势识别方法，其特征在于，所述步骤1)中，根据如下步骤，针对待识别动态手势图像序列，选取关键帧手势图像；步骤101)设动态手势图像序列为IInput＝{I1,I2,...,In}，n为动态手势图像序列的长度，It,t∈[1,n]，It表示第t帧手势图像；gt'表示第t帧手势图像的质心，表示第t帧手势图像的质心坐标；δt表示第t帧手势图像的关键帧手势图像选取阈值；表示第t1帧手势图像与第t2帧手势图像之间的质心距离；步骤102)针对动态手势图像序列，计算相邻帧手势图像之间质心偏移角度θt的正弦值和余弦值：步骤103)针对动态手势图像序列，计算相邻帧手势图像之间的相对运动方向dirt：1步骤104)针对手势图像It，判断dirt≠dirt-1是否成立，是则将该手势图像It作为关键帧手势图像；否则进一步针对该手势图像It，判断判断dist(t,t-1)＞δt-1是否成立，是则将将该手势图像It作为关键帧手势图像；否则将该手势图像It不作为关键帧手势图像；步骤105)根据更新关键帧手势图像选取阈值δt。3.根据权利要求2所述一种基于关键帧和边界约束DTW的实时动态手势识别方法，其特征在于，所述步骤2)包括如下步骤：步骤201)设，csk表示第k个关键帧手势图像的手势轮廓点集，Nk表示第k个关键帧手势图像中手势轮廓点个数，ck,λ表示为第k个关键帧手势图像中第λ个手势轮廓点，ck,λ＝(xk,λ,yk,λ)表示为第k个关键帧手势图像中第λ个手势轮廓点坐标，λ∈[1,Nk]，gk为第k个关键帧手势图像的质心；步骤202)分别针对各个关键帧手势图像，根据如下公式：计算关键帧手势图像中各个手势轮廓点ck,λ分别与对应关键帧手势图像的质心gk之间的距离dist(ck,λ,gk)；步骤203)分别针对各个关键帧手势图像，进一步分别针对关键帧手势图像中的各个手势轮廓点ck,λ，首先获得该关键帧手势图像所有手势轮廓点中满足|ck,λ-ck,λ'|＜ε的手势轮廓点ck,λ'，然后判断所获各个手势轮廓点ck,λ'，是否均满足dist(ck,λ’,gk)≤dist(ck,λ,gk)，是则将该手势轮廓点ck,λ加入该关键帧手势图像所对应的类指尖特征点集中，否则不对该手势轮廓点ck,λ进行任何处理，如此完成针对该关键帧手势图像中各个手势轮廓点的上述操作，获得该关键帧手势图像所对应的类指尖特征点集，进而获得各个关键帧手势图像所对应的类指尖特征点集；其中，ε＞0，ε表示预设范围阈值；步骤204)分别针对各个关键帧手势图像，计算获得关键帧手势图像所对应的凸包曲线hullk，进而获得各个...

【专利技术属性】
技术研发人员：程春玲，刘杨俊武，周剑，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32