一种动态手势跟踪方法及系统技术方案

本发明专利技术公开一种动态手势跟踪方法及系统，方法包括：先对视频帧序列图像进行肤色检测和运动检测，其次分别确定模板图像和运动手势目标图像的离散傅里叶系数矩阵；利用离散傅里叶系数与离散余弦变换系数的关系式，分别确定运动手势目标图像和模板图像的离散余弦变换系数矩阵；然后计算运动手势目标图像和模板图像的哈希值；根据运动手势目标图像的哈希值和模板图像的哈希值确定运动手势目标图像与模板图像的相似度；最后判断运动手势目标图像与模板图像的相似度是否匹配成功，实现在多目标干扰以及复杂背景下对手势目标遮挡、旋转的跟踪，确保跟踪的稳定性和连续性，提高手势目标检测的准确度。

【技术实现步骤摘要】
一种动态手势跟踪方法及系统
本专利技术涉及手势跟踪
，特别是涉及一种动态手势跟踪方法及系统。
技术介绍
随着人机交互技术的快速发展，人与计算机的交互也变得日益频繁，并得到了越来越多的研究与探索。而手势交互技术的出现，极大地促进了人机交互技术的发展。在手势交互过程中，手势的实时动态跟踪已成为实现手势交互的关键步骤。但由于人手是复杂的变形体，并且手势本身具有的多态性和不确定性，使得手势跟踪易受手势姿态变化、肤色干扰、手势遮挡以及跟踪背景环境复杂等因素的影响，经常会出现跟踪漂移和跟丢的现象。因此，对复杂背景中的动态手势进行高效的跟踪成为人机交互领域的一个重要问题。目前，常见的手势跟踪方法主要包括六类方法：1)传统的手势跟踪方法(Mean-shift、Cam-shift、卡尔曼滤波、粒子滤波)；2)多种跟踪方法融合的手势跟踪方法(见文献刘士荣,朱伟涛,杨帆,等.基于多特征融合的粒子滤波目标跟踪算法[J].信息与控制,2012,41(6):752-759)；3)融合手势分割和手势检测的手势跟踪方法(见文献全冬兵,程如中,赵勇,等.一种快速高效的手势跟踪识别方法[J].北京大学学报(自然科学版),2015,51(6):999-1007)；4)基于数学建模的手势跟踪方法(见文献FengZ,XuT,LvN,etal.BehavioralModelTrackingofHandGestures[C].2015InternationalConferenceonVirtualRealityandVisualization(ICVRV).IEEE,2015:101-108)；5)基于深度相机的手势跟踪方法(见文献ChienPY,MiaoYH,GuoJI,etal.A3Dhandtrackingdesignforgesturecontrolincomplexenvironments[C].VLSIDesign,AutomationandTest(VLSI-DAT),2015InternationalSymposiumon.IEEE,2015:1-4)；6)基于感知哈希的跟踪方法，主要包括三类方法：(1)基于感知哈希与改进感知哈希技术的跟踪方法(见文献FanF,GaoG,LiJ,etal.Visualobjecttrackingbasedonperceptualhashalgorithm[C].InternationalComputerConferenceonWaveletActiveMediaTechnologyandInformationProcessing.IEEE,2016:233-236)；(2)基于感知哈希技术与其它跟踪技术相结合的跟踪方法(见文献赵琳,王秋帆,刘源,等.基于感知哈希和小波变换的目标跟踪算法[J].系统工程与电子技术,2016,38(4):739-745)；(3)基于多特征(感知哈希特征)融合的跟踪方法(见文献ShenX,SuiX,PanK,etal.Adaptivepedestriantrackingviapatch-basedfeaturesandspatial–temporalsimilaritymeasurement[J].PatternRecognition,2016,53(C):163-173)。现有手势跟踪方法虽然能够较好地对手势和目标进行稳定地跟踪，但都存在着共同的缺点：1)即使跟踪方法的鲁棒性很强，但在手势目标发生遮挡时，都会造成目标在视频中丢失；2)大多数方法都不能很好的对发生旋转的手势目标进行跟踪；3)大多数方法都不能很好的解决多目标干扰问题；4)大多数方法都不能在跟踪背景复杂时，对手势目标进行稳定连续的跟踪；5)大多数方法的实时性较差，跟踪耗时较多。基于上述问题，如何克服上述问题成为本领域亟需解决的技术问题。
技术实现思路
本专利技术的目的是提供一种动态手势跟踪方法及系统，以实现在多目标干扰以及复杂背景下对手势目标遮挡、旋转的跟踪，确保跟踪的稳定性和连续性，提高手势目标检测的准确度。为实现上述目的，本专利技术提供了一种动态手势跟踪方法，所述方法包括：步骤S100：获取视频帧序列图像；步骤S200：对所述视频帧序列图像进行肤色检测和运动检测，获得运动手势目标帧序列图像；步骤S300：将运动手势目标帧序列图像中的第i-1帧图像作为模板图像，将运动手势目标帧序列图像中的第i帧图像作为运动手势目标图像；其中，i为大于等于2的整数；步骤S400：对所述模板图像进行处理，获得模板灰度图像；对所述运动手势目标图像进行处理，获得运动手势目标灰度图像；步骤S500：对模板灰度图像进行傅里叶变换，获得模板图像的离散傅里叶系数矩阵；对运动手势目标灰度图像进行傅里叶变换，获得运动手势目标图像的离散傅里叶系数矩阵；步骤S600：利用离散傅里叶系数与离散余弦变换系数的关系式，根据运动手势目标图像的离散傅里叶系数矩阵确定运动手势目标图像的离散余弦变换系数矩阵；根据模板图像的离散傅里叶系数矩阵确定模板图像的离散余弦变换系数矩阵；步骤S700：根据运动手势目标图像的离散余弦变换系数矩阵计算运动手势目标图像的哈希值；根据模板图像的离散余弦变换系数矩阵计算模板图像的哈希值；步骤S800：根据运动手势目标图像的哈希值和模板图像的哈希值确定运动手势目标图像与模板图像的相似度；步骤S900：判断运动手势目标图像与模板图像的相似度是否小于等于设定阈值；如果相似度小于等于设定阈值，则判断i是否大于n；如果i大于n，则匹配成功，实现对运动手势目标的跟踪；如果i小于等于n，则令i＝i+1，返回步骤S300；其中，n为运动手势目标帧序列图像中的总帧数；如果相似度大于设定阈值，则匹配失败。可选的，所述对所述视频帧序列图像进行肤色检测和运动检测，获得运动手势目标帧序列图像；具体包括：根据所述视频帧序列图像确定运动手势目标区域帧序列补偿图像；采用三帧差分法，从运动手势目标区域帧序列补偿图像中提取出连续的三帧图像进行运动检测，获得运动手势目标帧序列图像。可选的，所述根据所述视频帧序列图像确定运动手势目标区域帧序列补偿图像，具体包括：将所述视频帧序列图像由RGB色彩空间转换成HSV色彩空间，分别获得多个色相分量和饱和度分量；当各色相分量和饱和度分量符合设定阈值条件，则确定手势目标区域帧序列图像；将所述视频帧序列图像由RGB色彩空间转换成YCbCr色彩空间，分别对所述视频帧序列图像的红、绿、蓝三种色彩进行线性变换，分别获得第一亮度分量、第二亮度分量和第三亮度分量；根据所述第一亮度分量、第二亮度分量和第三亮度分量确定亮度分量均值；根据所述亮度分量均值对所述运动手势目标区域帧序列图像进行光照补偿，获得运动手势目标区域帧序列补偿图像。可选的，所述采用三帧差分法，从运动手势目标区域帧序列补偿图像中提取出连续的三帧图像进行运动检测，获得运动手势目标帧序列图像，具体包括：从运动手势目标区域帧序列补偿图像中提取连续的三帧图像，分别为第k-1帧图像、第k帧图像、第k+1帧图像；分别对第k-1、k帧图像和第k、k+1帧图像做差分运算，分别获得第一二值差分图像和第二二值差分图像；对第一二值差分图像和第二二值差分图像分别进行阈值化处理，分别获得第一阈值二值化图像本文档来自技高网...

【技术保护点】
1.一种动态手势跟踪方法，其特征在于，所述方法包括：步骤S100：获取视频帧序列图像；步骤S200：对所述视频帧序列图像进行肤色检测和运动检测，获得运动手势目标帧序列图像；步骤S300：将运动手势目标帧序列图像中的第i‑1帧图像作为模板图像，将运动手势目标帧序列图像中的第i帧图像作为运动手势目标图像；其中，i为大于等于2的整数；步骤S400：对所述模板图像进行处理，获得模板灰度图像；对所述运动手势目标图像进行处理，获得运动手势目标灰度图像；步骤S500：对模板灰度图像进行傅里叶变换，获得模板图像的离散傅里叶系数矩阵；对运动手势目标灰度图像进行傅里叶变换，获得运动手势目标图像的离散傅里叶系数矩阵；步骤S600：利用离散傅里叶系数与离散余弦变换系数的关系式，根据运动手势目标图像的离散傅里叶系数矩阵确定运动手势目标图像的离散余弦变换系数矩阵；根据模板图像的离散傅里叶系数矩阵确定模板图像的离散余弦变换系数矩阵；步骤S700：根据运动手势目标图像的离散余弦变换系数矩阵计算运动手势目标图像的哈希值；根据模板图像的离散余弦变换系数矩阵计算模板图像的哈希值；步骤S800：根据运动手势目标图像的哈希值和模板图像的哈希值确定运动手势目标图像与模板图像的相似度；步骤S900：判断运动手势目标图像与模板图像的相似度是否小于等于设定阈值；如果相似度小于等于设定阈值，则判断i是否大于n；如果i大于n，则匹配成功，实现对运动手势目标的跟踪；如果i小于等于n，则令i＝i+1，返回步骤S300；其中，n为运动手势目标帧序列图像中的总帧数；如果相似度大于设定阈值，则匹配失败。...

【技术特征摘要】
1.一种动态手势跟踪方法，其特征在于，所述方法包括：步骤S100：获取视频帧序列图像；步骤S200：对所述视频帧序列图像进行肤色检测和运动检测，获得运动手势目标帧序列图像；步骤S300：将运动手势目标帧序列图像中的第i-1帧图像作为模板图像，将运动手势目标帧序列图像中的第i帧图像作为运动手势目标图像；其中，i为大于等于2的整数；步骤S400：对所述模板图像进行处理，获得模板灰度图像；对所述运动手势目标图像进行处理，获得运动手势目标灰度图像；步骤S500：对模板灰度图像进行傅里叶变换，获得模板图像的离散傅里叶系数矩阵；对运动手势目标灰度图像进行傅里叶变换，获得运动手势目标图像的离散傅里叶系数矩阵；步骤S600：利用离散傅里叶系数与离散余弦变换系数的关系式，根据运动手势目标图像的离散傅里叶系数矩阵确定运动手势目标图像的离散余弦变换系数矩阵；根据模板图像的离散傅里叶系数矩阵确定模板图像的离散余弦变换系数矩阵；步骤S700：根据运动手势目标图像的离散余弦变换系数矩阵计算运动手势目标图像的哈希值；根据模板图像的离散余弦变换系数矩阵计算模板图像的哈希值；步骤S800：根据运动手势目标图像的哈希值和模板图像的哈希值确定运动手势目标图像与模板图像的相似度；步骤S900：判断运动手势目标图像与模板图像的相似度是否小于等于设定阈值；如果相似度小于等于设定阈值，则判断i是否大于n；如果i大于n，则匹配成功，实现对运动手势目标的跟踪；如果i小于等于n，则令i＝i+1，返回步骤S300；其中，n为运动手势目标帧序列图像中的总帧数；如果相似度大于设定阈值，则匹配失败。2.根据权利要求1所述的动态手势跟踪方法，其特征在于，所述对所述视频帧序列图像进行肤色检测和运动检测，获得运动手势目标帧序列图像；具体包括：根据所述视频帧序列图像确定运动手势目标区域帧序列补偿图像；采用三帧差分法，从运动手势目标区域帧序列补偿图像中提取出连续的三帧图像进行运动检测，获得运动手势目标帧序列图像。3.根据权利要求2所述的动态手势跟踪方法，其特征在于，所述根据所述视频帧序列图像确定运动手势目标区域帧序列补偿图像，具体包括：将所述视频帧序列图像由RGB色彩空间转换成HSV色彩空间，分别获得多个色相分量和饱和度分量；当各色相分量和饱和度分量符合设定阈值条件，则确定手势目标区域帧序列图像；将所述视频帧序列图像由RGB色彩空间转换成YCbCr色彩空间，分别对所述视频帧序列图像的红、绿、蓝三种色彩进行线性变换，分别获得第一亮度分量、第二亮度分量和第三亮度分量；根据所述第一亮度分量、第二亮度分量和第三亮度分量确定亮度分量均值；根据所述亮度分量均值对所述运动手势目标区域帧序列图像进行光照补偿，获得运动手势目标区域帧序列补偿图像。4.根据权利要求2所述的动态手势跟踪方法，其特征在于，所述采用三帧差分法，从运动手势目标区域帧序列补偿图像中提取出连续的三帧图像进行运动检测，获得运动手势目标帧序列图像，具体包括：从运动手势目标区域帧序列补偿图像中提取连续的三帧图像，分别为第k-1帧图像、第k帧图像、第k+1帧图像；分别对第k-1、k帧图像和第k、k+1帧图像做差分运算，分别获得第一二值差分图像和第二二值差分图像；对第一二值差分图像和第二二值差分图像分别进行阈值化处理，分别获得第一阈值二值化图像和第二阈值二值化图像；根据第一阈值二值化图像和第二阈值二值化图像确定运动手势目标帧序列图像。5.根据权利要求1所述的动态手势跟踪方法，其特征在于，所述根据运动手势目标图像的离散余弦变换系数矩阵计算运动手势目标图像的哈希值；根据模板图像的离散余弦变换系数矩阵计算模板图像的哈希值，具体包括：根据运动手势目标图像的离散余弦变换系数矩阵计算运动手势目标图像的离散余弦变换系数均值；根据模板图像的离散余弦变换系数矩阵计算模板图像的离散余弦变换系数均值；根据运动手势目标图像的离散余弦变换系数均值确定运动手势目标图像的哈希值；根据模板图像的离散余弦变换系数均值确定模板图像的哈希值。6.一种动态手势跟踪系...

【专利技术属性】
技术研发人员：张秋余，王前，张墨逸，杨树强，周亮，葛子贤，李改莉，
申请(专利权)人：兰州理工大学，
类型：发明
国别省市：甘肃,62