一种手部运动跟踪方法及系统技术方案

本发明专利技术涉及计算机技术领域，具体涉及一种手部运动跟踪方法及系统。步骤S1，采集图像以获取图像数据；步骤S2，获取图像数据中预定图像帧之间的帧差，依据帧差进行运动分割以获取当前的运动区域；步骤S3，自运动区域中提取当前图像帧的目标区域；步骤S4，在目标区域进行目标跟踪以得到当前图像帧的跟踪结果；步骤S5，在当前图像帧的跟踪结果附近的搜索域中进行手势检测以纠正跟踪结果。本发明专利技术提出了一种结合多种方法的手部运动估计方法，能够实时对手部进行跟踪，耗时短，计算快，对形变及快速的手部运动鲁棒性高，结合运动跟踪以及目标检测，可及时纠正跟踪偏差的结果。

【技术实现步骤摘要】
一种手部运动跟踪方法及系统
本专利技术涉及图像处理
，具体涉及一种手部运动跟踪方法及系统。
技术介绍
运动目标跟踪是计算机视觉领域重要的研究内容之一，其跟踪算法易于受到光照、背景、其它运动物体及目标自身变化的影响，为了设计鲁棒且精准的跟踪算法，可以通过背景去除获得运动目标，包括CodeBook(码本算法)、GMM(GaussianMixtureModel，高斯混合模型)等背景建模方法，然而这通常需要一定时间的背景建模，不适用于实时的检测以及背景变化多的场景。如光流估计的方法都是基于以下假设：图像灰度分布的变化完全是目标或者场景的运动引起的，它对噪声比较敏感，计算复杂度高。目标跟踪时，可以通过区域匹配、特征点跟踪、轮廓跟踪等算法进行，而这些方法对于目标的变形敏感，并且计算量大，耗时长，实时性差。从上述内容可以看出，传统的方法进行运动估计需要进行较为复杂的计算，效率较低。
技术实现思路
针对以上技术问题，提供一种手部运动跟踪方法及系统，以解决现有技术的缺陷；具体技术方案如下：一种手部运动跟踪方法，包括以下步骤：步骤S1，采集图像以获取图像序列；步骤S2，获取所述图像序列中预定图像帧之间的帧差，依据帧差进行运动分割以获取当前的运动区域；步骤S3，自所述运动区域中提取当前图像帧的目标区域；步骤S4，在所述目标区域进行目标跟踪以得到当前图像帧的跟踪结果；步骤S5，在所述当前图像帧的跟踪结果附近的搜索域中进行手势检测以纠正所述跟踪结果。上述的手部运动跟踪方法，所述步骤S2的具体步骤为：步骤S21，计算二值帧差：获取第n-1帧的像素灰度与第n-2帧的像素灰度之间的帧差作为第一帧差，取得所述第一帧差大于0的第一像素点集合；获取第n帧的像素灰度与第n-2帧的像素灰度之间的帧差作为第二帧差，取得所述第二帧差中的第一像素点集合部分作为第二像素点集合；获取所述第二像素点集合中像素大于第一设定阈值的第三像素点集合；步骤S22，对于得到的所述第三像素点集合的帧差图像进行图像处理以得到当前运动图；步骤S23，对获得的所述当前运动图进行联通域处理，找到联通的二值化运动区域及多个联通区块。上述的手部运动跟踪方法，所述步骤S3的具体步骤为：对于得到的多个所述联通区块，分别计算与上一帧跟踪结果附近搜索域中的联通区块的重叠率，选取重叠率最高的联通区块作为当前图像帧的目标区域，所述重叠率通过以下公式计算：H3＝H1∪H2其中，H3为当前图像帧的目标区域在搜索域中的区块；H1为上一图像帧的跟踪结果中的联通区块；H2为上一图像帧的跟踪结果附近搜索域中的联通区块；overlap为重叠率。上述的手部运动跟踪方法，所述步骤S3的具体步骤如下：步骤S31，获得五个联通区块：第n-1帧的跟踪结果中的第一联通区块，第n-1帧的跟踪结果附近搜索域中的第二联通区块，当前第n帧的目标区域在搜索域中的第三联通区块，所述第一联通区块与所述第三联通区块的交集为第四联通区块，所述第二联通区块与所述第三联通区块的交集为第五联通区块；步骤S32，获得第n-2帧的第一跟踪结果中心，第n-1帧的第二跟踪结果中心；第三联通区块的第一质心，第四联通区块的第二质心，第五联通区块的第三质心；步骤S33，根据所述第一跟踪结果中心、所述第二跟踪结果中心、所述第二质心、所述第三质心调整所述第一质心，得到跟踪结果；记录当前第n帧的跟踪结果中的第六联通区块，当前第n帧的跟踪结果附近搜索域中的第七联通区块。上述的手部运动跟踪方法，所述步骤S33的具体步骤包括：步骤S331，根据所述第一跟踪结果中心、所述第二跟踪结果中心计算估计运动方向及速度；步骤S332，根据所述运动方向及速度计算权重矩阵和中心权重，调整所述第一质心为调整后的第一质心；步骤S333，根据所述第二质心、所述第三质心校正调整后的第一质心，得到最终质心为跟踪结果。上述的手部运动跟踪方法，所述步骤S331通过以下公式得到运动方向以及速度；其中，p1x和p1y分别为第一跟踪结果中心C1的横向坐标和纵向坐标；p2x和p2y分别为第二跟踪结果中心C2的横向坐标和纵向坐标；ν为运动的速度；y为连接第一跟踪结果中心C1和第二跟踪结果中心C2的速度方向直线的直线函数；x为横向坐标的变量；b为一常数；Rect.width为搜索域的宽度；Rect.height为搜索域的高度。上述的手部运动跟踪方法，所述步骤S332包括步骤332a：根据所述速度的方向得到与所述速度方向垂直的向量，穿过搜索域中心将当前所述第三联通区块分为第一联通子区块与第二联通子区块，分别求出所述第一联通子区块的质心及所述第二联通子区块的质心，通过速度得到的中心权重来结合所述第一联通子区块的质心及所述第二联通子区块的质心，得到所述第三联通区块的中点：其中，w为权重系数；C31.x为第一子区块的质心C31的横向坐标；C32.x为第二子区块的质心C32的横向坐标；C31.y为第一子区块的质心C31的纵向坐标，C32.y为第二子区块的质心C32的纵向坐标；C3'.x为第三区块Q3的中点C3’的横向坐标；C3'.y为第三区块Q3的中点C3’的纵向坐标。上述的手部运动跟踪方法，所述步骤S332中，所述步骤332a之后还包括步骤S332b，提取两个图像帧的共有部分：第四联通区块和第五联通区块，分别计算所述第四联通区块和第五联通区块的质心，根据C4、C5调整C3’，得到最终C3”为跟踪结果。C3".x＝C4.x-C5.x+c3'.xC3".y＝C4.y-C5.y+C3'.y；其中，C4.x为第二质心C4的横向坐标；C4.y为第二质心C4的纵向坐标；C5.x为第三质心C5的横向坐标，C5.y为第三质心C5的纵向坐标；C3'.x为中点C3’的横向坐标；C3'.y为中点C3’的纵向坐标；C3"x为最终质心C3"的横向坐标；C3".y为最终质心C3"。上述的手部运动跟踪方法，步骤S5中，若在所述搜索域中检测到手势，则将检测结果作为纠正后的跟踪结果，并且更新所述第六联通区块及所述第七联通区块。还包括，一种手部运动目标跟踪系统，用于实施上述的手部运动跟踪方法，包括，图像采集模块，用于采集图像数据；运动检测模块，与所述图像采集模块连接，用于检测运动，得到运动图并计算联通域；跟踪模块，与所述运动检测模块连接，用于对手部进行跟踪；检测模块，用于检测手部并且纠正跟踪结果。有益效果：本专利技术提出了一种结合多种方法的手部运动估计方法，能够实时对手部进行跟踪，耗时短，计算快，对形变及快速的手部运动鲁棒性高，结合运动跟踪以及目标检测，及时纠正跟踪偏差的结果。附图说明图1为本专利技术一种手部运动跟踪方法的流程示意图；图2为本专利技术一种手部运动跟踪方法的步骤S2的流程示意图；图3为本专利技术的运动检测结果及联通区块示意图；图4本专利技术运动估计过程中得到的目标运动区块、跟踪结果区域及搜索域示意图；图5为本专利技术的联通区块的重叠率计算示意图；图6为本专利技术的步骤S3的流程示意图；图7为本专利技术使用的联通区块示意图；图8为本专利技术的步骤S33的流程示意图；图9为本专利技术通过权重矩阵调整中心的示意图；图10为本专利技术调整跟踪结果的示意图；图11为本专利技术一种手部运动目标跟踪系统的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实本文档来自技高网...

【技术保护点】
一种手部运动跟踪方法，其特征在于，包括以下步骤：步骤S1，采集图像以获取图像序列；步骤S2，获取所述图像序列中预定图像帧之间的帧差，依据帧差进行运动分割以获取当前的运动区域；步骤S3，自所述运动区域中提取当前图像帧的目标区域；步骤S4，在所述目标区域进行目标跟踪以得到当前图像帧的跟踪结果；步骤S5，在所述当前图像帧的跟踪结果附近的搜索域中进行手势检测以纠正所述跟踪结果。

【技术特征摘要】
1.一种手部运动跟踪方法，其特征在于，包括以下步骤：步骤S1，采集图像以获取图像序列；步骤S2，获取所述图像序列中预定图像帧之间的帧差，依据帧差进行运动分割以获取当前的运动区域；步骤S3，自所述运动区域中提取当前图像帧的目标区域；步骤S4，在所述目标区域进行目标跟踪以得到当前图像帧的跟踪结果；步骤S5，在所述当前图像帧的跟踪结果附近的搜索域中进行手势检测以纠正所述跟踪结果。2.根据权利要求1所述的手部运动跟踪方法，其特征在于，所述步骤S2的具体步骤为：步骤S21，计算二值帧差：获取第n-1帧的像素灰度与第n-2帧的像素灰度之间的帧差作为第一帧差，取得所述第一帧差大于0的第一像素点集合；获取第n帧的像素灰度与第n-2帧的像素灰度之间的帧差作为第二帧差，取得所述第二帧差中的第一像素点集合部分作为第二像素点集合；获取所述第二像素点集合中像素大于第一设定阈值的第三像素点集合；步骤S22，对于得到的所述第三像素点集合的帧差图像进行图像处理以得到当前运动图；步骤S23，对获得的所述当前运动图进行联通域处理，找到联通的二值化运动区域及多个联通区块。3.根据权利要求2所述的手部运动跟踪方法，其特征在于，所述步骤S3的具体步骤为：对于得到的多个所述联通区块，分别计算与上一帧跟踪结果附近搜索域中的联通区块的重叠率，选取重叠率最高的联通区块作为当前图像帧的目标区域，所述重叠率通过以下公式计算：H3＝H1∪H2其中，H3为当前图像帧的目标区域在搜索域中的区块；H1为上一图像帧的跟踪结果中的联通区块；H2为上一图像帧的跟踪结果附近搜索域中的联通区块；overlap为重叠率。4.根据权利要求3所述的手部运动跟踪方法，其特征在于，所述步骤S3的具体步骤如下：步骤S31，获得五个联通区块：第n-1帧的跟踪结果中的第一联通区块，第n-1帧的跟踪结果附近搜索域中的第二联通区块，当前第n帧的目标区域在搜索域中的第三联通区块，所述第一联通区块与所述第三联通区块的交集为第四联通区块，所述第二联通区块与所述第三联通区块的交集为第五联通区块；步骤S32，获得第n-2帧的第一跟踪结果中心，第n-1帧的第二跟踪结果中心；第三联通区块的第一质心，第四联通区块的第二质心，第五联通区块的第三质心；步骤S33，根据所述第一跟踪结果中心、所述第二跟踪结果中心、所述第二质心、所述第三质心调整所述第一质心，得到跟踪结果；记录当前第n帧的跟踪结果中的第六联通区块，当前第n帧的跟踪结果附近搜索域中的第七联通区块。5.根据权利要求4所述的手部运动跟踪方法，其特征在于，所述步骤S33的具体步骤包括：步骤S331，根据所述第一跟踪结果中心、所述第二跟踪结果中心计算估计运动方向及速度；步骤S332，根据所述运动方向及速度计算权重矩阵和中心权重，调整所述第一质心为调整后的第一质心；步骤S333，根据所述第二质心、所述第三质心校正调整后的第一质心，得到最终质心为跟踪结果。6.根据权利要求5所述的手部运动跟踪方法，其特征在于，所述步...

【专利技术属性】
技术研发人员：池立盈，
申请(专利权)人：芋头科技杭州有限公司，
类型：发明
国别省市：浙江,33