一种采用SURF特征和颜色特征相融合的刚体目标跟踪方法技术

本发明专利技术涉及一种采用SURF特征和颜色特征相融合的刚体目标跟踪方法。该方法包括：1)在初始图像中选定目标区域，在目标区域内提取SURF特征并建立SURF特征描述；2)在每一个以SURF特征点为中心的局部邻域内构建颜色特征；3)在当前图像到来时，首先利用颜色特征寻找初步的目标区域，之后提取SURF特征并与初始图像建立基于特征的匹配，形成匹配点对；4)根据得到的匹配点对计算得出运动参数，从而确定当前图像的目标区域，实现目标跟踪。本发明专利技术能够对目标区域的局部特征实现准确的描述和匹配，进而保证目标跟踪效果的鲁棒性、稳定性。

【技术实现步骤摘要】
一种采用SURF特征和颜色特征相融合的刚体目标跟踪方法
本专利技术属于计算机视觉
，具体涉及一种采用SURF特征和颜色特征相融合的刚体目标跟踪方法。
技术介绍
刚体目标表面任意一点的运动都可以代表整体的运动，使得利用目标区域内的特征来描述目标运动成为可能。已有的刚体目标跟踪方法致力于提取参考图像目标区域内具有不变性的某些特征，并对提取的特征进行量化和描述，如颜色特征、纹理特征、光流特征。局部特征是指在图像区域内检测到的局部具有不变性、可重现性和特异性的特征，能够在一定程度上抵抗遮挡、尺度、旋转等复杂变化，并提供对特征的定量描述。目前，相比其他特征，局部特征在不变性和特异性方面优势愈专利技术显，使其更加深入的应用在目标跟踪中。在当前帧到来时，首先对整个区域提取局部特征并描述。进而，通过局部特征的匹配找到同上一目标内局部特征的候选对应集。借助随机采样一致性算法(RANSAC)，去除不正确的对应特征集，估计出运动变换参数，实现目标跟踪。图1给出了基于特征的跟踪方法框图，其主要思路在于将跟踪看成是局部特征匹配问题。目前，SURF(Speed-upRobustFeature，加速鲁棒特征)特征是应用较多且效果较为理想的局部特征之一，主要引入积分图像快速算法，并通过执行加减法运算近似得到高斯二阶微分的响应值。SURF算法主要包括特征检测和特征描述两方面。特征检测通过快速计算每个特征的尺度和主方向，并且圈定以检测点为中心的尺度旋转不变对称邻域；特征描述在该不变性邻域内进行Haar特征计算，并最终形成64维特征向量。不同图像之间的SURF特征匹配主要是通过比较特征向量之间的距离实现的。运动模型构建是通过SURF特征匹配完成的。假设x和分别代表不同图像之间的对应SURF特征点，则二者之间有如下的关系：其中，W(x,h)是透视变换函数，h＝(h1,...h8)T是运动参数。具体表示如下：得出运动参数后，将初始帧的目标区域边界进行相应的透视变换，得到当前帧的目标区域。在视频中，场景经常会出现光照、遮挡、视角、仿射等一种或多种变化，对局部特征的匹配造成了严重的干扰。现有技术沿用和静态图像相同的局部特征匹配方法，无法适应发生剧烈变化的场景，也没有体现与场景连续性变化相对应的自适应性。
技术实现思路
视频序列中，场景经常会出现复杂变化，如尺度、旋转、光照、遮挡等，对刚体目标跟踪提出了挑战，通过什么策略能够对目标区域的局部特征实现准确的描述和匹配，进而保证目标跟踪效果的鲁棒性、稳定性，是本专利技术要解决的技术问题。本专利技术采用的技术方案如下：一种采用SURF特征和颜色特征相融合的刚体目标跟踪方法，其步骤包括：1)在初始图像中选定目标区域，在目标区域内提取SURF特征并建立SURF特征描述；2)在每一个以SURF特征点为中心的局部邻域内构建颜色特征；3)在当前图像到来时，首先利用颜色特征寻找初步的目标区域，之后提取SURF特征并与初始图像建立基于特征的匹配，形成匹配点对；4)根据得到的匹配点对计算得出运动参数，从而确定当前图像的目标区域，实现目标跟踪。进一步地，在完成对当前帧的跟踪后，对SURF特征和颜色特征进行在线更新，以便于后续帧的处理，提高后续跟踪的自适应性。进一步地，步骤1)提取SURF特征时，利用积分图像计算Hessian矩阵行列式，再通过选取极值来定位SURF特征点，并通过调整方格滤波器的尺寸来建立尺度空间；在建立SURF特征描述时，SURF特征的旋转不变性通过求取主方向实现，并利用积分图像进行Haar小波响应计算。进一步地，步骤2)通过构建颜色特征为每个SURF特征br在当前帧建立一个局部区域，使br仅与该区域内的SURF特征建立匹配关系。进一步地，步骤2)通过构建颜色特征来选取局部区域的方法是：对每一个SURF特征br，通过对比其N×N和2N×2N邻域构建颜色特征，筛选出两部分区域中具有鉴别力的颜色，建立目标颜色数据库Cf和背景颜色数据库Cb；在当前帧到来时选取局部区域进行特征匹配；如果当前帧的颜色重复性较强，可能会找到多处局部区域，此时特征匹配覆盖所有选取的局部区域；如果选取的局部区域占图像整体不足设定的阈值，则放弃选取的区域，改为选取图像整体区域进行处理。进一步地，步骤3)进行特征匹配的方法是：假设初始帧目标区域SURF特征点集合为B＝{b1,b2,...,bR}，对应特征向量描述子{U1,U2,...,UR}；第t帧到来时，首先进行SURF特征检测，得到特征点集合对应特征向量描述子Vt＝{Vt,1,Vt,2,...,Vt,Q}；然后利用特征向量Vt,r找到特征br的候选对应点ψt,r，之后按照描述子匹配的可靠性将候选对应点对进行排序，形成基于描述子向量匹配的对应点对。进一步地，步骤4)通过随机采样一致性算法即RANSAC计算出运动参数，实现对目标的定位。本专利技术的关键点包括：1)基于局部特征匹配解决刚体目标跟踪问题；2)在初始帧和当前帧之间对刚体目标构建运动模型；3)基于SURF特征的检测、描述和匹配在刚体目标跟踪中的应用；4)构建颜色特征，在不牺牲跟踪效果的前提下降低了计算量；5)在线更新使跟踪保持自适应性，保证了方案的系统性和完备性。本专利技术的有益效果如下：本专利技术提出了融合SURF特征和颜色特征的刚体目标跟踪方案，通过在初始帧和当前帧之间对刚体目标构建运动模型，使跟踪误差无法累积，避免了漂移的出现；利用复杂变化下SURF特征的可重复性提出基于特征的匹配方案；构建颜色特征，在不牺牲跟踪效果的前提下降低了计算量；在线更新使跟踪保持自适应性，保证了算法的系统性和完备性。最终使跟踪保持对复杂变化的自适应性，达到鲁棒和稳定的效果。附图说明图1是基于特征的跟踪方法框图。图2是采用SURF和颜色特征结合的跟踪方案流程图。图3是基于扇形滑动窗口的主方向求解示意图。图4是特征描述子表示图。。图5是利用积分图像进行Haar小波响应计算示意图。图6是利用颜色特征选取局部匹配区域示意图。图7是目标跟踪示意图。具体实施方式下面通过具体实施例和附图，对本专利技术做进一步说明。本专利技术提出了一种新的刚体目标跟踪方案，并根据初始帧和当前帧之间的目标变化建立联系。由于刚体的内部结构具有运动一致性，该方案利用SURF特征匹配来确定目标区域，将跟踪看作特征点匹配问题。通过构建颜色特征，在当前帧圈定待匹配的区域，将颜色特征和SURF特征相结合，实现精细化匹配。在完成对当前帧的跟踪后，对SURF特征和颜色特征做进一步更新，提高后续跟踪的自适应性。最终使跟踪保持对复杂变化的自适应性，达到鲁棒和稳定的效果。本专利技术工作流程如图2。在初始图像中，选定目标区域，并在区域内提取SURF特征和建立特征描述，同时在每一个以SURF特征点为中心的局部邻域内构建颜色特征。在新的图像到来之时，首先利用颜色特征寻找初步的目标区域，之后提取SURF特征，再与初始图像建立基于特征的匹配，形成最终匹配点对。通过RANSAC计算出运动参数，实现对目标的定位。最后，对SURF特征和颜色特征进行在线更新，便于后续帧的处理。具体实现方案描述如下：步骤一：SURF特征提取SURF特征提取利用积分图像计算Hessian矩阵行列式，再通过选取极值来定位。具体地，对图像I上点x＝(x,y)处，尺度s的本文档来自技高网...

【技术保护点】
一种采用SURF特征和颜色特征相融合的刚体目标跟踪方法，其步骤包括：1)在初始图像中选定目标区域，在目标区域内提取SURF特征并建立SURF特征描述；2)在每一个以SURF特征点为中心的局部邻域内构建颜色特征；3)在当前图像到来时，利用颜色特征寻找初步的目标区域，之后提取SURF特征并与初始图像建立基于特征的匹配，形成匹配点对；4)根据得到的匹配点对计算得出运动参数，从而确定当前图像的目标区域，实现目标跟踪。

【技术特征摘要】
1.一种采用SURF特征和颜色特征相融合的刚体目标跟踪方法，其步骤包括：1)在初始图像中选定目标区域，在目标区域内提取SURF特征并建立SURF特征描述；2)在每一个以SURF特征点为中心的局部邻域内构建颜色特征；3)在当前图像到来时，利用颜色特征寻找初步的目标区域，之后提取SURF特征并与初始图像建立基于特征的匹配，形成匹配点对；4)根据得到的匹配点对计算得出运动参数，从而确定当前图像的目标区域，实现目标跟踪。2.如权利要求1所述的方法，其特征在于：在完成对当前帧的跟踪后，对SURF特征和颜色特征进行在线更新，以便于后续帧的处理，提高后续跟踪的自适应性。3.如权利要求1所述的方法，其特征在于：步骤1)提取SURF特征时，利用积分图像计算Hessian矩阵行列式，再通过选取极值来定位SURF特征点，并通过调整方格滤波器的尺寸来建立尺度空间；在建立SURF特征描述时，SURF特征的旋转不变性通过求取主方向实现，并利用积分图像进行Haar小波响应计算。4.如权利要求1所述的方法，其特征在于：步骤1)建立SURF特征描述时，特征描述子共由64维特征向量组成，即：以特征点为中心，沿主方向取一个尺寸为20s的矩形窗口，将20s的窗口划分成4×4子窗口，每个子窗口中有5s×5s个像元；使用尺寸为2s的Haar小波对子窗口图像进行其响应值计算，共进行25次采样，分别得到沿主方向的dy和垂直于主方向的dx；然后，以特征点为中心，对dy和dx进行高斯加权计算；最后，分别对每个子块的响应值进行统计，得到每个子块的矢量：V子块＝[∑dx,∑|dx|,∑dy,∑|dy|]，由于共有4×4个子块，故特征描述子共由4×4×4＝64维特征向量组成。5.如权利要求1所述的方法，其特征在于：步骤2)通过构建颜色特征为每个SURF特征b...

【专利技术属性】
技术研发人员：苗权，吴昊，李晗，程光，徐明宇，李锐光，
申请(专利权)人：国家计算机网络与信息安全管理中心，
类型：发明
国别省市：北京,11