目标跟踪方法和目标跟踪设备技术

技术编号:17781127 阅读:47 留言:0更新日期:2018-04-22 10:26
本公开提供了一种目标跟踪方法和一种目标跟踪设备,所述方法包括:在图像帧序列的首帧中指定要跟踪目标;利用局部区域模型确定当前帧中是否存在至少一个候选局部区域;在存在至少一个候选局部区域的情况下,将所述候选局部区域分别与在前帧中的对应局部区域进行主匹配;如果根据主匹配的结果确定当前帧中存在至少一个深度匹配区域,则针对所述至少一个深度匹配区域执行邻域生长,得到目标跟踪结果。利用根据本发明专利技术实施例,能够在具有遮挡的情况下有效地实现非刚性对象的目标跟踪。

【技术实现步骤摘要】
目标跟踪方法和目标跟踪设备
本申请总体上涉及图像处理,具体地,涉及一种例如应用于移动设备、智能电视和其他设备的目标跟踪方法和目标跟踪设备。
技术介绍
实际中,存在多种可变形的非刚性可视对象,这种可视对象的视觉外观和形状可能变化较大。因此,尤其在某些复杂环境中,难以实现这种非刚性目标的视觉跟踪。已经提出了一些技术方案来进行目标跟踪。例如,文献1(CN103325126A)公开了一种在尺度变化和遮挡情况下的视频目标跟踪方法。该方法为解决局部二值模式(LBP,LocalBinaryPattern)跟踪算法在尺度变化和遮挡情况下跟踪效果不理想的问题,提出了一种基于LBP算法、归一化转动惯量(NMI,NormalizedMomentofInertia)特征和卡尔曼滤波相结合的优化目标跟踪方法。例如,文献2(CN103413312A)公开了一种基于邻里成分分析和尺寸空间理论的视频目标跟踪方法。根据这种目标跟踪方法,能够更准确地定位目标的位置和尺寸大小,更有效的适应目标光照、色彩变化问题,同时鲁棒的处理目标遮挡。例如,文献3(CN104318590A)公开了一种视频中的目标跟踪方法,包括:预先设定视频中的当前帧的目标位置,初始化稀疏矩阵;获取目标位置周围样本的高维特征向量,并使用稀疏矩阵将该高维向量投影到低维向量;更新分类器参数,得到用于下一帧的新的分类器,选择分类值最大的样本位置作为下一帧的目标位置。该方法提高了目标跟踪方法的速度。再例如,文献4(AU20140253687)公开了一种跟踪目标的系统和方法,用于检测和跟踪图像序列中的对象。首先,基于第一图像产生用于参数化形状模型的第一参数集合。然后,通过将参数化形状模型拟合到多个图像中的第二图像中的对象来产生第二参数集合。尤其在具有遮挡的情况下,不易实现针对任意非刚性对象的参数化形状模型。然而,上述技术方案均存在缺陷。例如,文献1主要针对尺度变化和遮挡情况下的视频目标跟踪,不能用于处理非刚性目标;文献2针对目标跟踪中的目标光照、色彩变化问题,同时改进跟踪位置,不适于尤其具有遮挡的非刚性目标;文献3针对提供跟踪速度,同样不适于非刚性目标;文献4不易实现针对任意非刚性对象的参数化形状模型,尤其在具有遮挡的情况下。
技术实现思路
本专利技术提出了一种目标跟踪方法和目标跟踪设备,以便在具有遮挡的情况下进行非刚性对象的目标跟踪。根据本专利技术的一方面,提出了一种目标跟踪方法,可以包括:在图像帧序列的首帧中指定要跟踪目标;利用局部区域模型确定当前帧中是否存在至少一个候选局部区域;在存在至少一个候选局部区域的情况下,将所述候选局部区域分别与在前帧中的对应局部区域进行主匹配;如果根据主匹配的结果确定当前帧中存在至少一个深度匹配区域,则针对所述至少一个深度匹配区域执行邻域生长,得到目标跟踪结果。在实施例中,所述目标跟踪方法还可以包括使用目标跟踪结果更新所述局部区域模型。在实施例中,使用目标跟踪结果更新所述局部区域模型可以包括:分别使用初始指定的要跟踪目标的信息和当前帧的目标跟踪结果来在线训练多个分类器;合并学习结果;以及利用合并的学习结果来更新局部区域模型,以便使用更新的局部区域模型来进行下一帧的目标跟踪操作。在实施例中,确定当前帧中是否存在至少一个候选局部区域可以包括:对当前帧执行基于超像素的图像分割以得到多个局部区域;利用局部区域模型确定所述多个局部区域中是否存在符合预定条件的候选局部区域。在实施例中,确定是否存在符合预定条件的候选局部区域可以包括:利用以下公式估计多个局部区域中的每个局部区域属于被跟踪目标的概率其中,wi是系数,pi利用第i种学习方法估计的对应局部区域属于被跟踪目标的概率,p是对应局部区域属于被跟踪目标的集成概率,N是大于2的自然数;将集成概率p大于第三阈值的对应局部区域确定为候选局部区域;以及如果不存在集成概率p大于第三阈值的对应局部区域,则确定目标丢失。其中,在实施例中,主匹配可以包括:分别计算候选局部区域中的每一个与在前帧的对应局部区域之间的第一相似度,如果第一相似度大于第一阈值,则将当前候选局部区域设置为深度匹配区域。在实施例中,邻域生长可以包括:针对每个深度匹配区域,计算所述深度匹配区域的所有相邻的其它未被匹配到的局部区域各自与所述深度匹配区域的第二相似度,如果第二相似度大于第二阈值,则认为该未被匹配的局部区域属于目标区域,并将该未被匹配的局部区域设定为生长的区域;以及输出生长的区域作为目标跟踪结果。在实施例中,当存在多个深度匹配区域时,对生长的邻域区域迭代地执行计算第二相似度的步骤,直到生长的区域与其他深度匹配区域相邻接。根据本专利技术的另一方面,提供了一种目标跟踪设备,可以包括:主匹配单元,配置为接收图像帧序列,利用局部区域模型确定当前帧中是否存在至少一个候选局部区域,并在存在至少一个候选局部区域的情况下,将至少一个候选局部区域中的每一个分别与在前帧中的对应局部区域进行主匹配,得到至少一个深度匹配区域;邻域生长单元,配置为针对来自主匹配单元的至少一个深度匹配区域执行邻域生长,得到目标跟踪结果;以及模型更新单元,配置为利用来自邻域生长单元的目标跟踪结果对局部区域模型进行更新,并将更新的局部区域模型发送到主匹配单元。根据本专利技术实施例,利用主匹配得到当前帧中与在前帧中目标的深度匹配区域,对深度匹配区域进行邻域生长得到目标跟踪结果。此外,使用集成的学习方法来更新局部区域模型并利用更新的局部区域模型来得到至少一个候选局部区域。利用根据本专利技术实施例的技术方案,能够在具有遮挡的情况下有效地实现非刚性对象的目标跟踪。附图说明通过参考附图更加清楚地理解本专利技术实施例的特征和优点,附图是示意性的而不应理解为对本专利技术进行任何限制,在附图中:图1示出了根据本专利技术实施例的目标跟踪方法的流程图;图2示出了根据本专利技术实施例的目标跟踪方法中确定候选局部区域的示例流程图;图3示出了根据本专利技术实施例的目标跟踪方法中执行主匹配的示例流程图;图4示出了根据本专利技术实施例的目标跟踪方法中邻域生长的示例。图5示出了根据本专利技术实施例的目标跟踪方法中更新局部区域模型的示例流程图;以及图6示出了根据本专利技术实施例的目标跟踪设备的示意方框图;具体实施方式根据本专利技术实施例,提供了一种目标跟踪方法和目标跟踪设备,其中利用被称作“递归图跟踪”(recurrentgraphtracking)的技术,利用主匹配得到当前帧中与在前帧中目标的深度匹配区域,对深度匹配区域进行邻域生长得到目标跟踪结果。此外,使用例如在线学习方法来更新局部区域模型并利用更新的局部区域模型来得到至少一个候选局部区域。利用根据本专利技术实施例的技术方案,能够在具有遮挡的情况下有效地实现非刚性对象的目标跟踪。为使本专利技术的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本专利技术实施例进一步详细说明。显然,所描述的实施例仅仅是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。图1示出了根据本专利技术实施例的目标跟踪方法的流程图。应注意,以下方法中各个步骤的序号仅作为该步骤的表示以便描述,而不应被看作表示该各个的执行顺序。除非明确指出,否则该本文档来自技高网
...
目标跟踪方法和目标跟踪设备

【技术保护点】
一种目标跟踪方法,包括:在图像帧序列的首帧中指定要跟踪目标;利用局部区域模型确定当前帧中是否存在至少一个候选局部区域;在存在至少一个候选局部区域的情况下,将所述候选局部区域分别与在前帧中的对应局部区域进行主匹配;如果根据主匹配的结果确定当前帧中存在至少一个深度匹配区域,则针对所述至少一个深度匹配区域执行邻域生长,得到目标跟踪结果。

【技术特征摘要】
1.一种目标跟踪方法,包括:在图像帧序列的首帧中指定要跟踪目标;利用局部区域模型确定当前帧中是否存在至少一个候选局部区域;在存在至少一个候选局部区域的情况下,将所述候选局部区域分别与在前帧中的对应局部区域进行主匹配;如果根据主匹配的结果确定当前帧中存在至少一个深度匹配区域,则针对所述至少一个深度匹配区域执行邻域生长,得到目标跟踪结果。2.根据权利要求1所述的方法,还包括使用目标跟踪结果更新所述局部区域模型。3.根据权利要求2所述的方法,其中,所述使用目标跟踪结果更新所述局部区域模型包括:分别使用初始指定的要跟踪目标的信息和当前帧的目标跟踪结果来在线训练多个分类器;合并学习结果;以及利用合并的学习结果来更新局部区域模型,以便使用更新的局部区域模型来进行下一帧的目标跟踪操作。4.根据权利要求1所述的方法,其中,所述确定当前帧中是否存在至少一个候选局部区域包括:对当前帧执行基于超像素的图像分割以得到多个局部区域;利用局部区域模型确定所述多个局部区域中是否存在符合预定条件的候选局部区域。5.根据权利要求4所述的方法,其中,确定是否存在符合预定条件的候选局部区域包括:利用以下公式估计多个局部区域中的每个局部区域属于被跟踪目标的概率其中,wi是系数,pi利用第i种学习方法估计的对应局部区域属于被跟踪目标的概率,p是对应局部区域属于被跟踪目标的集成概率,N是大于2的自然数;将集成概率p大于第三阈值的对应局部区域确定为候选局部区域;以及如果不存在集成概率p大于第三阈值的对应局部区域,则确定目标丢失。6.根据权利要求5所述的方法,其中,7.根据权利要求1所述的方法,其中,所述主匹配包括:分别计算候选局部区域中的每一个与在前帧的对应局部区域之间的第一相似度,如果第一相似度大于第一阈值,则将当前候选局部区域设置为深度匹配区域。8.根据权利要求1所述的方法,其中,所述邻域生长包括:针对每个深度匹配区域,计算所述深度匹配区域的所有相邻的其它未被匹配到的局部区域各自与所述深度匹配区域的第二相似度,如果第二相似度大于第二阈值,则认为该未被匹配的局部区域属于目标区域,并将该未被匹配的局部区域设定为生长的区域;以及输出生长的区域作为目标跟踪结果。9.根据权利要求8所述的方法,其中,当存在多个深度匹配区域时,对生长的邻域区域迭代地执行计算第二相似度的步骤,直到生长的区域与其他深度匹配区域相邻接。10.一种...

【专利技术属性】
技术研发人员:陈海林
申请(专利权)人:夏普株式会社
类型:发明
国别省市:日本,JP

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1