使用动态搜索的视频目标跟踪方法技术

本发明专利技术公开了一种使用动态搜索的视频目标跟踪方法，主要解决现有技术跟踪效果不佳的问题。其实现方案为：根据第一帧目标包围盒建立全结构与或图；对全结构与或图修剪得对象与或图；使用对象与或图在划定的搜索区域跟踪，产生当前帧解析集合和最优结果，并由该集合设置当前帧参数放入训练帧集合；根据训练帧集合计算不可追踪帧计数及干扰对象个数，并据此参数判断是否需要重新学习对象与或图：若是，则重新剪枝全结构与或图，获得更新的对象与或图，否则，使用当前帧解析集合进行对象与或图根或节点训练；使用更新后的目标对象与或图进行下一帧的跟踪，直到完成最后一帧跟踪。本发明专利技术跟踪效果好，性能优，可用于对视频中目标运动轨迹的检测和跟踪。

Video target tracking method using dynamic search

【技术实现步骤摘要】
使用动态搜索的视频目标跟踪方法
本专利技术属于视频处理
，特别涉及一种目标跟踪方法，可用于对视频中目标运动轨迹的检测和跟踪。
技术介绍
视频中的目标检测和在线跟踪一直是受到普遍重视和研究的问题，该问题广泛存在于刑侦学，信息科学，计算机科学，图像学等诸多科学
在实际运用中，视频输入端会将视频流进行处理分帧，并逐帧传回后端，后端根据由初始帧标记的待跟踪对象进行逐帧解析并进行目标的在线跟踪，待跟踪对象可以是人类，动物，植物，以及任何在视频中具有实际形体的物件。通过对视频中运动目标的跟踪，可以获得目标在整个视频流中的运动路径。目标运动的跟踪结果可应用于轨迹预测，预警分析，动作捕捉等多个方向，具有广泛的理论和实际应用价值。NavneetDalal,BillTriggs等人在其论文《HistogramsofOrientedGradientsforHumanDetection》，提出使用方向梯度直方图(以下统称HOG特征)用作目标检测跟踪，该方法是经典的目标跟踪方法之一。其先通过将初始帧中标记的待检测对象进行裁剪，提取HOG特征，并训练出SVM分类器，再在后续帧中使用滑动窗口的方式寻找高响应区域并标记，实现对目标的检测和跟踪。该方法的优势是不需要使用大量数据进行预训练，并且运行较快，在任何类别下都可进行在线跟踪。缺陷是相较于神经网络跟踪的准确率不高，容易出现跟踪失败的情况。PedroF.Felzenszwalb等人所著论文《ObjectDetectionwithDiscriminativelyTrainedPart-BasedModels》中提出判别性训练部分模板DPM方法用作目标检测跟踪，该方法在HOG特征的基础上，扩充二倍分辨率下的部分模板，并引入隐变量支持向量机LSVM对部分模板进行训练，从而更好实现对象的检测跟踪，但该方法存在需要实现确定部分模板数量的缺陷。TianfuWu等人在论文《OnlineObjectTracking,LearningandParsingwithAnd-OrGraphs》中提出了基于与或图AOG的目标检测和跟踪方法。TianfuWu等人在其论文中使用HOG+局部二进制LBP+颜色直方图来扩充传统的HOG特征，并结合AOG对目标进行结构建模，但在实际运用中该方法仍存在跟踪失败的情况，尤其是在一些较复杂的数据集上，表现的更为明显。深圳腾讯科技有限公司在其申请的专利“目标跟踪方法、目标跟踪装置、目标跟踪设备”(申请号：201811198327.9，公开号：110163889A)中，公开了一种目标检测方法，该方法将人分成头部和身体，分别进行检测，并对最终检测结果进行合并。该方法有着划分死板的缺陷，无法针对目标进行灵活的分割和划分最具判别力的设置，使得最终跟踪结果差。中国电子科技集团公司第三研究所在其申请的专利“目标跟踪方法和目标跟踪装置”(申请号：201611128715.0，公开号：106709939B)中，介绍了一种目标跟踪的方法，该方法利用帧间差异结合模型算法对目标轨迹进行推断，这种方法没有对跟踪目标进行结构建模，仅对图像全局进行分析，很容易受到背景杂波和物体形变等多种复杂情况的干扰，导致跟踪效果不佳。
技术实现思路
本专利技术的目的在于针对上述现有技术的不足，基于TianfuWu等人提出的传统与或图AOG跟踪方法，提出一种使用动态搜索的视频目标跟踪方法，以提高目标跟踪效果。本专利技术的技术思路是：将与或图AOG用作目标跟踪的基础，通过建立全结构与或图AOG，描述物体零件配置的所有可能方式；通过对全结构与或图AOG进行修剪，得到描述具体目标的对象与或图AOG；通过使用目标的对象与或图AOG在划定的搜索区域进行目标跟踪，选出当前帧的最优预测结果。其实现步骤包括如下：(1)根据第一帧目标包围盒建立全结构与或图AOG，以描述物体零件配置的所有可能方式，其包括与节点，或节点和终端节点；该与节点代表对组合的拆分，该或节点代表某种分割结果，或节点的子分支代表对或节点本身的不同分割方式，该终端节点用来接地至图像数据，终端节点与或节点一一对应，且每个或节点都有与其对应的子终端节点和多个子与节点；(2)对全结构与或图AOG进行修剪，得到描述具体目标的对象与或图AOG；(3)划定搜索区域，使用对象与或图AOG进行目标跟踪，产生当前帧的解析集合并从中选出当前帧的最优预测结果；(4)根据当前帧的解析集合进行当前帧的参数设置，并将当前帧添加进训练帧集合；(5)根据训练帧集合判断当前帧的可追踪帧性，获得不可追踪帧计数，并根据当前帧的解析集合获得当前帧的干扰对象总数；(6)根据训练帧集合进行对象与或图AOG的更新，即判断训练帧集合是否满足如下两个条件之一：A.不可追踪帧计数大于不可追踪帧上限阈值；B.当前帧为可追踪帧且当前帧的干扰对象总数大于干扰项上限阈值；若满足，则删除当前对象与或图AOG，基于训练帧集合对全结构AOG进行重新修剪，获得新的对象与或图AOG，该新的对象与或图AOG具有新的结构和新的各节点分类器参数，否则，即两个条件都不满足时，则保留对象与或图AOG，并使用当前帧的解析集合进行对象与或图AOG根或节点分类器的训练；(7)使用更新后的目标对象与或图AOG进行下一帧的跟踪，判断当前帧序号F是否为最后一帧序号，若是，则结束跟踪，否则，令F＝F+1，返回(3)进行下一帧的目标跟踪。本专利技术与现有技术相比，具有如下优点：第一，本专利技术通过与或图AOG对跟踪目标进行建模，描述了跟踪目标所有可能的零件配置，克服了传统基于HOG特征的目标跟踪算法仅针对整体建模而缺乏零件细节的缺陷，并且相较于其他死板的零件结构划分方法具有更强大的灵活性，使得本专利技术具有更优秀的跟踪性能。第二，本专利技术通过目标运动速度对目标搜索范围进行灵活控制，克服了传统基于帧间差异方法和传统与或图跟踪方法在较大且固定的搜索范围内进行目标搜索的缺陷，使得本专利技术具有较低的空间复杂度和更好的跟踪性能。第三，本专利技术通过及时更新描述目标的对象与或图AOG，令目标模型时刻保持较新的状态，克服了传统与或图跟踪方法对与或图模型更新不及时的缺陷，使得本专利技术更少的出现跟踪漂移、跟踪丢失情况，提高了跟踪稳定性和跟踪效果。附图说明图1是本专利技术的实现流程图；图2是用本专利技术和传统与或图AOG跟踪方法在TB50视频集上的跟踪准确率对比图；图3是用本专利技术和传统与或图AOG跟踪方法在TB50视频集上的跟踪成功率对比图；图4是用本专利技术和传统与或图AOG跟踪方法在TB100视频集上的跟踪准确率对比图；图5是用本专利技术和传统与或图AOG跟踪方法在TB100视频集上的跟踪成功率对比图。具体实施方式下面结合附图对本专利技术的实施例和效果做进一步的详细描述。本专利技术是对现有与或图AOG跟踪方法的改进，其中与或图AOG是由与节点、或节点的终端节点组成的树状结构，与节点代表对组合的拆分，本文档来自技高网...

【技术保护点】
1.一种使用动态搜索的视频目标跟踪方法，其特征在于，包括如下：/n(1)根据第一帧目标包围盒建立全结构与或图AOG，以描述物体零件配置的所有可能方式，其包括与节点，或节点和终端节点；该与节点代表对组合的拆分，该或节点代表某种分割结果，或节点的子分支代表对或节点本身的不同分割方式，该终端节点用来接地至图像数据，终端节点与或节点一一对应，且每个或节点都有与其对应的子终端节点和多个子与节点；/n(2)对全结构与或图AOG进行修剪，得到描述具体目标的对象与或图AOG；/n(3)划定搜索区域，使用对象与或图AOG进行目标跟踪，产生当前帧的解析集合并从中选出当前帧的最优预测结果；/n(4)根据当前帧的解析集合进行当前帧的参数设置，并将当前帧添加进训练帧集合；/n(5)根据训练帧集合判断当前帧的可追踪帧性，获得不可追踪帧计数，并根据当前帧的解析集合获得当前帧的干扰对象总数；/n(6)根据训练帧集合进行对象与或图AOG的更新，即判断训练帧集合是否满足如下两个条件之一：/nA.不可追踪帧计数大于不可追踪帧上限阈值；/nB.当前帧为可追踪帧且当前帧的干扰对象总数大于干扰项上限阈值；/n若满足，则删除当前对象与或图AOG，基于训练帧集合对全结构AOG进行重新修剪，获得新的对象与或图AOG，该新的对象与或图AOG具有新的结构和新的各节点分类器参数，/n否则，即两个条件都不满足时，则保留对象与或图AOG，并使用当前帧的解析集合进行对象与或图AOG根或节点分类器的训练；/n(7)使用更新后的目标对象与或图AOG进行下一帧的跟踪，判断当前帧序号F是否为最后一帧序号，若是，则结束跟踪，否则，令F＝F+1，返回(3)进行下一帧的目标跟踪。/n...

【技术特征摘要】
1.一种使用动态搜索的视频目标跟踪方法，其特征在于，包括如下：
(1)根据第一帧目标包围盒建立全结构与或图AOG，以描述物体零件配置的所有可能方式，其包括与节点，或节点和终端节点；该与节点代表对组合的拆分，该或节点代表某种分割结果，或节点的子分支代表对或节点本身的不同分割方式，该终端节点用来接地至图像数据，终端节点与或节点一一对应，且每个或节点都有与其对应的子终端节点和多个子与节点；
(2)对全结构与或图AOG进行修剪，得到描述具体目标的对象与或图AOG；
(3)划定搜索区域，使用对象与或图AOG进行目标跟踪，产生当前帧的解析集合并从中选出当前帧的最优预测结果；
(4)根据当前帧的解析集合进行当前帧的参数设置，并将当前帧添加进训练帧集合；
(5)根据训练帧集合判断当前帧的可追踪帧性，获得不可追踪帧计数，并根据当前帧的解析集合获得当前帧的干扰对象总数；
(6)根据训练帧集合进行对象与或图AOG的更新，即判断训练帧集合是否满足如下两个条件之一：
A.不可追踪帧计数大于不可追踪帧上限阈值；
B.当前帧为可追踪帧且当前帧的干扰对象总数大于干扰项上限阈值；
若满足，则删除当前对象与或图AOG，基于训练帧集合对全结构AOG进行重新修剪，获得新的对象与或图AOG，该新的对象与或图AOG具有新的结构和新的各节点分类器参数，
否则，即两个条件都不满足时，则保留对象与或图AOG，并使用当前帧的解析集合进行对象与或图AOG根或节点分类器的训练；
(7)使用更新后的目标对象与或图AOG进行下一帧的跟踪，判断当前帧序号F是否为最后一帧序号，若是，则结束跟踪，否则，令F＝F+1，返回(3)进行下一帧的目标跟踪。


2.根据权利要求1所述的方法，其中(1)中根据第一帧目标包围盒来建立全结构与或图AOG，实现如下：
(1a)读取第一帧中的目标对象包围盒并网格化；
(1b)将网格视作根或节点，为其创造一个终端子节点，用以连接图像数据；
(1c)将网格进行长或宽任意方向的二元分割，每种有效分割方式视作一个子与节点，将子与节点拆分成两个子或节点，子或节点即代表分割开的网格，每个子或节点拥有一个终端节点，代表子或节点本身，用以连接图像数据；
(1d)将子或节点视作新的根节点，递归进行二元分割直至所有或节点分割至单位网格为止，得到全结构与或图AOG。


3.根据权利要求1所述的方法，其中(2)中修剪全结构与或图AOG，得到描述具体目标的对象与或图AOG，实现如下：
(2a)建立正例特征向量集合R+和负例特征向量集合R-；
(2b)清空集合R+,R-；
(2c)定义正负例重叠率m，相似目标计数点τ，并对当前帧序号做判断，若当前帧序号为1，则执行(2d)，否则，执行(2e)；
(2d)统计第一帧的相似目标计数点并赋值给τ：
(2d1)定义第一帧搜索区域为：以第一帧目标对象包围盒中心点为中心，边长为MROI的正方形，其中MROI为搜索区域边长上限，将第一帧搜索区域网格化；
(2d2)计算第一帧目标对象包围盒的特征向量V1，使用和第一帧目标对象包围盒同等大小的滑动窗口，从第一帧搜索区域左上角按行优先的顺序遍历至右下角，计算每个滑动位置的特征向量V0，并将V1的模和V0的模的差值存入模值二维数组V；
(2d3)定义尺寸为FL×FL的滤波器，FL为滤波器长度，滤波器满足如下规则：
以滤波器左上角建立坐标系，滤波器中心位置的输入数据为滤波器内所有输入数据的最小值；
滤波器主副对角线上的输入数据满足靠近中心点的输入数据小于远离中心点的输入数据；
由主副对角线划分开的上下左右四个区域满足靠近中心点的输入数据小于远离中心点的输入数据，使用该滤波器以滑动窗口的方式对模值二维数组V进行滤波，统计在模值二维数组V上符合滤波器规则的区域总数，将该总数赋值给相似目标计数点τ；
(2e)定义每个训练帧均有各自的相似计数VC，以帧序号作为下标区分，统计所有训练帧的VC的平均值，将该平均值赋值给相似目标计数点τ；
(2f)参数更新：
(2f1)更新正负例重叠率m＝M0×(MT-e-τ)，其中M0为初始重叠率限制，MT为映射平移系数；
(2f2)更新正例特征向量集合R+，即对所有训练帧的预测包围盒进行平移，将平移结果和预测包围盒本身均作为正例包围盒，计算正例包围盒特征向量并添加进正例特征向量集合R+；
(2f3)更新负例特征向量集合R-，定义每个训练帧具有各自的难例特征向量集合HN，以帧序号作为下标区分，若当前帧序号不为1，则执行(2f4)，否则，执行(2f5)；
(2f4)判断相似目标计数点τ的值，定义相似估计阈值τα，若τ>τα，则将每个训练帧对应的HN添加进负例特征向量集合R-，并执行(2f5)...

【专利技术属性】
技术研发人员：吴炜，朱爰润，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61