一种基于结构化逐像素目标注意机制的目标跟踪方法技术

本发明专利技术提出了一种基于结构化逐像素目标注意机制的目标跟踪方法，属于目标跟踪技术领域，用于解决传统暹罗跟踪算法为抑制背景利用余弦窗加权作为位置约束的方法无法精确获得目标边界，难以有效提高跟踪鲁棒性的问题。本发明专利技术首先建立逐像素目标注意机制，评估像素属于目标的概率，有效地区分目标边界，突出目标区域。同时，利用结构信息解决逐像素干扰，结合互补标签约束，得到结构逐像素目标注意模型，提高最终响应图的置信度，实现更可靠的目标定位。然后通过记忆器评估跟踪结果的置信度，保留高质量的样本更新结构化逐像素目标注意模型，提高模型的表达能力，从而实现更鲁棒性的跟踪性能。

【技术实现步骤摘要】
一种基于结构化逐像素目标注意机制的目标跟踪方法
本专利技术涉及目标跟踪的
，特别是指一种基于结构化逐像素目标注意机制的目标跟踪方法。
技术介绍
目标跟踪是计算机视觉领域中基础的研究课题之一，在图像理解、自动驾驶、视频监控等方面具有广泛的应用。目标跟踪是给定任意目标在第一帧中的位置，然后在不断变化的视频序列中自动定位。虽然视觉跟踪在最近的研究中得到了很大的进步，但由于背景杂乱、形变、遮挡等因素的影响，实现鲁棒的跟踪一直被认为是一项极具挑战性的任务。近年来，基于孪生网络的跟踪算法因其速度快、精度高而受到视觉跟踪界的广泛关注。通过将目标跟踪转换为一个相似度学习问题，孪生跟踪器的目标是从大量视频中离线学习一般的相似度函数。虽然上述的跟踪方法取得了优异的跟踪性能，特别是在良好的平衡精度和速度，暹罗学习框架仍有一些限制。首先，在面对背景杂乱时暹罗跟踪器很难保持其优越的性能。大多数暹罗跟踪器都能有效地从简单的背景中分离目标。然而，背景干扰总是会影响跟踪性能，这是提高跟踪性能的关键。因此，当背景具有杂波时，跟踪性能无法得到保证。一些传统孪生跟踪方法为了抑制背景信息对目标建模的影响，传统的孪生跟踪方法采用高斯加权、余弦窗口加权作为结构约束来突出目标区域。然而，存在两个问题。一是结构约束只与目标位置有关(根据到前一帧目标中心的距离)，没有利用目标的特征。该方法不能准确区分前景和背景，不能识别前景和背景的轮廓，特别是在背景杂乱的情况下。其次，由于目标运动的不确定性，目标在下一帧中的位置是任意的。当发生快速运动时，简单基于距离的结构约束会导致位置偏见问题，因为远距离处的低权值使得位移较大的目标成为背景。通常情况下，目标不是规则的矩形，结构约束没有充分利用目标特征，不能有效地识别目标轮廓，抑制干扰物，还会造成位置偏见问题。因此，针对现有的利用时间上下文先验作为位置约束存在的问题，有必要提出一种能准确识别目标边界，有效突出目标的注意力机制。
技术实现思路
针对传统孪生跟踪方法以距离为基础的高斯加权、余弦加权作为结构位置约束由于无法精确获得目标背景和前景的边界，难以有效抑制背景干扰的技术问题，本专利技术提供了一种基于结构化逐像素目标注意机制的目标跟踪方法，利用逐像素的目标识别能够有效判别不规则目标边界，突出目标区域以提高最终响应图的置信度，提高跟踪的鲁棒性。本专利技术的技术方案是这样实现的：一种基于结构化逐像素目标注意机制的目标跟踪方法，其步骤如下：步骤一、根据初始帧图像中目标的位置信息，在初始帧图像中截取包含背景的图像，并将含背景的图像分为目标图像和背景图像；步骤二、分别将目标图像和背景图像转化至HSV颜色空间，利用标准Epanechnikov核函数提取目标图像的颜色直方图HO，利用标准方法提取背景图像的颜色直方图HB；步骤三、提取目标图像的特征图，并对特征图进行求解获得记忆器；步骤四、获取下一帧图像作为当前处理图像，根据上一帧图像的目标位置信息截取当前处理图像的搜索区域图像；步骤五、利用目标图像的颜色直方图HO、背景图像的颜色直方图HB和贝叶斯法则对搜索区域图像进行计算得到逐像素目标概率图；步骤六、根据帧间运动信息，利用余弦分布作为时间结构化约束生成的结构化目标概率图，并将逐像素目标概率图和结构化目标概率图进行线性组合获得结构化逐像素目标概率图；步骤七、将搜索区域图像输入VGG-16网络，分别输出VGG-16的conv4-3和conv4-1层的搜索区域特征，并将搜索区域特征和特征图输入相似性比较网络，通过相似性计算获得搜索区域的得分图；步骤八、将搜索区域的得分图与结构化逐像素目标概率图相加得到当前处理图像的最终响应图，将最终响应图中响应值的最大值处为当前处理图像的目标位置；步骤九、截取当前处理图像的目标区域图像作为跟踪结果，并将跟踪结果输入记忆器得到跟踪结果的置信度，判断置信度是否大于稳定阈值，若是，执行步骤十，否则，返回步骤四，直至视频结束；步骤十、根据跟踪结果截取目标图像及目标周围的背景图像，分别提取目标图像和背景图像的颜色直方图，更新目标图像的颜色直方图HO与背景图像的颜色直方图HB，同时更新记忆器，返回步骤四，直至视频结束。所述提取目标图像的特征图，并对特征图进行求解获得记忆器的方法为：S31、将目标图像输入VGG-16网络，分别输出VGG-16网络中的conv4-3层的第一特征图和conv4-1层的第二特征图，然后利用梯度，从特征图中保留固定数量的滤波器得到目标图像的特征图；S32、提取目标图像的标准HOG特征和Colornames特征；S33、根据标准HOG特征和Colornames特征构建记忆器模型对应的目标函数，通过求解目标函数的最优解得到目标图像对应的记忆器。所述记忆器模型对应的目标函数为：其中，fd是具有d个通道的特征图，是具有Nd个通道的特征图，hd是与特征图相对应的记忆器，是与特征图相对应的记忆器，g是期望输出，λ是正则化参数。所述利用目标图像的颜色直方图HO、背景图像的颜色直方图HB和贝叶斯法则对搜索区域图像进行计算得到逐像素目标概率图的方法为：计算空间逐像素目标概率图m，其中，每个元素m∈{0,1}表示每个像素的目标概率；通过贝叶斯法则计算在在外观条件y下位置l处目标概率为：其中，p(m∈O|y,l)表示每个像素属于目标的概率，p(y|m∈O)表示目标图像的似然矩阵，p(y|m∈S)表示背景图像的似然矩阵；p(m∈O)＝k(l；σ)，其中，k(l；σ)为修正的Epanechnikov核，k(r；σ)＝1-(r/σ)2，σ为卷积核的尺寸参数，r表示位置l处像素与中心像素的距离。所述结构化逐像素目标概率图为：其中，mc表示结构化逐像素目标概率图，ms表示利用结构化信息生成的结构化目标概率图，Tm表示逐像素目标概率的最大值，Tc表示给定阈值，α表示加权系数。所述最终响应图为：其中，z为搜索区域图像，x目标图像，f(x,z)为最终响应图，表示提取输入图像特征操作，corr(·)表示互相关操作。所述跟踪结果的置信度的获得方法为：其中，TP表示跟踪结果的置信度，p(f'd*hd)是目标区域图像与记忆器中的目标图像的相关性的值，p(f'd)由跟踪结果计算出的信道可靠性的先验概率。所述目标图像的颜色直方图HO与背景图像的颜色直方图HB更新方法为：记忆器的更新方法为：其中，t为当前帧数，ηf记忆器的更新速率，ηc为颜色直方图的更新速率，表示累积目标颜色直方图，表示t-1帧的历史目标颜色直方图，HO,t表示当前帧目标的颜色直方图，表示累积背景颜色直方图，表示t-1帧的历史背景颜色直方图，HB,t表示当前帧跟踪目标周围背景的颜色直方图。本技术方案能产生的有益效果：(1)本专利技术采用逐像素的目标判本文档来自技高网...

【技术保护点】
1.一种基于结构化逐像素目标注意机制的目标跟踪方法，其特征在于，其步骤如下：/n步骤一、根据初始帧图像中目标的位置信息，在初始帧图像中截取包含背景的图像，并将含背景的图像分为目标图像和背景图像；/n步骤二、分别将目标图像和背景图像转化至HSV颜色空间，利用标准Epanechnikov核函数提取目标图像的颜色直方图H

【技术特征摘要】
1.一种基于结构化逐像素目标注意机制的目标跟踪方法，其特征在于，其步骤如下：
步骤一、根据初始帧图像中目标的位置信息，在初始帧图像中截取包含背景的图像，并将含背景的图像分为目标图像和背景图像；
步骤二、分别将目标图像和背景图像转化至HSV颜色空间，利用标准Epanechnikov核函数提取目标图像的颜色直方图HO，利用标准方法提取背景图像的颜色直方图HB；
步骤三、提取目标图像的特征图，并对特征图进行求解获得记忆器；
步骤四、获取下一帧图像作为当前处理图像，根据上一帧图像的目标位置信息截取当前处理图像的搜索区域图像；
步骤五、利用目标图像的颜色直方图HO、背景图像的颜色直方图HB和贝叶斯法则对搜索区域图像进行计算得到逐像素目标概率图；
步骤六、根据帧间运动信息，利用余弦分布作为时间结构化约束生成的结构化目标概率图，并将逐像素目标概率图和结构化目标概率图进行线性组合获得结构化逐像素目标概率图；
步骤七、将搜索区域图像输入VGG-16网络，分别输出VGG-16的conv4-3和conv4-1层的搜索区域特征，并将搜索区域特征和特征图输入相似性比较网络，通过相似性计算获得搜索区域的得分图；
步骤八、将搜索区域的得分图与结构化逐像素目标概率图相加得到当前处理图像的最终响应图，将最终响应图中响应值的最大值处为当前处理图像的目标位置；
步骤九、截取当前处理图像的目标区域图像作为跟踪结果，并将跟踪结果输入记忆器得到跟踪结果的置信度，判断置信度是否大于稳定阈值，若是，执行步骤十，否则，返回步骤四，直至视频结束；
步骤十、根据跟踪结果截取目标图像及目标周围的背景图像，分别提取目标图像和背景图像的颜色直方图，更新目标图像的颜色直方图HO与背景图像的颜色直方图HB，同时更新记忆器，返回步骤四，直至视频结束。


2.根据权利要求1所述的基于结构化逐像素目标注意机制的目标跟踪方法，其特征在于，所述提取目标图像的特征图，并对特征图进行求解获得记忆器的方法为：
S31、将目标图像输入VGG-16网络，分别输出VGG-16网络中的conv4-3层的第一特征图和conv4-1层的第二特征图，然后利用梯度，从特征图中保留固定数量的滤波器得到目标图像的特征图；
S32、提取目标图像的标准HOG特征和Colornames特征；
S33、根据标准HOG特征和Colornames特征构建记忆器模型对应的目标函数，通过求解目标函数的最优解得到目标图像对应的记忆器。


3.根据权利要求2所述的基于结构化逐像素目标注意机制的目标跟踪方法，其特征在于，所述记忆器模型对应的目标函数为：



其...

【专利技术属性】
技术研发人员：张焕龙，陈青华，于俊洋，程利云，张杰，史坤峰，安小宇，杨光露，陈宜滨，孔汉，
申请(专利权)人：郑州轻工业大学，
类型：发明
国别省市：河南;41