【技术实现步骤摘要】
本专利技术属于计算机视觉，具体涉及一种层次特征融合的抗背景干扰孪生网络单目标跟踪方法。
技术介绍
1、目标跟踪作为图像处理领域一大基础任务，它通过对比视频序列第一帧提供的目标图形，与后续帧中感兴趣区域中的对象的相似性进行对比，实现对任意目标的跟踪，包括行人、车辆、飞行物体，这使得它被广泛应用于，自动驾驶、人机交互、军事雷达领域。不幸的是，当遇到复杂场景时，大多数跟踪器的跟踪效果都会受到很大影响。这些复杂因素中包括与目标外观相似的干扰物，与目标纹理相似的背景。在目标跟踪任务中，可能存在其他与在外观、颜色或纹理特征与目标相似的物体，这样会导致跟踪算法将这些干扰物体误认为目标。因此在复杂背景下实现精确跟踪仍然被认为是一个具有挑战性的研究目标。
2、得益于快速傅里叶变换，基于相关滤波的跟踪算法能够在较短的时间内完成相关性计算，因此成为目标跟踪中一个经典的算法。近年来，许多研究工作致力于改进基于相关滤波的跟踪算法，以应对复杂背景等挑战。如asrcf、cacf、gfsdcf等方法。这些基于相关滤波器的跟踪方法使用在线更新策略来应对目标的外观变化。然而，如果目标的外观变化与背景相似，而且没有有效的机制来区分目标和背景，跟踪器可能会不正确地更新目标模板。继而导致后续帧中相关滤波器将相似背景视为目标，从而干扰跟踪结果。所以基于相关滤波的跟踪方法不适于用在有复杂背景干扰的跟踪情况。
3、相对于基于相关滤波的跟踪器，深度学习的跟踪模型通过深度学习提取更多层面的特征，不仅仅局限于像素级的相似度计算。这使得孪生网络具有良好的抗干扰
4、经过检索，cn113963032a，一种融合目标重识别的孪生网络结构目标跟踪方法，训练目标跟踪网络模型，所述目标跟踪网络模型包括分类回归分支和目标重识别分支，所述分类回归分支包括全卷积孪生网络模块和分类回归模块，所述全卷积孪生网络模块的骨干网络与所述目标重识别模块的骨干网络一致。所述全卷积孪生网络模块的骨干网络与所述目标重识别模块的骨干网络共享参数和权重。对于待跟踪的视频序列，将视频序列的第一帧作为模板帧，在所述第一帧中框选跟踪目标，将模板帧与第一帧之后的每一帧分别作为一个图像对输入到训练好的目标跟踪网络模型中，确定跟踪目标在视频帧的所在位置，实现目标跟踪。本专利技术可以更好的提高区分相似目标干扰的能力。
5、专利一种融合目标重识别的孪生网络结构目标跟踪方法，全卷积孪生网络模块的骨干网络与目标重识别模块的骨干网络共享参数和权重，虽然减少模型的大小和复杂度和提高计算效率，但共享参数和权重将使两个模块更加耦合，这意味着一个模块的性能变化可能会对另一个模块产生影响，从而增加了调优和调试的难度。目标重识别模块主要用于帮助实现数据关联，即将目标的轨迹和事件信息关联起来。本专利技术基于这一点，创造性地提出了注意力焦点模块。该模块通过对全局特征的学习，实现特征关联。并且通过给予特征不同的权重值，使得模型能够更加聚焦于与目标相关的特征，同时降低不重要特征的干扰。这一设计巧妙地避免了大量额外的计算复杂度，并且与用于分类和回归的网络相互独立，减少了模块之间的耦合性，使模型能够专注于学习目标与背景之间的差异。更进一步，输入的注意力模块特征图，源自双特征融合模块的综合特征。这一特征图融合了丰富的细节信息和目标运动信息，从而能够更精确地解析目标的运动模式和行为。
技术实现思路
1、本专利技术旨在解决以上现有技术的问题。提出了一种层次特征融合的抗背景干扰孪生网络单目标跟踪方法。本专利技术的技术方案如下：
2、一种层次特征融合的抗背景干扰孪生网络单目标跟踪方法，其包括以下步骤：
3、步骤1、生成训练数据：对多个数据集进行放缩处理，获得像素为127×127的模板图像和像素为255×255的搜索图像；
4、步骤2、生成图像特征：生成的模板图像和搜索图像经过特征提取网络alexnet，将网络输出的第二层低级特征和最后一层高级特征通过双特征融合模块进行融合，得到多尺度特征，并通过注意力焦点模块模块消除不同层特征融合引入的噪声；
5、步骤3、生成训练标签：将搜索特征与模板特征经过互相关运算后得到17*17的特征响应图，分类分支根据iou阈值确定标签值，回归分支根据锚框坐标偏移量生成标签值，通过生成的标签模型学习目标的位置、尺度和类别信息，并根据这些信息进行预测和推理；
6、步骤4、损失函数优化：将预处理好的模板特征与搜索特征输入到回归分支和搜索分支中；以模板特征为卷积核，在搜索区域上做互相关操作得到各自的特征图，分类分支相似度图上的前景背景得分与目标的分类标签采用二值交叉熵函数计算损失，回归分支利用回归偏移量与目标的回归标签通过新的siou函数计算损失；最后，通过随机梯度下降算法最小化损失从而实现模型优化，若干轮迭代之后，从中选取最好的跟踪模型。
7、进一步的，所述步骤1生成训练数据具体包括以下步骤：
8、a1、从训练数据集中获取到包含物体标注信息的图像对，从一个序列中获取的图像对为正样本对，用于帮助模型学习目标的外观表示和位置变化；从不同序列中获取的图像对为负样本对，用于模型学习如何区分目标和背景或其他物体；
9、a2、对图像进行中心放缩或填充操作，其公式如下所示：
10、s(w+2p)×s(h+2p)＝a#(1)
11、
12、其中的a代表缩放后的图像尺寸，生成模板图像时为127，生成搜索模板图像时为255，w表示图像宽度，h表示图像高度，s表示缩放系数，p表示填充区域。
13、进一步的，所述步骤2生成图像特征，具体流程如下：
14、b1、将预处理后的模板图像和搜索图像输入特征提取网络alexnet，经过五层卷积后，模板特征图大小和搜索特征图大小分别为6*6*256、22*22*256，其中6和22代表特征图大小，256代表通道数；
15、b2、为了使特征提取网络的最后一层输出与第二层输出尺寸相同，对最后一层特征图采用反卷积操作，特征网络网络输出的最后一层特征f5将经过反卷积层，反卷积层的计算公式如下所示：
16、f′5＝s(f5-1)+2p-k+2#(5)
17、s＝1代表步长，p＝3代表填充边距，k＝1代表卷积核大小，f′5代表经过卷积层的输出特征图尺寸，f5代表输入卷积层的特征图尺寸，由此6*6*256的特征图变成12*本文档来自技高网...
【技术保护点】
1.一种层次特征融合的抗背景干扰孪生网络单目标跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种层次特征融合的抗背景干扰孪生网络单目标跟踪方法，其特征在于，所述步骤1生成训练数据具体包括以下步骤：
3.根据权利要求1所述的一种层次特征融合的抗背景干扰孪生网络单目标跟踪方法，其特征在于，所述步骤2生成图像特征，具体流程如下：
4.根据权利要求3所述的一种层次特征融合的抗背景干扰孪生网络单目标跟踪方法，其特征在于，所述步骤2中注意力焦点模块包含步骤如下：
5.根据权利要求4所述的一种层次特征融合的抗背景干扰孪生网络单目标跟踪方法，其特征在于，所述步骤3中生成训练标签，具体步骤如下：
6.根据权利要求5所述的一种层次特征融合的抗背景干扰孪生网络单目标跟踪方法，其特征在于，所述步骤4中损失函数优化具体包括如下步骤：
7.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1至6任一项所述层次特征融合的抗背景干扰孪生网
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述层次特征融合的抗背景干扰孪生网络单目标跟踪方法。
9.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述层次特征融合的抗背景干扰孪生网络单目标跟踪方法。
...【技术特征摘要】
1.一种层次特征融合的抗背景干扰孪生网络单目标跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种层次特征融合的抗背景干扰孪生网络单目标跟踪方法，其特征在于，所述步骤1生成训练数据具体包括以下步骤：
3.根据权利要求1所述的一种层次特征融合的抗背景干扰孪生网络单目标跟踪方法，其特征在于，所述步骤2生成图像特征，具体流程如下：
4.根据权利要求3所述的一种层次特征融合的抗背景干扰孪生网络单目标跟踪方法，其特征在于，所述步骤2中注意力焦点模块包含步骤如下：
5.根据权利要求4所述的一种层次特征融合的抗背景干扰孪生网络单目标跟踪方法，其特征在于，所述步骤3中生成训练标签，具体步骤如下：
6.根据权利要求5所述的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。