一种基于级联特征融合的孪生网络目标跟踪方法技术

本发明专利技术提出了一种基于级联特征融合的孪生网络目标跟踪方法，包括以下步骤：采用改进的五阶段的ResNet

【技术实现步骤摘要】
一种基于级联特征融合的孪生网络目标跟踪方法


[0001]本专利技术属于目标跟踪
，具体涉及一种基于级联特征融合的孪生网络目标跟踪方法。

技术介绍

[0002]目标跟踪技术作为计算机视觉的主要研究内容之一，越来越受到广泛关注，在智能交通管理、视频监控、自动驾驶、军事侦察等多领域具有广泛的应用。目标跟踪的任务是估计目标在图像序列中的轨迹。目前大多数目标跟踪算法是依赖于第一帧图像，使得目标跟踪利用有限的训练数据创建一个适用于各种外观变化的跟踪器。但是，当出现光照变化、目标旋转、目标尺寸巨变、背景相似物干扰、遮挡等情况时，目标跟踪过程中难以精确地提取丰富的特征信息，容易导致目标跟踪出现漂移或者跟踪丢失。当下最流行的目标跟踪算法是基于深度学习和相关滤波器的目标跟踪器。
[0003]随着深度学习的发展，基于Siamese网络架构的跟踪器由于其出色的跟踪性能，特别是对跟踪准确性和速度的良好平衡性，引起了广泛的关注。孪生网络算法采用两个网络分支，分别提取目标和候选目标的特征，将目标跟踪问题转化为了相似度计算问题。
[0004]注意力机制与孪生网络相结合被广泛的应用到各种目标跟踪任务中。虽然基于孪生网络的目标跟踪取得了长足的发展，然而，视觉目标跟踪算法仍然受到一些问题的困扰：首先，大多数Siamese跟踪器使用较浅的分类网络(如AlexNet)作为骨干网络，但未能利用较深网络结构中较强的特征提取能力；其次，在匹配跟踪中，只使用了包含更多语义信息的最后一层特征，而低层空间特征对跟踪性能的影响还没有得到充分的探索，有些算法虽然采用了特征融合操作实现特征提取，但是大多局限于通道特征和空间特征的融合，或者是简单的深层和浅层特征的简单应用，导致深层特征分辨率较低，语义信息应用不充分；然后，这些算法大多是依赖于第一帧图像作为模板图像，当光照变化、目标变形、背景相似物干扰、目标遮挡时，模板容易失效，出现目标跟踪丢失的问题。

技术实现思路

[0005]本专利技术要解决的技术问题是针对现有技术的不足而提供一种基于级联特征融合的孪生网络目标跟踪方法。
[0006]为解决上述技术问题，本专利技术的内容包括：
[0007]一种基于级联特征融合的孪生网络目标跟踪方法，包括以下步骤：
[0008]S1.采用改进的五阶段的ResNet
‑
50网络作为孪生网络的骨干网络，利用骨干网络的模板分支和搜索分支分别提取模板图像和搜索图像的浅层和深层特征；
[0009]S2.对模板分支和搜索分支的残差网络的最后三个残差块Res3、Res4和Res5分别进行逐级级联融合，分别得到两个分支的三个特征图R3、R4和R5；
[0010]S3.将两个分支的三个特征图R3、R4和R5分别进行交叉互相关计算，然后通过无锚框网络将交叉互相关计算后的特征进行目标的分类和回归。
[0011]进一步的，所述步骤S1中，对ResNet
‑
50网络的改进包括：将残差块Res4和Res5的原始步幅从16和32像素减少到8像素，并通过扩张卷积操作增加感受野；采用空间感知采样策略对整个网络进行训练；通过1
×
1卷积操作将多层特征映射的通道改变为256，并将中心7
×
7区域裁剪为模板特征，其中每个特征单元可以捕获整个目标区域。
[0012]进一步的，所述步骤S1中，骨干网络的模板分支和搜索分支具有相同的卷积结构和相同的网络参数。
[0013]进一步的，所述步骤S2中，对三个残差块Res3、Res4和Res5进行逐级级联融合，包括以下步骤：
[0014]S2
‑
1.将残差块Res5通过3*3卷积获得的特征图记为R5；
[0015]S2
‑
2.首先经过残差块Res4之后的输出特征依次通过一个3*3*256的卷积核和一个Softmax函数运算，然后特征图R5依次通过一个3*3*256的卷积核、一个ReLU函数和另一个3*3*256的卷积核运算，最后采用逐像素相加和ReLU运算，将上述运算得到的整体特征与通道识别的特征在每个位置上进行融合，得到特征图R4；
[0016]S2
‑
3.同步骤S2
‑
2，将残差块Res3与特征图R4进行融合，得到特征图R3。
[0017]进一步的，所述步骤S3中，骨干网络在ImageNet
‑
1K数据集上进行预训练，利用ILSVRC数据集的图像训练整体网络；训练过程中在ILSVRC数据集中随机挑选一帧图像，剪裁包含目标的127*127的区域作为目标模板，然后在搜索图像上剪裁255*255的搜索框大小，生成训练样本，其中最大间隔为50帧；通过以上训练实现对每个目标和位置的分类与回归。
[0018]进一步的，所述步骤S3中，在目标跟踪过程中增加负样本采样。
[0019]进一步的，在目标跟踪过程中，采样的正负样本的区分方法为：
[0020]对于训练集中每个图像上已经标注好的真实边框，T
w
表示宽度，T
h
表示高度，(x1，y1)表示左上角坐标，(x0，y0)表示中心坐标，(x2，y2)表示右下角坐标；
[0021]以中心坐标(x0，y0)为中心，以科分别为轴长做椭圆E1：
[0022][0023]其中，(x
i
，y
j
)表示采样点的坐标位置；
[0024]再以中心坐标(x0，y0)为中心，以和分别为轴长做椭圆E2：
[0025][0026]如果采样点(x
i
，y
j
)位于E2内部则为正样本，如果位于E1外部则为负样本，如果位于二者之间则忽略该样本；将标记为正样本的位置用于跟踪框回归。
[0027]进一步的，所述步骤S3中，在回归分支中计算的回归目标通过目标位置距离跟踪框的距离进行表示；
[0028]跟踪框计算如下：
[0029][0030]其中，l，t，r，b分别表示目标位置到跟踪框边界的距离；
[0031]然后，计算预测跟踪框与真实边框之间的IOU，仅计算正样本的IOU，其他情况IOU设置为0，则回归损失函数定义为：
[0032][0033]其中，g(x，y)表示目标真实边框；
[0034][0035]分类损失L
cls
采用SmoothL1损失函数表示：
[0036][0037]网络的整体损失函数表示为：
[0038]L＝λ1L
cls
+λ2L
reg
ꢀꢀꢀ
(7)
[0039]其中，λ1和λ2为超级参数。
[0040]进一步的，所述步骤S3中，在目标跟踪过程中引入模板更新机制，并利用相似度阈值法进行模板的实时更新；模板动态更新策略包括如下步骤：
[0041]利用简单循环神经网络学习一个模板更新子网络，模板更新公式如下：
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于级联特征融合的孪生网络目标跟踪方法，其特征在于，所述方法包括以下步骤：S1.采用改进的五阶段的ResNet
‑
50网络作为孪生网络的骨干网络，利用骨干网络的模板分支和搜索分支分别提取模板图像和搜索图像的浅层和深层特征；S2.对模板分支和搜索分支的残差网络的最后三个残差块Res3、Res4和Res5分别进行逐级级联融合，分别得到两个分支的三个特征图R3、R4和R5；S3.将两个分支的三个特征图R3、R4和R5分别进行交叉互相关计算，然后通过无锚框网络将交叉互相关计算后的特征进行目标的分类和回归。2.根据权利要求1所述的基于级联特征融合的孪生网络目标跟踪方法，其特征在于，所述步骤S1中，对ResNet
‑
50网络的改进包括：将残差块Res4和Res5的原始步幅从16和32像素减少到8像素，并通过扩张卷积操作增加感受野；采用空间感知采样策略对整个网络进行训练；通过1
×
1卷积操作将多层特征映射的通道改变为256，并将中心7
×
7区域裁剪为模板特征，其中每个特征单元可以捕获整个目标区域。3.根据权利要求1所述的基于级联特征融合的孪生网络目标跟踪方法，其特征在于，所述步骤S1中，骨干网络的模板分支和搜索分支具有相同的卷积结构和相同的网络参数。4.根据权利要求1所述的基于级联特征融合的孪生网络目标跟踪方法，其特征在于，所述步骤S2中，对三个残差块Res3、Res4和Res5进行逐级级联融合，包括以下步骤：S2
‑
1.将残差块Res5通过3*3卷积获得的特征图记为R5；S2
‑
2.首先经过残差块Res4之后的输出特征依次通过一个3*3*256的卷积核和一个Softmax函数运算，然后特征图R5依次通过一个3*3*256的卷积核、一个ReLU函数和另一个3*3*256的卷积核运算，最后采用逐像素相加和ReLU运算，将上述运算得到的整体特征与通道识别的特征在每个位置上进行融合，得到特征图R4；S2
‑
3.同步骤S2
‑
2，将残差块Res3与特征图R4进行融合，得到特征图R3。5.根据权利要求1所述的基于级联特征融合的孪生网络目标跟踪方法，其特征在于，所述步骤S3中，骨干网络在ImageNet
‑
1K数据集上进行预训练，利用ILSVRC数据集的图像训练整体网络；训练过程中在ILSVRC数据集中随机挑选一帧图像，剪裁包含目标的127*127的区域作为目标模板，然后在搜索图像上剪裁255*255的搜索框大小，生成训练样本，其中最大间隔为50帧；通过以上训练实现对每个目标和位置的分类与回归。6.根据权利要求1所述的基于级联特征融合的孪生网络目标跟踪方法，其特征在于，所述步骤S3中，在目标跟踪过程中增加负样本采样。7.根据权利要求6所述的基于级联特征融合的孪生网络目标跟踪方法，其特征在于，在目标跟踪过程中，采样的正负样本的区分方法为：对于训练集中每个图像上已经标注好的真实边框，T
w
表示宽度，T
h
表示高度，(x1,y1)表示左上角坐标，(...

【专利技术属性】
技术研发人员：韩明，王敬涛，孟军英，杨争艳，
申请(专利权)人：石家庄学院，
类型：发明
国别省市：