一种多层级深度特征融合及自适应重检测的目标跟踪方法技术

本发明专利技术涉及图像处理技术领域，尤其涉及一种多层级深度特征融合及自适应重检测的目标跟踪方法。包括以下步骤：进行多层级特征提取，提取出模板特征和搜索特征；对所述模板特征和搜索特征进行特征均值级联融合，构建出不同层次的特征信息；将融合后的特征信息汇入区域候选网络，预测下一帧目标框；以自适应多窗口重检测方法判断目标遮挡，然后构建临近窗口进行重检测，实现SiamRPN跟踪器的抗遮挡目标跟踪。本发明专利技术通过特征提取

【技术实现步骤摘要】
一种多层级深度特征融合及自适应重检测的目标跟踪方法


[0001]本专利技术涉及图像处理
，尤其涉及一种多层级深度特征融合及自适应重检测的目标跟踪方法。

技术介绍

[0002]视频目标跟踪技术是通过给定当前帧目标坐标信息对后续视频中该目标进行预测定位，工程应用前景十分广泛。传统的目标跟踪方法通常依赖于人工特征、颜色模型与分类器等来建立稳健的特征表示，例如光流法、粒子滤波等，这些传统算法的性能远远不能满足实际应用的要求。基于孪生网络的目标跟踪方法由于网络结构简单、精确度高、实时性快，逐渐成为目标跟踪领域的主流方法。
[0003]孪生网络目标跟踪的思想是利用两个相同或相似的网络分别提取模板分支和搜索分支的特征，度量特征的相似性以确定跟踪框的位置。SiamRPN跟踪器在传统孪生网络目标跟踪的基础上加入目标检测领域的区域候选网络，将孪生网络目标跟踪技术推向一个高峰。当孪生网络提取模板特征与搜索特征后，将特征送入区域候选网络，通过候选网络得到推荐框。SiamRPN将目标跟踪与目标检测进行结合，有效提升孪生网络目标跟踪技术的精确度。
[0004]目前基于孪生网络的目标跟踪技术在无遮挡条件下跟踪准确度较高，但在遮挡场景下会损失部分特征信息，导致目标丢失；且大多数监控数据集属于远场景小目标，更会进一步加大特征提取难度，导致跟踪的准确率降低。同时基于孪生网络的目标跟踪技术为了提升时效性，并非以整个帧为搜索区域，而是以上一帧目标框为中心，将当前帧剪裁为255
×
255
×
3大小的搜索区域。当物体被连续帧完全遮挡再次出现时，可能会超出当前帧剪裁区域，即在当前搜索区域内无法搜索到，造成目标丢失。因此，在遮挡场景情况下如何保证高时效性的同时，还能精确提取特征信息，准确跟踪目标是本领域技术人员亟需解决的问题。

技术实现思路

[0005]本专利技术的目的是提供一种多层级深度特征融合及自适应重检测的目标跟踪方法，用于解决现有技术中遮挡场景下跟踪的准确率降低的技术问题。
[0006]为了实现上述目的，本专利技术采用了如下技术方案：
[0007]本专利技术提供一种多层级深度特征融合及自适应重检测的目标跟踪方法，包括以下步骤：
[0008]S1.初始化视频序列,并对其进行多层级特征提取，提取出模板特征和搜索特征；
[0009]S2.对所述模板特征和搜索特征进行特征均值级联融合，构建出不同层次的特征信息；
[0010]S3.将融合后的特征信息汇入区域候选网络，预测下一帧目标框；
[0011]S4.以自适应多窗口重检测方法判断目标遮挡，然后构建临近窗口进行重检测，实
现SiamRPN跟踪器的抗遮挡目标跟踪。
[0012]进一步地，S1中，所述初始化视频序列,并对其进行多层级特征提取，包括：
[0013]以ground_truth的目标边界框中心坐标为参考点，在模板帧上裁剪出尺寸大小为127
×
127
×
3的模板图像；
[0014]对于模板帧的后续帧均作为搜索帧，并以上一帧的目标预测边界框中心坐标为参考点，裁剪出尺寸大小为255
×
255
×
3的搜索区域图像；
[0015]将ResNet50网络的步长降低到8像素，并替换SiamRPN跟踪器原始特征提取网，构建出深度特征提取网络；
[0016]通过深度特征提取网络提取出视频中的模板帧和搜索帧的模板特征和搜索特征。
[0017]进一步地，S2中，对所述模板特征和搜索特征进行特征均值级联融合，包括：
[0018]将ResNet50网络的三个残差块提取的特征信息记为F3、F4、F5；
[0019]利用逐像素相加操作对三层特征进行均值级联融合，融合方式为：
[0020][0021]其中，m取0.33；
[0022]融合后的模板特征图为7
×7×
256，7
×
7为特征大小，256为通道数；
[0023]融合后的搜索特征图为31
×
31
×
256，31
×
31为特征大小，256为通道数。
[0024]进一步地，S3中，将融合后的特征信息汇入区域候选网络，预测下一帧目标框，包括：
[0025]将模板特征和搜索特征分别汇入区域候选网络的分类分支与回归分支，分别对目标特征与搜索特征进行卷积运算，计算相关性；
[0026]对于分类分支，相关性计算公式为：
[0027][0028]对于回归分支，相关性计算公式为：
[0029][0030]其中，和分别表示分类分支和回归分支输出结果，表示互相关运算，F(x)、F(z)分别表示输出的模板特征与搜索特征；
[0031]分类分支最终包含2k个通道向量，回归分支最终包含4k个通道向量。
[0032]进一步地，经过所述区域候选网络后，分类分支与回归分支的特征映射表示为点集：
[0033][0034][0035]其中，通过分类分支输出前景、背景信息判断是否存在目标，即输出可能的目标框；回归分支对目标框进一步修正；c是分类，x、y、w、h分别表示修正的目标框的中心坐标和长宽。
[0036]进一步地，S4中，以自适应多窗口重检测方法判断目标遮挡，包括：
[0037]取前四帧图像的响应图的震荡程度平均峰值相关能量的平均值作为遮挡
与否判断标准；
[0038]计算方法为：
[0039][0040]其中，APCE表示每一帧的平均峰值相关能量，计算方法为：
[0041][0042]F
max
＝maxF(s,y,w)
[0043]F
min
＝minF(s,y,w)
[0044]其中，F
max
、F
min
分别对应最高、最低位置上的响应，s是根据上一帧得到的图像块，y是目标位置，w是分类器参数，F
w,h
表示目标宽为w、高为h处响应值；
[0045]计算当前帧APCE，当小于连续四帧APCE的平均值时，则响应图振荡，认为目标被遮挡；反之，认为目标没有被遮挡。
[0046]进一步地，S4中，构建临近窗口进行重检测，实现SiamRPN跟踪器的抗遮挡目标跟踪，
[0047]当认为目标没有被遮挡时，认为当前搜索区域正确，区域候选网络得到的目标框即为下一帧目标中心框；
[0048]当认为目标被遮挡时：
[0049]以当前检测窗口为中心在其四周构建另外八个临近窗口，并给八个临近窗口赋予不同的权重，按照权重大小分别对八个临近窗口进行检测；标记所选的窗口，在所选搜索窗口内进行重检测，得到新的目标框，计算新的目标框对应的平均峰值相关能量，记为APCE
new
；
[0050]比较APCE
new
与大小，若小于则接本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多层级深度特征融合及自适应重检测的目标跟踪方法，其特征在于，包括以下步骤：S1.初始化视频序列,并对其进行多层级特征提取，提取出模板特征和搜索特征；S2.对所述模板特征和搜索特征进行特征均值级联融合，构建出不同层次的特征信息；S3.将融合后的特征信息汇入区域候选网络，预测下一帧目标框；S4.以自适应多窗口重检测方法判断目标遮挡，然后构建临近窗口进行重检测，实现SiamRPN跟踪器的抗遮挡目标跟踪。2.根据权利要求1所述的一种多层级深度特征融合及自适应重检测的目标跟踪方法，其特征在于，S1中，所述初始化视频序列,并对其进行多层级特征提取，包括：以ground_truth的目标边界框中心坐标为参考点，在模板帧上裁剪出尺寸大小为127
×
127
×
3的模板图像；对于模板帧的后续帧均作为搜索帧，并以上一帧的目标预测边界框中心坐标为参考点，裁剪出尺寸大小为255
×
255
×
3的搜索区域图像；将ResNet50网络的步长降低到8像素，并替换SiamRPN跟踪器原始特征提取网，构建出深度特征提取网络；通过深度特征提取网络提取出视频中的模板帧和搜索帧的模板特征和搜索特征。3.根据权利要求1所述的一种多层级深度特征融合及自适应重检测的目标跟踪方法，其特征在于，S2中，对所述模板特征和搜索特征进行特征均值级联融合，包括：将ResNet50网络的三个残差块提取的特征信息记为F3、F4、F5；利用逐像素相加操作对三层特征进行均值级联融合，融合方式为：其中，m取0.33；融合后的模板特征图为7
×7×
256，7
×
7为特征大小，256为通道数；融合后的搜索特征图为31
×
31
×
256，31
×
31为特征大小，256为通道数。4.根据权利要求1所述的一种多层级深度特征融合及自适应重检测的目标跟踪方法，其特征在于，S3中，将融合后的特征信息汇入区域候选网络，预测下一帧目标框，包括：将模板特征和搜索特征分别汇入区域候选网络的分类分支与回归分支，分别对目标特征与搜索特征进行卷积运算，计算相关性；对于分类分支，相关性计算公式为：对于回归分支，相关性计算公式为：其中，和分别表示分类分支和回归分支输出结果，表示互相关运算，F(x)、F(z)分别表示输出的模板特征与搜索特征；分类分支最终包含2k个通道向量，回归分支最终包含4k个通道向量。5.根据权利要求4所述的一种多层级深度特征融合及自适应重检测的目标跟踪方法，其特征在于，经过所述区域候选网络后，分类分支与回归分支的特征映射表示为点集：
其中，通过分类分支输出前景、背景信息判断是否存在目标，即输出可能的目标框；回归分支对目标框进一步修正；c是分类，x、y、w、h分别表示修正的目标框的中心坐标和长宽。6.根据权利要求...

【专利技术属性】
技术研发人员：闫河，张唯，李佳，邹鸿庆，
申请(专利权)人：重庆理工大学，
类型：发明
国别省市：