一种定位质量信息增强的孪生网络目标跟踪算法制造技术

本发明专利技术公开了一种定位质量信息增强的孪生网络目标跟踪算法，包括：确定目标，获取第一帧图像，利用已知信息确定标注框，裁剪目标区域，获取目标模板；相似性比对，获取当前帧，利用特征提取子网络获取目标和搜索区域的特征图并进行相似性比对，得到相似性矩阵；目标定位，融合分类分支基于相似性矩阵进行分类任务，输出相似性预测分数；边界预测，回归分支基于相似性矩阵预测目标边界，并结合相似性预测分数，选择最佳预测框；输出跟踪结果，输出目标边界框，进行下一帧的目标跟踪。本发明专利技术能够改善分类和边界预测过程，引入CNN网络使模型对特征图中的语义信息利用更充分，预测结果具有较高的可信度。较高的可信度。较高的可信度。

【技术实现步骤摘要】
一种定位质量信息增强的孪生网络目标跟踪算法


[0001]本专利技术属于图形图像处理的
，尤其涉及一种定位质量信息增强的孪生网络目标跟踪算法。

技术介绍

[0002]目标跟踪要求在视频中，利用首帧提供的有限信息，在后续帧中定位目标。目标跟踪技术在自动驾驶，增强现实，行人检测和实时监控等领域都有良好的应用潜力。同时目标跟踪也面临着很多由复杂情况带来的挑战，例如光照条件变化、目标形变、部分遮挡和图片模糊等。因此，实现在复杂场景下的鲁棒性跟踪仍是一个具有挑战性的任务。
[0003]全卷积孪生网络算法利用孪生结构的卷积神经网络进行目标跟踪。具体地，该算法利用孪生神经网络将目标与后续视频帧中的搜索区域进行相似度比对，获取相似度矩阵，相似度矩阵中的最大值即为目标位置，随后通过双三次插值对相似度矩阵进行扩展，得到目标的大致范围，并利用多尺度测试预测目标边界，实现目标跟踪。但该算法对目标模糊、低分辨率、尺度变化等问题适应性较差，应用场景受到较大限制。
[0004]孪生全卷积网络算法的算法框架如图1所示。该算法包含两个平行分支，以共享权重的Alexnet网络作为骨干网络，这两个分支分别以选定的目标模板Z和从后续帧中裁剪的搜索区域X作为输入，经过骨干网络分别生成尺寸为6
×6×
128和22
×
22
×
128的特征图，使用式(1)生成尺寸为17
×
17
×
1的相似度矩阵f(Z,X)，*为互相关操作，b为偏差。
[0005][0006]在获取相似度矩阵后，通过双三次插值，将相似度矩阵扩充至272
×
272
×
1，随后在1.025
{
‑
2,
‑
1,0,1,2}
5个尺度上进行测试，选择最佳尺度来跟踪目标。
[0007]孪生全卷积神经网络在训练过程中直接使用分类标签作为训练标签，导致模型学习到错误的背景信息，使相似度矩阵的可信度下降，并且在预测过程中直接利用互相关操作产生的相似度矩阵预测目标位置，对目标特征中包含的语义信息利用不够充分，导致算法的判别力受到限制。同时，采用多尺度测试预测目标边界的策略，使算法对目标的尺度变化鲁棒性较低，在目标发生尺度变化、旋转等情况时，不能稳定跟踪目标，同时导致算法实时性受到影响。
[0008]另外，模型在训练过程中学习到背景信息，导致分类精度降低；孪生全卷积网络通过对响应图插值预测目标位置，不能充分利用语义信息导致模型判别性不佳。多尺度测试导致算法对目标尺度变化和形变鲁棒性不佳，且算法实时性受到影响。

技术实现思路

[0009]基于以上现有技术的不足，本专利技术所解决的技术问题在于提供一种定位质量信息增强的孪生网络目标跟踪算法，能够改善分类和边界预测过程，引入CNN网络使模型对特征图中的语义信息利用更充分，预测结果具有较高的可信度。
[0010]为了解决上述技术问题，本专利技术通过以下技术方案来实现：
[0011]本专利技术提供的定位质量信息增强的孪生网络目标跟踪算法，包括以下步骤：
[0012]步骤1：确定目标，获取第一帧图像，利用已知信息确定标注框，裁剪目标区域，获取目标模板；
[0013]步骤2：相似性比对，获取当前帧，利用特征提取子网络获取目标和搜索区域的特征图并进行相似性比对，得到相似性矩阵；
[0014]步骤3：目标定位，融合分类分支基于相似性矩阵进行分类任务，输出相似性预测分数；
[0015]步骤4：边界预测，回归分支基于相似性矩阵预测目标边界，并结合相似性预测分数，选择最佳预测框；
[0016]步骤5：输出跟踪结果，输出目标边界框，继续执行步骤2，进行下一帧的目标跟踪。
[0017]进一步的，在步骤3中，融合分类分支以经过ψ
cls
调整的特征图作为输入，输出尺寸为17
×
17
×
1的相似度预测矩阵，回归分支以经过ψ
reg
调整的特征图作为输入，基于每个正样本点对目标边界进行预测，并结合相似度预测矩阵选择最佳预测结果。
[0018]进一步的，在步骤4中，回归分支使用的损失函数是其计算方式如下：
[0019][0020]式中，B和B
*
分别表示预测框和标注框，C表示预测框和标注框的最小外接矩形的面积，Union(
·
)表示两个矩形的并集，IoU
*
表示预测框与标注框的交并比。
[0021]由上，本专利技术的定位质量信息增强的孪生网络目标跟踪算法具有以下有益效果：
[0022]1、设计区域推荐子网络，引入融合分类和回归分支，使用CNN网络优化目标预测过程，避免了插值和多尺度预测，对特征图中的语义信息利用更加充分。
[0023]2、在融合分类分支中，引入定位质量信息对分类标签进行增强，将标注目标边缘的背景信息降权，使模型更关注与目标本身，提升了模型的判别能力。
[0024]3、使用独立的回归分支预测目标边界，避免了多尺度测试带来的固定尺度限制，对目标尺度变化更加鲁棒，并且减轻了计算负担，跟踪速度更快。
[0025]4、提出了一种优化的孪生网络结构，改善分类和边界预测过程，引入CNN网络使模型对特征图中的语义信息利用更充分，预测结果具有较高的可信度。
[0026]5、提出了融合定位质量信息的增强分类训练方法，利用先验空间分数对分类标签加权，使模型在训练和跟踪过程中聚焦于目标本身，提高了模型对于目标的描述能力，抗干扰能力更强。
[0027]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其他目的、特征和优点能够更明显易懂，以下结合优选实施例，并配合附图，详细说明如下。
附图说明
[0028]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例的附图作简单地介绍。
[0029]图1为孪生全卷积网络算法框架图；
[0030]图2为融合定位质量信息的跟踪算法框架图；
[0031]图3为头部卷积网络结构图；
[0032]图4为融合分类训练效果图；
[0033]图5为本专利技术的定位质量信息增强的孪生网络目标跟踪算法的流程图。
具体实施方式
[0034]下面结合附图详细说明本专利技术的具体实施方式，其作为本说明书的一部分，通过实施例来说明本专利技术的原理，本专利技术的其他方面、特征及其优点通过该详细说明将会变得一目了然。在所参照的附图中，不同的图中相同或相似的部件使用相同的附图标号来表示。
[0035]如图1至图5所示，本专利技术的定位质量信息增强的孪生网络目标跟踪算法的步骤如下：
[0036]1、确定目标。获取第一帧图像，利用已知信息确定标注框，裁剪目标区域，获取目标模板。
[0037]2、相似性比对。获取当前帧，利用特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种定位质量信息增强的孪生网络目标跟踪算法，其特征在于，包括以下步骤：步骤1：确定目标，获取第一帧图像，利用已知信息确定标注框，裁剪目标区域，获取目标模板；步骤2：相似性比对，获取当前帧，利用特征提取子网络获取目标和搜索区域的特征图并进行相似性比对，得到相似性矩阵；步骤3：目标定位，融合分类分支基于相似性矩阵进行分类任务，输出相似性预测分数；步骤4：边界预测，回归分支基于相似性矩阵预测目标边界，并结合相似性预测分数，选择最佳预测框；步骤5：输出跟踪结果，输出目标边界框，继续执行步骤2，进行下一帧的目标跟踪。2.如权利要求1所述的定位质量信息增强的孪生网络目标跟踪算法，其特征在于，在步骤3中，融合分类分支以经过ψ
cls

【专利技术属性】
技术研发人员：姜文涛，张大鹏，
申请(专利权)人：辽宁工程技术大学，
类型：发明
国别省市：