一种基于孪生注意力网络的在线更新目标跟踪方法和系统技术方案

本发明专利技术涉及一种基于孪生注意力网络的在线更新目标跟踪方法和系统。本发明专利技术提供的基于孪生注意力网络的在线更新目标跟踪方法，通过采用在线更新模板图片的策略，可以实时获取目标的外观状态，便于跟踪算法适应目标的形变，部分遮挡已经尺度变化。同时采用孪生注意力网络加强了对于跟踪目标重要的特征同时抑制了非重要特征，有利于跟踪器将目标与背景区分开来，进而能够提高目标跟踪的准确性。进而能够提高目标跟踪的准确性。进而能够提高目标跟踪的准确性。

【技术实现步骤摘要】
一种基于孪生注意力网络的在线更新目标跟踪方法和系统


[0001]本专利技术涉及计算机视觉领域，特别是涉及一种基于孪生注意力网络的在线更新目标跟踪方法和系统。

技术介绍

[0002]目标跟踪是计算机视觉领域的一个重要方向，广泛应用于自动驾驶、无人机导航、监控等方面。目标跟踪任务是在视频序列的第一帧中给定跟踪目标的前提下，在后续帧中确定跟踪目标并尽可能准确的提供其边界框。在跟踪的过程中会出现目标形变、局部遮挡、目标快速移动以及背景干扰等复杂情况，这容易导致跟踪产生漂移甚至跟踪失败，也对跟踪器的性能提出了更高的要求。
[0003]目标跟踪算法分为两个主流的方向，早期基于相关滤波的跟踪算法被广泛的应用，随着深度学习的发展，网络有能力提取更深层次的语义信息，极大的增强了特征的表征能力，基于相关滤波的跟踪算法使用卷积神经网络作为特征提取网络，性能得到了进一步提升。但是由于其分类模型需要在线学习并且随着跟踪过程不断更新，速度较满没办法满足实际应用。近年来基于孪生神经网络的跟踪算法成为了主流，其采用了相似度匹配的思想，使用了大量的数据进行离线训练，在跟踪的准确度、鲁棒性以及跟踪速度上都具有较好的表现。但是其仍然存在一些问题，首先物体在跟踪过程中会产生形变，尺度变化以及部分遮挡，其外观信息是不断发生变化的。只使用第一帧中给定的目标信息进行相似度匹配会使跟踪器对目标当前状态的判断产生偏差，从而造成跟踪框的漂移甚至跟踪失败。

技术实现思路

[0004]为解决现有技术中存在的上述问题，本专利技术提供了一种基于孪生注意力网络的在线更新目标跟踪方法和系统。
[0005]为实现上述目的，本专利技术提供了如下方案：
[0006]一种基于孪生注意力网络的在线更新目标跟踪方法，包括：
[0007]获取训练好的目标跟踪网络模型、初始模板图片和初始搜索图片；所述目标跟踪网络模型包括：特征提取网络和区域建议网络；所述特征提取网络包括第一输入分支和第二输入分支；所述第一输入分支和第二输入分支均与所述区域建议网络连接；所述区域建议网络与所述分类和回归头网络连接；所述第一输入分支和所述第二输入分支中的第三层网络结构、第四层网络结构和第五层网络结构中均嵌入有孪生注意力网络；所述孪生注意力网络为两输入分支并行结构，孪生注意力网络的每一输入分支均包括全局平均池化器、全局最大平均池化器、3个全连接层、整流层以及激活函数；所述区域建议网络包含分类和回归头网络；所述初始搜索图片为第一帧中的目标区域；
[0008]将所述初始模板图片和所述初始搜索图片同时送入所述特征提取网络的输入分支得到全局描述子；所述全局描述子包括全局平均池化描述子和全局最大平均池化描述子；
[0009]根据所述全局描述子确定特征通道权重；
[0010]根据所述特征通道权重和输入特征得到最终注意力特征；所述输入特征为所述孪生注意力网络中全连接层的输入特征；
[0011]根据所述最终注意力特征和与所述最终注意力特征对应的搜索注意力特征确定相似度得分图；
[0012]将所述相似度得分图输入至所述区域建议网络中生成锚框；
[0013]将所述锚框输入至所述分类和回归头网络得到与每个锚框对应的置信度得分和边界框偏差；
[0014]选取置信度得分最高的锚框，并根据与置信度得分最高的锚框对应的边界框偏差生成跟踪目标包围框；
[0015]根据所述跟踪目标包围框确定第一帧中的目标，得到第一帧的跟踪结果；
[0016]根据所述第一帧的跟踪结果和初始模板图片生成新的模板图片；
[0017]采用所述新的模板图片替换所述初始模板图片后，返回步骤“将所述初始模板图片和所述初始搜索图片同时送入所述特征提取网络的输入分支得到全局描述子”。
[0018]优选地，所述获取训练好的目标跟踪网络模型、初始模板图片和初始搜索图片，之前还包括：
[0019]获取跟踪目标的预设边界框；
[0020]以所述预设边界框的中心点坐标为中心在第一帧图片中剪裁出预设边长的正方形区域；
[0021]将所述正方形区域重新采样为边长是127
×
127的图片以作为初始模板图片。
[0022]优选地，所述将所述初始模板图片和所述初始搜索图片同时送入所述特征提取网络的输入分支得到全局描述子，具体包括：
[0023]将所述初始模板图片送入所述第一输入分支，在所述第一输入分支中依次经过五层特征提取网络，第三层网络、第四层网络和第五层网络提取的特征分别输入所述孪生注意力网络，经所述孪生注意力网络的全局平均池化器和全局最大平均池化器后得到第一全局描述子；所述第一全局描述子包括：第一全局平均池化描述子和第一全局最大平均池化描述子；
[0024]将所述初始搜索图片送入所述第二输入分支，在所述第二输入分支中依次经过五层特征提取网络，第三层网络、第四层网络和第五层网络提取的特征分别输入所述孪生注意力网络，经所述孪生注意力网络的全局平均池化器和全局最大平均池化器后得到第二全局描述子；所述第二全局描述子包括：第二全局平均池化描述子和第二全局最大平均池化描述子。
[0025]优选地，所述根据所述最终注意力特征和与所述最终注意力特征对应的搜索注意力特征确定相似度得分图，具体包括：
[0026]采用相关计算法根据所述最终注意力特征和与所述最终注意力特征对应的搜索注意力特征确定初始相似度得分图；
[0027]将所述初始相似度得分图进行逐元素加权求和得到所述相似度得分图。
[0028]优选地，所述根据所述第一帧的跟踪结果和初始模板图片生成新的模板图片，具体包括：
[0029]对所述第一帧的跟踪结果、过程累积模板图片和初始模板图片进行加权相加得到所述新的模板图片；所述过程累积模板图片为跟踪结构融合得到的图片。
[0030]根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：
[0031]本专利技术提供的基于孪生注意力网络的在线更新目标跟踪方法，通过采用在线更新模板图片的策略，可以实时获取目标的外观状态，便于跟踪算法适应目标的形变，部分遮挡已经尺度变化。同时采用孪生注意力网络加强了对于跟踪目标重要的特征同时抑制了非重要特征，有利于跟踪器将目标与背景区分开来，进而能够提高目标跟踪的准确性。
[0032]对应于上述提供的基于孪生注意力网络的在线更新目标跟踪方法，本专利技术还提供了以下实施系统：
[0033]一种基于孪生注意力网络的在线更新目标跟踪系统，包括：
[0034]获取模块，用于获取训练好的目标跟踪网络模型、初始模板图片和初始搜索图片；所述目标跟踪网络模型包括：特征提取网络和区域建议网络；所述特征提取网络包括第一输入分支和第二输入分支；所述第一输入分支和第二输入分支均与所述区域建议网络连接；所述区域建议网络与所述分类和回归头网络连接；所述第一输入分支和所述第二输入分支中的第三层网络结构、第四层网络结构和第五层网络结构中均嵌入有孪生注意力网络；所述孪生注意力网络为两输入分支并行结构本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于孪生注意力网络的在线更新目标跟踪方法，其特征在于，包括：获取训练好的目标跟踪网络模型、初始模板图片和初始搜索图片；所述目标跟踪网络模型包括：特征提取网络和区域建议网络；所述特征提取网络包括第一输入分支和第二输入分支；所述第一输入分支和第二输入分支均与所述区域建议网络连接；所述区域建议网络与所述分类和回归头网络连接；所述第一输入分支和所述第二输入分支中的第三层网络结构、第四层网络结构和第五层网络结构中均嵌入有孪生注意力网络；所述孪生注意力网络为两输入分支并行结构，孪生注意力网络的每一输入分支均包括全局平均池化器、全局最大平均池化器、3个全连接层、整流层以及激活函数；所述区域建议网络包含分类和回归头网络；所述初始搜索图片为第一帧中的目标区域；将所述初始模板图片和所述初始搜索图片同时送入所述特征提取网络的输入分支得到全局描述子；所述全局描述子包括全局平均池化描述子和全局最大平均池化描述子；根据所述全局描述子确定特征通道权重；根据所述特征通道权重和输入特征得到最终注意力特征；所述输入特征为所述孪生注意力网络中全连接层的输入特征；根据所述最终注意力特征和与所述最终注意力特征对应的搜索注意力特征确定相似度得分图；将所述相似度得分图输入至所述区域建议网络中生成锚框；将所述锚框输入至所述分类和回归头网络得到与每个锚框对应的置信度得分和边界框偏差；选取置信度得分最高的锚框，并根据与置信度得分最高的锚框对应的边界框偏差生成跟踪目标包围框；根据所述跟踪目标包围框确定第一帧中的目标，得到第一帧的跟踪结果；根据所述第一帧的跟踪结果和初始模板图片生成新的模板图片；采用所述新的模板图片替换所述初始模板图片后，返回步骤“将所述初始模板图片和所述初始搜索图片同时送入所述特征提取网络的输入分支得到全局描述子”。2.根据权利要求1所述的基于孪生注意力网络的在线更新目标跟踪方法，其特征在于，所述获取训练好的目标跟踪网络模型、初始模板图片和初始搜索图片，之前还包括：获取跟踪目标的预设边界框；以所述预设边界框的中心点坐标为中心在第一帧图片中剪裁出预设边长的正方形区域；将所述正方形区域重新采样为边长是127
×
127的图片以作为初始模板图片。3.根据权利要求1所述的基于孪生注意力网络的在线更新目标跟踪方法，其特征在于，所述将所述初始模板图片和所述初始搜索图片同时送入所述特征提取网络的输入分支得到全局描述子，具体包括：将所述初始模板图片送入所述第一输入分支，在所述第一输入分支中依次经过五层特征提取网络，第三层网络、第四层网络和第五层网络提取的特征分别输入所述孪生注意力网络，经所述孪生注意力网络的全局平均池化器和全局最大平均池化器后得到第一全局描述子；所述第一全局描述子包括：第一全局平均池化描述子和第一全局最大平均池化描述子；
将所述初始搜索图片送入所述第二输入分支，在所述第二输入分支中依次经过五层特征提取网络，第三层网络、第四层网络和第五层网络提取的特征分别输入所述孪生注意力网络，经所述孪生注意力网络的全局平均池化器和全局最大平均池化器后得到第二全局描述子；所述第二全局描述子包括：第二全局平均池化描述子和第二全局最大平均池化描述子。4.根据权利要求1所述的基于孪生注意力网络的在线更新目标跟踪方法，其特征在于，所述根据所述最终注意力特征和与所述最终注意力特征对应的搜索注意力特征确定相似度得分图，具体包括：采用相关计算法根据所述最终注意力特征和与所述最终注意力特征对应的搜索注意力特征确定初始相似度得分图；将所述初始相似度得分图进行逐元素加权求和得到所述相似度得分图。5.根据权利要求1所述的基于孪生注意力网络的在线更新目标跟踪方法，其特征在于，所述根据所述第一帧的跟踪结果和初始模板图片生成新的模板图片，具体包括：对所述第一帧的跟踪结果、过程累积模板图片和初始模板图片进行加权相加得到所述新的模板图片；所述过程累积模板图片为跟踪结构融合得到的图片。6.一种基于孪生注意力网络的在线更新目标跟踪系统，其特征在于，包括：获取模块，用于获取训练好的目标跟踪网络模型、...

【专利技术属性】
技术研发人员：魏振忠，肖定坤，张广军，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：