一种基于多尺度特征融合的孪生网络小目标跟踪方法技术

本发明专利技术公开一种基于多尺度特征融合的孪生网络小目标跟踪方法，多尺度融合特征模块以及优化的孪生神经网络全面考虑到深度神经网络结构中低层有利于目标的精确位置，高层可以捕获目标的语义信息的优势，通过不同层次的有效融合，充分利用底层信息避免了深层网络的卷积操作会将小目标的信息抛弃的问题，解决了跟踪过程中的小目标挑战，从而实现了良好的跟踪效果。

【技术实现步骤摘要】
一种基于多尺度特征融合的孪生网络小目标跟踪方法
本专利技术涉及视觉识别技术，具体涉及一种基于多尺度特征融合的孪生网络小目标跟踪方法。
技术介绍
运动物体跟踪是指在给定一段视频序列的第一帧的感兴趣目标的位置信息后，跟踪器能在后续的序列中继续精确地、实时地跟踪目标，返回位置信息。近几年，目标跟踪的理论方法发展非常迅速，它是计算机视觉领域的一个重要的研究方向，并且已经被成功地应用于视频监控、无人驾驶、语义分割等多个领域。深度学习方法的出现极大的促进了跟踪问题的发展，但是小目标跟踪问题仍是一个非常大的挑战，特别是在复杂的场境中如何实时地、精确地追踪小目标是研究的重点问题。目前，小目标跟踪的挑战性主要来源于两方面：小目标物体随着神经网络深度的增加其特征非常难以获取，因此获取特征表示困难。另一方面，在跟踪过程中，由于镜头抖动，与正常尺寸的目标相比，小目标往往会发生突然的大幅度的漂移。目前的研究仅仅关注于通用数据集上的正常尺寸目标物体的跟踪结果，但是却忽略了小目标跟踪问题。现有的小目标跟踪算法都是基于传统的机器学习算法，无论是精度的提升或跟踪本文档来自技高网...

【技术保护点】
1.一种基于多尺度特征融合的孪生网络小目标跟踪方法，其特征在于：包括以下步骤：/n步骤(1)、对模板图像x和待搜索图像y两个图像分别依次进行修改尺寸和数据增广预处理，获得对应大小固定的裁剪后的训练样本对，分别输入孪生网络结构中模板分支和搜索分支；/n步骤(2)、模板分支和搜索分支共享特征提取器，即使用多尺度特征融合模块来获取多尺度融合特征向量，包括从下到上提取特征和从上往下横向融合特征两个阶段；/n从下到上提取特征时构建优化孪生网络结构，该优化孪生网络结构包括5个卷积层，每层的输出依次记为{C1,C2,C3,C4,C5}；/n从上往下横向融合特征时先对高层特征进行上采样扩大尺寸后与较低一层的特...

【技术特征摘要】
1.一种基于多尺度特征融合的孪生网络小目标跟踪方法，其特征在于：包括以下步骤：
步骤(1)、对模板图像x和待搜索图像y两个图像分别依次进行修改尺寸和数据增广预处理，获得对应大小固定的裁剪后的训练样本对，分别输入孪生网络结构中模板分支和搜索分支；
步骤(2)、模板分支和搜索分支共享特征提取器，即使用多尺度特征融合模块来获取多尺度融合特征向量，包括从下到上提取特征和从上往下横向融合特征两个阶段；
从下到上提取特征时构建优化孪生网络结构，该优化孪生网络结构包括5个卷积层，每层的输出依次记为{C1,C2,C3,C4,C5}；
从上往下横向融合特征时先对高层特征进行上采样扩大尺寸后与较低一层的特征融合，然后迭代分别生成模板分支与待搜索分支的多尺度融合后的特征图；
步骤(3)、将步骤(2)所得模板特征图和搜索特征图输入相似度函数，进行相关交叉操作获取响应图，响应图中分值较高的位置则被认定为两幅图像目标物体最相似的位置，从而确定待搜索图像y中目标所在位置；
步骤(4)、将响应图扩大到原待搜索图像y的尺寸，然后分析响应图得到最终跟踪结果，将得分最大的位置乘以优化孪生网络结构五层卷积的总步长，即可得到当前目标在待搜索图像上的位置信息。


2.根据权利要求1所述的基于多尺度特征融合的孪生网络小目标跟踪方法，其特征在于：所述步骤(1)中对模板图像x修改尺寸的具体方法如下：
设第一帧目标框的大小为(x_min,y_min,w,h)；然后根据第一帧目标框来计算模板图像x的大小，即以需要追踪的目标为中心裁剪出一个正方形区域，计算公式如下：
s(w+2p)×s(h+2p)＝A



其中，s是指修改尺寸变换，A设定为127*127大小；通过以上操作将目标框大小扩展，然后修改尺寸变换到127*127大小以获得模板图像x；
对待搜索图像y修改尺寸的具体方法：
先根据上一帧预测的目标框的中心为裁剪中心，然后根据模板图像x裁剪出的正方形区域边长并按比例确定搜索框的边长；最后修改尺寸到255*255大小。


3.根据权利要求1所述的基于多尺度特征融合的孪生网络小目标跟踪方法，其特征在于：所述步骤(1)中数据增广的方法包括为了增加深度学习训练数据，这里我们利用四种数据增广方式：randomstretch随机拉伸，randomcrop随机裁剪，normalize标准化和totensor转化为张量；
最后修改尺寸到需要输入到网络结构中的大小。


4.根据权利要求1所述的基于多尺度特征融合的孪生网络...

【专利技术属性】
技术研发人员：涂铮铮，朱庆文，李成龙，汤进，罗斌，
申请(专利权)人：安徽大学，
类型：发明
国别省市：安徽;34