基于多层特征融合的全卷积孪生网络的目标跟踪方法及系统技术方案

本发明专利技术公开了基于多层特征融合的卷积孪生网络的目标跟踪方法及系统，该方法包括：根据图像的目标位置和大小，裁剪出图像序列训练集中的所有图像的目标模板图像和搜索区域图像，目标模板图像和搜索区域图像组成的图像对构成训练数据集；构建基于多层特征融合的卷积孪生网络；基于训练数据集，训练所述基于多层特征融合的卷积孪生网络，获得训练好的基于多层特征融合的卷积孪生网络；使用训练好的基于多层特征融合的卷积孪生网络进行目标跟踪。本发明专利技术在跟踪目标的过程中，融合不同层的得分图，结合高层语义特征与底层细节特征，更好地区分相似或同类目标的干扰，防止跟踪过程中的目标漂移和目标丢失问题。

Target tracking method and system based on full convolution twin network of multi-layer feature fusion

The invention discloses a target tracking method and system based on convolution twin network of multi-layer feature fusion. The method includes: cutting out target template image and search area image of all images in image sequence training set according to the target position and size of the image, forming training data set by image pairs composed of target template image and search area image, and constructing multi-layer feature-based training data set. Convolution twin network based on feature fusion; convolution twin network based on multi-layer feature fusion is trained based on training data set, and the trained convolution twin network based on multi-layer feature fusion is obtained; target tracking is carried out using the trained convolution twin network based on multi-layer feature fusion. In the process of tracking target, the invention integrates scoring maps of different layers, combines high-level semantic features with low-level detail features, better distinguishes the interference of similar or similar targets, and prevents the problem of target drift and target loss in the process of tracking.

【技术实现步骤摘要】
基于多层特征融合的全卷积孪生网络的目标跟踪方法及系统
本专利技术属于数字图像处理、深度学习以及模式识别的交叉领域，更具体地，涉及基于多层特征融合的卷积孪生网络的目标跟踪方法及系统。
技术介绍
目标跟踪在计算机视觉中具有非常重要的地位，然而由于自然场景的复杂性，目标对光照变化的敏感性，跟踪对实时性和鲁棒性的要求，以及遮挡、姿态和尺度变化等因素的存在，使得跟踪问题仍然很困难。传统的目标跟踪方法，无法对目标提取丰富的特征使得严格区别目标与背景，容易出现跟踪漂移现象，因此无法长时间跟踪目标。随着深度学习的兴起，一般的卷积神经网络可以有效提取目标丰富的特征，但是网络参数过多，如果要在线跟踪，无法满足实时性能的要求，实际工程利用价值有限。由于硬件性能的提高以及GPU等高性能计算器件的普及，跟踪的实时性不再是难以克服的问题，有效的目标外观模型在跟踪过程中才是至关重要的。目标跟踪的本质是一个相似性度量的过程，由于孪生卷积网络的特殊结构，其在相似性度量方面具有天然的优势，而且具有卷积结构，可以提取丰富的特征用于目标跟踪。纯粹的基于孪生卷积网络采用离线训练，在线跟踪，虽然可以在高性能运算设备上实时性满足要求，但是全卷积孪生网络在跟踪过程中只利用了卷积网络高层提取的语义信息，在复杂场景中并不能很好区分与目标相似的背景，导致跟踪漂移和目标丢失问题。
技术实现思路
针对现有技术的缺陷，本专利技术的目的在于解决现有技术相似背景干扰导致的跟踪漂移和目标丢失的技术问题。为实现上述目的，第一方面，本专利技术实施例提供了基于多层特征融合的卷积孪生网络的目标跟踪方法，该方法包括以下步骤：(1)根据图像的目标位置和大小，裁剪出图像序列训练集中的所有图像的目标模板图像和搜索区域图像，目标模板图像和搜索区域图像组成的图像对构成训练数据集；(2)构建基于多层特征融合的卷积孪生网络，所述基于多层特征融合的卷积孪生网络包含2个完全相同的第一分支卷积网络和第二分支卷积网络，所述第一分支卷积网络用于获取搜索区域图像的特征图，所述第二分支卷积网络用于获取目标模板图像的特征图，两分支网络在指定层特征图上有连接，目标模板图像的特征图和搜索区域图像的特征图的对应层分别做互相关运算，得到对应的得分图；(3)基于所述训练数据集，训练所述基于多层特征融合的卷积孪生网络，获得训练好的基于多层特征融合的卷积孪生网络；(4)使用训练好的基于多层特征融合的卷积孪生网络计算待测图像序列中图像的得分图，基于得分图进行目标跟踪。具体地，步骤(1)包括：目标模板图像的裁剪方法为：以目标区域为中心的目标矩形框，以目标区域中心位置代表目标位置，在目标矩形框四边分别扩充p个像素，若矩形框超出图像边界，超出部分用图像均值像素填充，最后将裁剪的目标图像块尺寸缩放至127×127大小；搜索区域图像的裁剪方法为：以目标区域为中心，在目标矩形框四边分别扩充2p个像素，若矩形框超出图像边界，超出部分用图像均值像素填充，最后将裁剪的搜索区域图像块尺寸缩放至255×255大小；其中，p＝(w+h)/4，w为目标矩形框宽像素，h为目标矩形框长像素。具体地，步骤(2)包括：搜索区域图像输入第一分支卷积网络，通过Conv1得到第一层特征图SFM1，接着通过Pool1、Conv2层得到第二层特征图SFM2，最后通过Pool2、Conv3、Conv4、Conv5得到第三层特征图SFM3；目标模板图像输入到第二分支卷积网络，通过Conv1得到第一层特征图GFM1，接着通过Pool1、Conv2得到第二层特征图GFM2，最后通过Pool2、Conv3、Conv4、Conv5得到第三层特征图GFM3；将目标模板特征图和搜索区域图像特征图对应层分别做互相关运算，得到对应的三张得分图SM1、SM2、SM3，公式如下：SMi＝GFMi*SFMi其中，i分别取1、2、3，*为互相关运算。具体地，步骤(3)中构建的联合损失函数L(y,v)计算公式如下：L(y,v)＝α1L1(y,v1)+α2L2(y，v2)+α3L3(y,v3)l(y[u]，vi[u])＝log(1+exp(y[u]×vi[u]))其中，Li为得分图SMi的损失函数，l(y[u]，vi[u])为得分图SMi中每个点的对数损失函数，αi为得分图SMi的权重，0＜α1＜α2＜α3≤1，Di表示得分图SMi的中所有点的集合，u为得分图中的点，ci为得分图SMi的中心点，Ri是得分图SMi的半径，ki为得分图SMi的步幅，vi[u]为得分图SMi中u点对应的值，||||代表欧氏距离，i＝1,2,3。具体地，步骤(4)包括：1)根据待测图像序列的第1帧图像的目标位置和大小，裁剪出第1帧图像的目标模板图像，将第1帧图像的目标模板图像输入训练好的多层特征融合的卷积孪生网络的第二分支卷积网络，获得的目标模板图像的特征图M1，t＝2；2)根据待测图像序列的第t-1帧图像的目标位置和大小，裁剪出第t帧图像的搜索区域图像，将第t帧的搜索区域图像输入训练好的多层特征融合的卷积孪生网络的第一分支卷积网络，获得第t帧图像的搜索区域图像特征图；3)将第t-1帧的目标模板特征图与第t帧的搜索区域图像特征图对应层分别进行互相关运算，得到目标在第t帧的搜索区域图像内的三张得分图，然后采用线性加权的方式融合多张得分图，得到第t帧的最终得分图；4)根据第t帧的最终得分图计算目标在第t帧图像中的目标位置；5)根据第t帧图像中的目标位置和大小，裁剪出第t帧图像的目标模板图像，将第t帧图像的目标模板图像输入训练好的多层特征融合的卷积孪生网络的第二分支卷积网络，获得的目标模板图像的特征图记为Mt，则第t帧的目标模板图像的特征图为其中：η为平滑因子；6)t＝t+1，重复步骤2)-5)，直至t＝N，待测图像序列目标跟踪结束，其中，N为待测图像序列的总帧数。为实现上述目的，第二方面，本专利技术实施例提供了基于多层特征融合的卷积孪生网络的目标跟踪系统，该系统包括：裁剪模块，用于根据图像的目标位置和大小，裁剪出图像序列训练集中的所有图像的目标模板图像和搜索区域图像，目标模板图像和搜索区域图像组成的图像对构成训练数据集；基于多层特征融合的卷积孪生网络模块，所述基于多层特征融合的卷积孪生网络包含2个完全相同的第一分支卷积网络和第二分支卷积网络，所述第一分支卷积网络用于获取搜索区域图像的特征图，所述第二分支卷积网络用于获取目标模板图像的特征图，两分支网络在指定层特征图上有连接，目标模板图像的特征图和搜索区域图像的特征图的对应层分别做互相关运算，得到对应的得分图；训练模块，用于基于所述训练数据集，训练所述基于多层特征融合的卷积孪生网络，获得训练好的基于多层特征融合的卷积孪生网络；目标跟踪模块，用于使用训练好的基于多层特征融合的卷积孪生网络计算待测图像序列中图像的得分图，基于得分图进行目标跟踪。具体地，其特征在于，目标模板图像的裁剪方法为：以目标区域为中心的目标矩形框，以目标区域中心位置代表目标位置，在目标矩形框四边分别扩充p个像素，若矩形框超出图像边界，超出部分用图像均值像素填充，最后将裁剪的目标图像块尺寸缩放至127×127大小；搜索区域图像的裁剪方法为：以目标区域为中心，在目标矩形框四边分别扩充2p个像素，若矩形框超出图像边界，超本文档来自技高网...

【技术保护点】
1.基于多层特征融合的卷积孪生网络的目标跟踪方法，其特征在于，该方法包括以下步骤：(1)根据图像的目标位置和大小，裁剪出图像序列训练集中的所有图像的目标模板图像和搜索区域图像，目标模板图像和搜索区域图像组成的图像对构成训练数据集；(2)构建基于多层特征融合的卷积孪生网络，所述基于多层特征融合的卷积孪生网络包含2个完全相同的第一分支卷积网络和第二分支卷积网络，所述第一分支卷积网络用于获取搜索区域图像的特征图，所述第二分支卷积网络用于获取目标模板图像的特征图，两分支网络在指定层特征图上有连接，目标模板图像的特征图和搜索区域图像的特征图的对应层分别做互相关运算，得到对应的得分图；(3)基于所述训练数据集，训练所述基于多层特征融合的卷积孪生网络，获得训练好的基于多层特征融合的卷积孪生网络；(4)使用训练好的基于多层特征融合的卷积孪生网络计算待测图像序列中图像的得分图，基于得分图进行目标跟踪。

【技术特征摘要】
1.基于多层特征融合的卷积孪生网络的目标跟踪方法，其特征在于，该方法包括以下步骤：(1)根据图像的目标位置和大小，裁剪出图像序列训练集中的所有图像的目标模板图像和搜索区域图像，目标模板图像和搜索区域图像组成的图像对构成训练数据集；(2)构建基于多层特征融合的卷积孪生网络，所述基于多层特征融合的卷积孪生网络包含2个完全相同的第一分支卷积网络和第二分支卷积网络，所述第一分支卷积网络用于获取搜索区域图像的特征图，所述第二分支卷积网络用于获取目标模板图像的特征图，两分支网络在指定层特征图上有连接，目标模板图像的特征图和搜索区域图像的特征图的对应层分别做互相关运算，得到对应的得分图；(3)基于所述训练数据集，训练所述基于多层特征融合的卷积孪生网络，获得训练好的基于多层特征融合的卷积孪生网络；(4)使用训练好的基于多层特征融合的卷积孪生网络计算待测图像序列中图像的得分图，基于得分图进行目标跟踪。2.如权利要求1所述的目标跟踪方法，其特征在于，步骤(1)包括：目标模板图像的裁剪方法为：以目标区域为中心的目标矩形框，以目标区域中心位置代表目标位置，在目标矩形框四边分别扩充p个像素，若矩形框超出图像边界，超出部分用图像均值像素填充，最后将裁剪的目标图像块尺寸缩放至127×127大小；搜索区域图像的裁剪方法为：以目标区域为中心，在目标矩形框四边分别扩充2p个像素，若矩形框超出图像边界，超出部分用图像均值像素填充，最后将裁剪的搜索区域图像块尺寸缩放至255×255大小；其中，p＝(w+h)/4，w为目标矩形框宽像素，h为目标矩形框长像素。3.如权利要求1所述的目标跟踪方法，其特征在于，步骤(2)包括：搜索区域图像输入第一分支卷积网络，通过Conv1得到第一层特征图SFM1，接着通过Pool1、Conv2层得到第二层特征图SFM2，最后通过Pool2、Conv3、Conv4、Conv5得到第三层特征图SFM3；目标模板图像输入到第二分支卷积网络，通过Conv1得到第一层特征图GFM1，接着通过Pool1、Conv2得到第二层特征图GFM2，最后通过Pool2、Conv3、Conv4、Conv5得到第三层特征图GFM3；将目标模板特征图和搜索区域图像特征图对应层分别做互相关运算，得到对应的三张得分图SM1、SM2、SM3，公式如下：SMi＝GFMi*SFMi其中，i分别取1、2、3，*为互相关运算。4.如权利要求1所述的目标跟踪方法，其特征在于，步骤(3)中构建的联合损失函数L(y，v)计算公式如下：L(y，v)＝α1L1(y，v1)+α2L2(y，v2)+α3L3(y，v3)其中，Li为得分图SMi的损失函数，为得分图SMi中每个点的对数损失函数，αi为得分图SMi的权重，0＜α1＜α2＜α3≤1，Di表示得分图SMi的中所有点的集合，u为得分图中的点，ci为得分图SMi的中心点，Ri是得分图SMi的半径，ki为得分图SMi的步幅，vi[u]为得分图SMi中u点对应的值，||||代表欧氏距离，i＝1，2，3。5.如权利要求1所述的目标跟踪方法，其特征在于，步骤(4)包括：1)根据待测图像序列的第1帧图像的目标位置和大小，裁剪出第1帧图像的目标模板图像，将第1帧图像的目标模板图像输入训练好的多层特征融合的卷积孪生网络的第二分支卷积网络，获得的目标模板图像的特征图M1，t＝2；2)根据待测图像序列的第t-1帧图像的目标位置和大小，裁剪出第t帧图像的搜索区域图像，将第t帧的搜索区域图像输入训练好的多层特征融合的卷积孪生网络的第一分支卷积网络，获得第t帧图像的搜索区域图像特征图；3)将第t-1帧的目标模板特征图与第t帧的搜索区域图像特征图对应层分别进行互相关运算，得到目标在第t帧的搜索区域图像内的三张得分图，然后采用线性加权的方式融合多张得分图，得到第t帧的最终得分图；4)根据第t帧的最终得分图计算目标在第t帧图像中的目标位置；5)根据第t帧图像中的目标位置和大小，裁剪出第t帧图像的目标模板图像，将第t帧图像的目标模板图像输入训练好的多层特征融合的卷积孪生网络的第二分支卷积网络，获得的目标模板图像的特征图记为Mt，则第t帧的目标模板图像的特征图为其中：η为平滑因子；6)t＝t+1，重复步骤2)-5)，直至t＝N，待测图像序列目标跟踪结束，其中，N为待测图像序列的总帧数。6.基于多层特征融合的卷...

【专利技术属性】
技术研发人员：邹腊梅，陈婷，李鹏，张松伟，李长峰，熊紫华，李晓光，杨卫东，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42