一种基于残差学习的可见光-红外序列目标跟踪方法技术

本发明专利技术公开了一种基于残差学习的可见光

【技术实现步骤摘要】
一种基于残差学习的可见光
‑
红外序列目标跟踪方法


[0001]本专利技术属于图像目标跟踪
，具体为一种基于残差学习的可见光
‑
红外序列目标跟踪方法。

技术介绍

[0002]可见光——红外跟踪是视觉目标跟踪的一个扩展，在智能交通、战场勘探、全天候监控等领域应用广泛。由于热红外探测器在低光照、雾霾等环境下成像质量优秀，可见光图片则包含较多纹理细节，成像质量不受热交叉等因素影响，近年来，利用优势互补的双模态图像进行目标跟踪变得越来越受欢迎。
[0003]可见光——红外跟踪算法从原理上看可以大致分为两类，分别基于传统特征和深度学习。基于传统特征的算法以稀疏表示，相关滤波为代表，其特点是依赖手工标注的特征，例如Wang等人使用软一致性相关滤波算法进行可见光——红外跟踪(Wang Y,Li C,Tang J.Learning soft
‑
consistent correlation filters for RGB
‑
T object tracking[C]//Chinese Conference on Pattern Recognition and Computer Vision(PRCV).Springer,Cham,2018:295
‑
306.)。这类方法的运行速度较高，但由于手工特征无法适应变化的目标外观，因此对遮挡、尺度变化等挑战无能为力，泛化能力差，缺乏稳定性。
[0004]深度学习类方法凭借深层神经网络强大的特征表示能力，利用大量的数据进行网络训练，由网络自发地提取不同层次的特征表示并学习。例如Zhang等人利用多域学习的思想，采用并行分支的卷积网络分模态提取特征(Zhang X,Zhang X,Du X,et al.Learning multi
‑
domain convolutional network for RGB
‑
T visual tracking[C]//2018 11th International Congress on Image and Signal Processing,BioMedical Engineering and Informatics(CISP
‑
BMEI).IEEE,2018:1
‑
6.)。也诞生了一些包含模态权重计算的网络，例如Li等人采用重建残差来规范模态权重的学习(Li C,Cheng H,Hu S,et al.Learning collaborative sparse representation for grayscale
‑
thermal tracking[J].IEEE Transactions on Image Processing,2016,25(12):5743
‑
5756.)。上述方法已经在模态信息的利用上取得了一定成果，但它们的特征提取不够充分，容易丢失语义信息，导致跟踪错误；其融合策略也不能准确反映模态的可靠性，结果易受劣质模态的影响而变差。

技术实现思路

[0005]本专利技术的目的在于提供一种基于残差学习的可见光
‑
红外序列目标跟踪方法，以实现复杂背景下的稳定目标跟踪。
[0006]实现本专利技术目的的技术方案为：一种基于残差学习的可见光
‑
红外序列目标跟踪方法，包括以下步骤：
[0007]步骤1、获取可见光——红外数据集，标注第一帧目标真值框。
[0008]步骤2、初始化网络参数，基于首帧中目标所在的位置进行采样，生成样本作为网
络输入；
[0009]步骤3、分批次将样本输入特征提取模型，所述特征提取模型为三分支特征提取网络，分别为可见光、红外、融合分支特征提取网络，每一分支依次执行浅层、中层、深层特征提取；分别计算可见光、红外分支每层输出的单模态特征图的注意力权重，将可见光、红外分支每层输出的单模态特征图与融合分支对应层的特征图进行加权融合后作为下一层特征提取的输入特征图，将深层提取的深层特征图输入跟踪判别模块以得到跟踪结果；
[0010]步骤4、计算跟踪结果与真值间的交叉熵损失，根据三分支损失函数计算总的损失，用于网络优化；一批图片训练完毕，返回步骤3，输入下一批图片，直到达到最大迭代次数，得到跟踪网络模型。
[0011]步骤5、利用跟踪网络模型完成可见光——红外图像序列跟踪。
[0012]优选地，所述网络参数包括学习率、迭代次数以及每批次图片数目。
[0013]优选地，将可见光图像数据集输入可见光分支特征提取网络，将红外图像数据集输入红外分支特征提取网络，将可见光——红外图像数据集输入融合分支特征提取网络。
[0014]优选地，每个分支的特征提取由三个残差卷积块完成。
[0015]优选地，可见光、红外分支每层输出的单模态特征图的注意力权重的计算过程为：
[0016]分别将可见光、红外分支前一层的特征图F
V
,F
I
∈R
C*H*W
送入最大池化层和平均池化层，均分别生成两张空间注意力图将两张空间注意力图沿通道维度进行逐元素相加得到总的空间注意力图
[0017]使用两个全连接层和一个激活函数将注意力图映射到模态权重空间，用下式来表示：
[0018][0019]w1,w2表示两个全连接层自适应学习得到的权重矩阵，σ表示激活函数，W
m
是最终输出的对应于模态m的融合权重。
[0020]优选地，每个残差块由两层采用残差连接的卷积构成，分别用于浅层、中层、深层特征提取，每个分支共包含六个卷积层；特征提取过程如下式所示：
[0021][0022]其中，分别表示第l层对应于模态m的输出特征图和输入特征图，σ表示激活
函数，m代表模态，l代表特征图所属残差块的层次，V,I分别表示可见光和红外模态，[1,2,3]分别表示浅层、中层、深层特征图，分别表示第l层残差块对应于融合分支的输出特征图和输入特征图，W
lm
表示第l层残差块对应于模态m的融合权重；l1,l2表示特征图所属的卷积层的层次,取值[1,2,34,5,6]表示第1到第6个卷积层，表示m模态分支的第l1个卷积层输出的特征图对于最终损失函数梯度的贡献，表示m模态分支的第i个卷积层输出的特征图经过特征提取网络处理之后得到的特征图。
[0023]优选地，三分支损失函数分别为：
[0024][0025][0026][0027]式中，表示融合分支的损失函数，表示可见光分支的损失函数，max(
·
)表示取最大值操作，Loss
F
为融合分支基础损失函数，Loss
V
为可见光分支基础损失函数，Loss
I
为红外分支基础损失函数。
[0028]优选地，基础损失函数的计算公式为：...

【技术保护点】

【技术特征摘要】
1.一种基于残差学习的可见光
‑
红外序列目标跟踪方法，其特征在于，包括以下步骤：步骤1、获取可见光——红外数据集，标注第一帧目标真值框。步骤2、初始化网络参数，基于首帧中目标所在的位置进行采样，生成样本作为网络输入；步骤3、分批次将样本输入特征提取模型，所述特征提取模型为三分支特征提取网络，分别为可见光、红外、融合分支特征提取网络，每一分支依次执行浅层、中层、深层特征提取；分别计算可见光、红外分支每层输出的单模态特征图的注意力权重，将可见光、红外分支每层输出的单模态特征图与融合分支对应层的特征图进行加权融合后作为下一层特征提取的输入特征图，将深层提取的深层特征图输入跟踪判别模块以得到跟踪结果；步骤4、计算跟踪结果与真值间的交叉熵损失，根据三分支损失函数计算总的损失，用于网络优化；一批图片训练完毕，返回步骤3，输入下一批图片，直到达到最大迭代次数，得到跟踪网络模型。步骤5、利用跟踪网络模型完成可见光——红外图像序列跟踪。2.根据权利要求1所述的基于残差学习的可见光
‑
红外序列目标跟踪方法，其特征在于，所述网络参数包括学习率、迭代次数以及每批次图片数目。3.根据权利要求1所述的基于残差学习的可见光
‑
红外序列目标跟踪方法，其特征在于，将可见光图像数据集输入可见光分支特征提取网络，将红外图像数据集输入红外分支特征提取网络，将可见光——红外图像数据集输入融合分支特征提取网络。4.根据权利要求1所述的基于残差学习的可见光
‑
红外序列目标跟踪方法，其特征在于，每个分支的特征提取由三个残差卷积块完成。5.根据权利要求1所述的基于残差学习的可见光
‑
红外序列目标跟踪方法，其特征在于，可见光、红外分支每层输出的单模态特征图的注意力权重的计算过程为：分别将可见光、红外分支前一层的特征图F
V
,F
I
∈R
C*H*W
送入最大池化层和平均池化层，均分别生成两张空间注意力图将两张空间注意力图沿通道维度进行逐元素相加得到总的空间注意力图使用两个全连接层和一个激活函数将注意力图映射到模态权重空间，用下式来表示：w1,w2表示两个全连接层自适应学习得到的权重矩阵，σ表示激活函数，W
m
是最终输出的对应于模态m的融合权重。6.根据权利要求4所述的基于残差学习的可见光
‑
红外序列目标跟踪方法，其特征在于，每个残差块由两层采用残差连接的卷积构成，分...

【专利技术属性】
技术研发人员：万敏杰，陈屹立，顾国华，张晓杰，许运凯，陈钱，钱惟贤，王佳节，
申请(专利权)人：上海航天控制技术研究所，
类型：发明
国别省市：