【技术实现步骤摘要】
基于Transformer的孪生多模态目标跟踪方法
[0001]本专利技术涉及计算机目标跟踪
，特别涉及一种基于Transformer的孪生多模态目标跟踪方法。
技术介绍
[0002]利用RGB与热红外（TIR）光谱进行视觉目标跟踪，简称RGBT跟踪，可以有效解决传统跟踪任务中目标容易丢失以及在极端光照条件下表现差的缺点。目前，常见的多模态目标跟踪方法包括基于传统图形学的数学跟踪方法以及基于孪生网络的特征匹配方法两大类。
[0003]基于传统图形学的数学跟踪方法一般是构造核函数，在目标检测区域f和滤波模板h做卷积运算，然后再通过相应的算法进行寻优，获取全局最优回归框。然而，此类方法中，如基于相关滤波算法、线性回归滤波算法以及多特征算法等目标跟踪方法，很难对于具有复杂前景的物体进行跟踪，导致容易发生易跟丢或无法精确回归目标框的问题。
技术实现思路
[0004]为此，本专利技术的实施例提出一种基于Transformer的孪生多模态目标跟踪方法，以解决上述技术问题。
[0005]本专利技术提出...
【技术保护点】
【技术特征摘要】
1.一种基于Transformer的孪生多模态目标跟踪方法，其特征在于，所述方法包括如下步骤：步骤一、通过摄像头与热成像装置采集当前场景下的RGB图像信息与热力图像信息；步骤二、利用经过预训练的ResNet特征提取网络对RGB图像信息与热力图像信息分别进行特征提取以对应得到RGB图像特征与热力图像特征；基于线性假设的方法将RGB图像信息与热力图像信息进行对齐，使用基于ResNet的孪生网络对RGB图像信息与热力图像信息共同进行特征提取以得到RGB
‑
热力图像特征；步骤三、利用基于Transformer编码器的特征融合网络，将所述RGB图像特征、热力图像特征以及RGB
‑
热力图像特征两两配合进行复合编码以得到编码后的特征图；步骤四、将所述编码后的特征图输入至基于Transformer的特征匹配网络中进行扩充与匹配，以得到模板特征图与背景特征图的匹配结果，并利用基于循环窗口注意力的匹配机制对所述模板特征图与背景特征图的匹配结果进行扩充再匹配以得到第一特征图；步骤五、将所述第一特征图输入至基于多层感知机模型的回归器中进行回归框的回归，并基于设计的损失函数返回误差计算值并进行反向传播；步骤六、通过快速梯度下降法确认当前回归框的损失，当回归框损失最小时，结束训练并输出各网络权重文件；步骤七、根据最终得到的各网络权重文件，构建多模态目标跟踪器并实时确定所跟踪的目标在图像中的位置。2.根据权利要求1所述的基于Transformer的孪生多模态目标跟踪方法，其特征在于，所述ResNet特征提取网络为ResNet50特征提取网络，在所述步骤二中，所述方法还包括：利用ResNet50特征提取网络在ImageNet10k数据集上的预训练数据，对RGB图像信息与热力图像信息分别进行特征提取；根据设定图像大小与给定的第一帧框图数据，对RGB图像信息中的RGB图像进行调整；利用KL散度对所述ResNet50特征提取网络进行约束计算以得到当前输出的损失值；根据当前输出的损失值计算得到整体网络对应的最终网络损失值，其中所述整体网络由ResNet特征提取网络、基于ResNet的孪生网络、基于Transformer编码器的特征融合网络以及基于Transformer的特征匹配网络组成。3.根据权利要求2所述的基于Transformer的孪生多模态目标跟踪方法，其特征在于，对RGB图像信息中的RGB图像进行调整的步骤中，对应的表达式为：其中，表示处理后的RGB图像的输出，表示当前RGB图像的输入，表示当前热力图像的大小，表示当前RGB图像的大小，表示图像中心点的偏移量；利用KL散度对所述ResNet50特征提取网络进行约束计算以得到当前输出的损失值的步骤中，对应的表达式为：
其中，表示当前输出的损失值，表示输出特征向量的维度，表示RGB图像经过ResNet50特征提取网络所输出的特征向量中的第列，表示热力图像经过ResNet50特征提取网络所输出的特征向量中的第列，表示输出的特征向量中的列数；在根据当前输出的损失值计算得到整体网络对应的最终网络损失值的步骤中，整体网络对应的最终网络损失值表示为：其中，表示整体网络对应的最终网络损失值，表示后续网络反向传播回的损失值，表示超参数。4.根据权利要求3所述的基于Transformer的孪生多模态目标跟踪方法，其特征在于，在所述步骤三中，将所述RGB图像特征、热力图像特征以及RGB
‑
热力图像特征两两配合进行复合编码以得到编码后的特征...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。