基于双光孪生网络决策级目标跟踪方法、系统及存储介质技术方案

本发明专利技术公开了一种基于双光孪生网络决策级目标跟踪方法、系统及存储介质。本发明专利技术以孪生候选区域生成网络为基础框架，利用生成对抗网络生成伪红外图像数据集对其进行训练，解决了红外图像样本匮乏的问题，提高了网络对红外特征提取的能力。另外，本发明专利技术以上下文约束条件设计可见光分支跟踪和伪红外分支跟踪的融合跟踪策略，解决了对弱光或光照不均引起的跟踪困难的问题，避免了跟踪漂移，使跟踪过程更为鲁棒，跟踪精度更为准确。

【技术实现步骤摘要】
基于双光孪生网络决策级目标跟踪方法、系统及存储介质
本专利技术涉及计算机视觉处理领域，尤其是一种基于双光孪生网络决策级目标跟踪方法、系统，以及一种计算机可读存储介质。
技术介绍
目标跟踪已经成为计算机视觉领域重要的研究方向和研究热点，可应用于精确制导武器、无人机侦察监视等军事领域，也可应用于机器人导航、人机交互，行人与车辆的视频监控等民用领域。将多源传感器进行数据或信息融合可以实现单一传感器无法获得的目标跟踪效果，提升目标跟踪性能，而其中最典型的是红外与可见光的融合跟踪。在可见光条件下，传感器通常获取目标的反射特性，即目标的颜色、纹理等特征，采用高分辨成像器件更利于获取目标的细节信息，现有技术中，也较为常见基于可见光的基准方法的目标跟踪方法，例如文献“HighPerformanceVisualTrackingwithSiameseRegionProposalNetwork，BoLi、JunjieYan、WeiWu等[1]”；而在红外条件下，传感器通常获取目标的热辐射特性，即目标的温度特征(与环境对比度较明显)，便于探测目标，可以避免光照不均及阴本文档来自技高网...

【技术保护点】
1.一种基于双光孪生网络决策级目标跟踪方法，其特征在于，包括：对于视频每一帧图像，均执行可见光分支跟踪；/n可见光分支跟踪：将可见光图像输入基于深度学习的可见光孪生候选区域生成网络模型，分别提取模板区域的可见光跟踪模板特征、目标搜索区域的可见光跟踪目标特征；将可见光跟踪模板特征及可见光跟踪目标特征输入候选区生成网络，得到可见光跟踪置信图；根据可见光跟踪置信图计算可见光跟踪置信度；在可见光跟踪置信度不满足约束条件时，执行伪红外分支跟踪；/n伪红外分支跟踪：利用预训练的生成对抗网络模型将当前帧图像转换为伪红外图像，所述预训练的生成对抗网络用于将可见光图像转换为伪红外图像；采用预训练的孪生候选区生成...

【技术特征摘要】
1.一种基于双光孪生网络决策级目标跟踪方法，其特征在于，包括：对于视频每一帧图像，均执行可见光分支跟踪；
可见光分支跟踪：将可见光图像输入基于深度学习的可见光孪生候选区域生成网络模型，分别提取模板区域的可见光跟踪模板特征、目标搜索区域的可见光跟踪目标特征；将可见光跟踪模板特征及可见光跟踪目标特征输入候选区生成网络，得到可见光跟踪置信图；根据可见光跟踪置信图计算可见光跟踪置信度；在可见光跟踪置信度不满足约束条件时，执行伪红外分支跟踪；
伪红外分支跟踪：利用预训练的生成对抗网络模型将当前帧图像转换为伪红外图像，所述预训练的生成对抗网络用于将可见光图像转换为伪红外图像；采用预训练的孪生候选区生成网络提取该伪红外图像上模板区域的伪红外跟踪模板特征、目标搜索区域的伪红外跟踪目标特征，对伪红外跟踪模板特征和伪红外跟踪目标特征进行互相关特征匹配，得到伪红外跟踪置信图；根据伪红外跟踪置信图计算出伪红外跟踪置信度；用于训练所述孪生候选区生成网络的训练样本集，由所述预训练的生成对抗网络模型生成；
将可见光跟踪置信图和伪红外跟踪置信图进行融合，取融合的置信图中置信度最大的位置，映射到原始图像，得到目标跟踪结果。


2.如权利要求1所述的基于双光孪生网络决策级目标跟踪方法，其特征在于，所述预训练的生成对抗网络的训练方法为：利用任意的、无需成对的热红外图像与RGB图像作为训练数据，对无监督生成对抗伪红外生成模型CycleGAN进行训练。


3.如权利要求1所述的基于双光孪生网络决策级目标跟踪方法，其特征在于，利用所述预训练的生成对抗网络，生成伪红外图像数据集；将生成的伪红外图像作为训练数据集输入孪生候选区域生成网络进行模型训练，得到伪红外跟踪模型。


4.如权利要求1所述的基于双光孪生网络决策级目标跟踪方法，其特征在于，所述根据可见光跟踪置信图/伪红外跟踪置信图计算可见光跟踪置信度/伪红外跟踪置信度，包...

【专利技术属性】
技术研发人员：许廷发，郭倩玉，吴凡，殷钰莹，
申请(专利权)人：北京理工大学重庆创新中心，北京理工大学，
类型：发明
国别省市：重庆;50