一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法技术

本发明专利技术涉及一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法。本发明专利技术设计了基于目标感知的深度孪生网络高光谱目标跟踪框架，相比于现有高光谱目标跟踪模型，本发明专利技术提升了算法处理速度以及精度。本发明专利技术设计了高光谱目标感知模型用以提取高光谱目标的语义特征，增加了网络对高光谱视频目标的表征能力。设计了自适应边界框预测模块，可以直接预测出目标的边界框。本发明专利技术可以解决用于深度学习模型训练的高光谱训练样本少的问题，相比于现有高光谱目标跟踪模型，本发明专利技术提升了算法处理速度以及精度。度以及精度。度以及精度。

【技术实现步骤摘要】
一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法


[0001]本专利技术基于计算视觉技术处理领域，特别涉及一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法。

技术介绍

[0002]视频目标跟踪由于其拥有广泛的应用一直是广大学者研究的热点。由于RGB视频目标跟踪对于与环境相似的目标不敏感，导致基于RGB视频的目标跟踪算法跟踪这类目标时容易失败。而高光谱视频拥有丰富的光谱信息，即使目标与环境相似(Background Clutters)，只要目标材质与环境不同，那么也能通过光谱信息来区分目标与环境，从而获得更好的跟踪结果。因此，高光谱视频在目标与其周围环境难以区分的情况下能够发挥重要的作用。在此基础上，高光谱视频目标跟踪也吸引了越来越多研究学者的关注。
[0003]与此同时，高光谱视频目标跟踪是一项艰巨的任务。其一，目前高光谱视频目标跟踪算法都是使用传统手工特征表征目标的特征，难以适应高时间
‑
高空间
‑
高光谱这种高维非线性三高影像。其二，现有的高光谱深度学习目标跟踪器都是基于伪彩色的跟踪器，没有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法，其特征在于，包括以下步骤：步骤1，高光谱视频数据预处理；步骤2，载入基于孪生网络的自适应边界框的RGB模型；将高光谱视频帧中的任意三个波段提取出来组成伪彩色视频帧Y
i_rgb
输入RGB模型，得到RGB模型的最终输出(clsmap_rgb，locmap_rgb)，其中clsmap_rgb为分类特征图，locmap_rgb为最终的回归特征图，所述RGB模型由孪生网络构成，包括结构相同的模板分支1和搜索分支1，其具体结构包括骨干网络和多组自适应边界框预测模块，自适应边界框预测模块包括分类分支和回归分支；步骤3，使用高光谱目标感知模块预测高光谱目标类别；将高光谱视频帧输入高光谱目标感知模块，得到高光谱目标感知模块最终输出的分类特征图clsmap；所述高光谱目标感知模块由孪生网络构成，包括结构相同的模板分支2和搜索分支2，其具体结构包括骨干网络和多组高光谱目标感知预测模块，高光谱目标感知预测模块的结构与分类分支的网络结构相同；步骤4，将高光谱目标感知模块输出的clsmap与RGB模型输出的clsmap_rgb进行加权融合得到最终的clsmap_f；步骤5，将得到clsmap_f输入到交叉熵损失函数中，输出loss值，反向传播loss值更新网络模型参数，最终得到优化后的网络模型f
network
(
·
)；步骤6，将包含待跟踪目标的高光谱视频帧X
i
输入到网络模型f
network
(
·
)中的模板分支，包括RGB模型的模板分支1以及高光谱目标感知模块的模板分支2，将后续帧X
i+1
，X
i+2
，X
i+3
…
X
i+n
依次输入到网络模型f
network
(
·
)的搜索分支，包括RGB模型的搜索分支2以及高光谱目标感知模块的搜索分支2，得到locmap_rgb与clsmap_f，通过clsmap_f预测出目标类别，通过locmap_rgb预测出目标的边界框，最终得到目标的跟踪结果。2.如权利要求1所述的一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法，其特征在于：所述步骤1的实现方式如下，步骤1.1，将高光谱视频数据转化为一帧帧连续的图像X
i
；步骤1.2，将含有目标的高光谱视频图像帧X
i
全部resize成511
×
511
×
C大小的高光谱视频图像帧Y
i
，C为高光谱视频帧的通道数。3.如权利要求1所述的一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法，其特征在于：RGB模型和高光谱目标感知模块中的骨干网络均为resnet50。4.如权利要求1所述的一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法，其特征在于：所述自适应边界框预测模块包含分类预测模块与回归预测模块，将模板帧特征与搜索帧特征分依次输入“卷积层
‑
深度互相关卷积
‑
分类预测头”得到分类特征图，将模板帧特征与搜索帧特征分依次输入“卷积层
‑
深度互相关卷积
‑
回归预测头”得到回归特征图。5.如权利要求4所述的一种基于目标感知的深度孪生网络高光谱视频目标跟踪方法，其特征在于：所述步骤2的实现方式如下，步骤2.1，将高光谱视频帧Y
...

【专利技术属性】
技术研发人员：刘桢杞，王心宇，钟燕飞，
申请(专利权)人：武汉大学，
类型：发明
国别省市：