一种基于空谱特征融合的无监督高光谱视频目标跟踪方法技术

本发明专利技术涉及一种基于空谱特征融合的无监督高光谱视频目标跟踪方法。本发明专利技术结合循环一致性理论方法，设计了基于深度学习的高光谱目标跟踪方法，可无监督的训练高光谱目标跟踪深度学习模型，节约了人工标注的成本。在Siamese跟踪框架的基础上了，设计了RGB分支(空间分支)与高光谱分支；使用RGB视频数据训练空间分支以及将训练好的RGB模型载入网络固定参数同时训练高光谱分支，获得融合后的更具鲁棒性及判别力的特征。最终使用将融合的特征输入到相关滤波器中(DCF)，获得跟踪结果。本发明专利技术可以解决高光谱视频数据人工标注的问题以及用于深度学习模型训练的高光谱训练样本少的问题，可以有效提升高光谱视频跟踪模型的精度和速度。

【技术实现步骤摘要】
一种基于空谱特征融合的无监督高光谱视频目标跟踪方法
本专利技术基于计算视觉技术处理领域，特别涉及一种基于空谱特征融合的无监督高光谱视频目标跟踪方法。
技术介绍
高光谱视频(高空间分辨率-高时间分辨率-高光谱分辨率)目标跟踪作为新兴的方向，旨在利用高光谱视频中给定初始帧的目标信息去预测目标在后续帧的状态。相比于RGB视频目标跟踪，高光谱视频目标跟踪，除了能够提供空间信息之外，还能提供区分不同材料的光谱信息。即使目标外形一样，只要材料不同，就能利用高光谱视频跟踪目标，这是RGB视频目标跟踪所不具备的优势。因此，高光谱视频目标跟踪在在伪装目标跟踪，小目标跟踪等领域能够发挥重要的作用。在此基础上，高光谱视频目标跟踪也吸引了越来越多研究学者的关注。与此同时，高光谱视频目标跟踪是一项艰巨的任务。其一，目前高光谱视频目标跟踪算法都是使用传统手工特征表征目标的特征，这使得高光谱视频目标跟踪算法性能受限；其二，高光谱视频需要专用的高光谱视频相机拍摄，训练样本受限，导致目前还没有真正意义上的基于深度学习的高光谱视频目标算法。其三，有监督的深度学习算法现需要大量人工标准的样本，特别是视频标注，费时费力。由于上述几个问题存在，导致目前高光谱视频目标跟踪算法往往表现较差。
技术实现思路
本专利技术的目的在于提出一种基于空谱特征融合的无监督高光谱视频目标跟踪方法。本专利技术所提供的这种基于空谱特征融合的无监督高光谱视频目标跟踪方法，具有以下三个显著特点。一是利用循环一致性原理，在不需要任何人工标注的情况下无监督的训练整个基于深度学习的高光谱目标跟踪算法。二是设计空谱特征融合的相关滤波高光谱视频目标跟踪框架，在一定程度上解决了高光谱视频训练样本少的问题，同时融合RGB与高光谱特征可以获得更具鲁棒性与识别力的特征。三是设计通道注意力模块，仅在初始帧计算特征通道的权重，使得网络能够动态聚合出不同目标的特征通道的不同权重。本专利技术提供一种基于空谱特征融合的无监督高光谱视频目标跟踪方法，实现步骤如下：步骤1，视频数据预处理；步骤2，随机初始化边界框，并通过初始化边界框获取模板帧Zi和后续的搜索帧Zi+x，模板帧Zi和搜索帧Zi+x为RGB视频帧或者高光谱视频帧；步骤3，利用循环一致性原理无监督训练RGB分支，也称空间分支，最终得到优化后的空间分支模型空间分支包括模板分支1和搜索分支1，模板分支1以包含跟踪目标的模板帧Zi为输入图像帧，此时模板帧Zi为RGB视频帧，搜索分支1以搜索帧Zi+x，即后续视频帧为输入图像帧，x>0，训练空间分支时去掉高光谱分支，仅训练空间分支；模板分支1和搜索分支1的结构相同，包括卷积层-非线性激活层-卷积层-局部响应归一化层；步骤4，利用循环一致性原理无监督训练高光谱分支，最终得到优化后的空间-高光谱模型高光谱分支包括模板分支2与搜索分支2，模板分支2以包含跟踪目标的模板帧Zi为输入图像帧，搜索分支以搜索帧Zi+x，即后续视频帧为输入图像帧，x>0，训练高光谱分支时载入空间分支的模型同时冻结空间分支参数不参与反向传播；模板分支2包括多个串联的光谱特征提取模块和一个通道注意力模块，其中前两个光谱特征提取模块包括卷积层-批归一化层-非线性激活层，第三个光谱特征提取模块包括卷积层-批归一化层-非线性激活层-卷积层，通道注意力模块包括全局平均池化层-全连接层-非线性激活层-全连接层-Softmax，搜索分支2只包括多个串联的光谱特征提取模块，不包含通道注意力模块；步骤5，将包含待跟踪目标的高光谱视频帧X1输入到网络模型中模板分支，将后续帧X2,X3,X4...Xi依次输入到网络模型的搜索分支得到每一帧的跟踪结果。进一步的，步骤1的具体实现方式如下，首先将视频数据转化为一帧帧连续的图像Xi，Xi为RGB视频帧或者高光谱视频帧；然后将没有标注的视频图像帧Xi全部resize成一定大小的视频图像帧Yi。进一步的，所述步骤2的实现方式如下，在步骤1的基础上，在没有标注的视频帧Yi上以坐标[x,y]为中心选出90×90像素大小的区域作为需要跟踪的目标，这块区域就是初始化的BBOX；将这90×90的区域resize成125×125像素大小的Zi；同时在Yi+1到Yi+10这10帧中随机选择两帧Yi+a和Yi+b，10>＝a>0，10>＝b>0，a>b或者a<b，同样以坐标[x,y]为中心选出90×90像素大小的区域resize成125×125像素大小的Zi+a和Zi+b。进一步的，所述步骤3的具体实现方式如下，步骤3.1，模板分支1以模板帧Zi为输入图像帧，搜索分支1以搜索帧Zi+x为输入图像帧，训练空间分支时去掉高光谱分支，仅训练空间分支；步骤3.2，将模板帧Zi输入模板分支1，此时Zi是RGB视频帧，Zi依次经过“卷积层-非线性激活层-卷积层-局部响应归一化层”得到特征F_t；步骤3.3，将Zi+a输入搜索分支1，此时Zi+a是RGB视频帧；Zi+a依次经过“卷积层-非线性激活层-卷积层-局部响应归一化层”得到特征F_s；步骤3.4，通过求解岭回归损失函数；得到滤波器w，H是理想高斯响应，λ是常数；其中，是w的傅里叶变换，同理是F_t的傅里叶变换，是H的傅里叶变换，*代表共轭值，⊙代表点积；步骤3.5，通过滤波器w与后续帧的特征F_s计算得到最终的响应R；其中F-1代表傅里叶反变换；步骤3.6，首先向前跟踪，跟踪顺序为Zi-Zi+a-Zi+b，三帧组成一个训练对，且b>a，得到跟踪响应Ri+a，Ri+b；再向后跟踪，跟踪顺序为Zi+b-Zi，得到跟踪响应Ri；步骤3.7，计算移动权重Mmotion；其中，Hi是初始帧Zi理想的高斯输出，Hi+a是Zi+a的理想高斯输出，m代表m个不同训练对；通过计算移动权重Mmotion来判断随机初始化边界框中是否包含动态目标，若有动态目标，Mmotion的权重会比无动态目标的值要大；步骤3.8，构建损失函数：其中，n表示batchsize的最大值，Ri是由Zi+b到Zi的跟踪响应，Hi是初始帧Zi的理想高斯响应，m代表同时使用m个minibatch训练，每个minibatch里就是一组训练对，一组训练对有三帧图像，使用权重参数Mmotion降低非动态目标对网络训练的影响；步骤3.9，反向传播loss值更新网络模型参数，loss值即为步骤3.8中的损失函数值L，将loss值进行反向传播，通过基于随机梯度下降(SGD)算法对3.2步骤中的网络参数进行更新，最终得到优化后的空间分支模型进一步的，所述步骤4的实现方式如下，步骤4.1，模板分支2以模板帧Zi为输入图像帧，此时Zi为高光谱视频帧，搜索分支2以搜索帧Zi+x为输入图像帧，此时Zi+x为高光谱视频帧，训练高光谱分支时载入空本文档来自技高网...

【技术保护点】
1.一种基于空谱特征融合的无监督高光谱视频目标跟踪方法，其特征在于，包括以下步骤：/n步骤1，视频数据预处理；/n步骤2，随机初始化边界框，并通过初始化边界框获取模板帧Z

【技术特征摘要】
1.一种基于空谱特征融合的无监督高光谱视频目标跟踪方法，其特征在于，包括以下步骤：
步骤1，视频数据预处理；
步骤2，随机初始化边界框，并通过初始化边界框获取模板帧Zi和后续的搜索帧Zi+x，模板帧Zi和搜索帧Zi+x为RGB视频帧或者高光谱视频帧；
步骤3，利用循环一致性原理无监督训练RGB分支，也称空间分支，最终得到优化后的空间分支模型
所述空间分支包括模板分支1和搜索分支1，模板分支1以包含跟踪目标的模板帧Zi为输入图像帧，此时模板帧Zi为RGB视频帧，搜索分支1以搜索帧Zi+x，即后续视频帧为输入图像帧，x>0，训练空间分支时去掉高光谱分支，仅训练空间分支；
模板分支1和搜索分支1的结构相同，包括卷积层-非线性激活层-卷积层-局部响应归一化层；
步骤4，利用循环一致性原理无监督训练高光谱分支，最终得到优化后的空间-高光谱模型
高光谱分支包括模板分支2与搜索分支2，模板分支2以包含跟踪目标的模板帧Zi为输入图像帧，此时模板帧Zi为高光谱视频帧，搜索分支2以搜索帧Zi+x，即后续视频帧为输入图像帧，x>0，训练高光谱分支时载入空间分支的模型同时冻结空间分支参数不参与反向传播；
模板分支2包括多个串联的光谱特征提取模块和一个通道注意力模块，其中前两个光谱特征提取模块包括卷积层-批归一化层-非线性激活层，第三个光谱特征提取模块包括卷积层-批归一化层-非线性激活层-卷积层，，通道注意力模块包括全局平均池化层-全连接层-非线性激活层-全连接层-Softmax，搜索分支2只包括多个串联的光谱特征提取模块，不包含通道注意力模块；
步骤5，将包含待跟踪目标的高光谱视频帧X1输入到网络模型中模板分支，将后续视频帧X2,X3,X4...Xi依次输入到网络模型的搜索分支得到每一帧的跟踪结果。


2.如权利要求1所述的一种基于空谱特征融合的无监督高光谱视频目标跟踪方法，其特征在于：步骤1的具体实现方式如下，
首先将视频数据转化为一帧帧连续的图像Xi，Xi为RGB视频帧或者高光谱视频帧；
然后将没有标注的视频图像帧Xi全部resize成一定大小的视频图像帧Yi。


3.如权利要求1所述的一种基于空谱特征融合的无监督高光谱视频目标跟踪方法，其特征在于：所述步骤2的实现方式如下，
在步骤1的基础上，在没有标注的视频帧Yi上以坐标[x,y]为中心选出90×90像素大小的区域作为需要跟踪的目标，这块区域就是初始化的BBOX；将这90×90的区域resize成125×125像素大小的Zi；同时在Yi+1到Yi+10这10帧中随机选择两帧Yi+a和Yi+b，10>＝a>0，10>＝b>0，a>b或者a<b，同样以坐标[x,y]为中心选出90×90像素大小的区域resize成125×125像素大小的Zi+a和Zi+b。


4.如权利要求1所述的一种基于空谱特征融合的无监督高光谱视频目标跟踪方法，其特征在于：所述步骤3的具体实现方式如下，
步骤3.1，模板分支1以模板帧Zi为输入图像帧，搜索分支1以搜索帧Zi+x为输入图像帧，训练空间分支时去掉高光谱分支，仅训练空间分支；
步骤3.2，将模板帧Zi输入模板分支1，此时Zi是RGB视频帧，Zi依次经过“卷积层-非线性激活层-卷积层-局部响应归一化层”得到特征F_t；
步骤3.3，将Zi+a输入搜索分支1，此时Zi+a是RGB视频帧；Zi+a依次经过“卷积层-非线性激活层-卷积层-局部响应归一化层”得到特征F_s；
步骤3.4，通过求解岭回归损失函数；



得到滤波器w，H是理想高斯响应，λ是常数；



其中，是w的傅里叶变换，同理是F_t的傅里叶变换，是H的傅里叶变换，*代表共轭值，⊙代表点积；
步骤3.5，通过滤波器w与后续帧的特征F_s计算得到最终的响应R；



其中F-1代表傅里叶反变换...

【专利技术属性】
技术研发人员：王心宇，刘桢杞，钟燕飞，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42