一种基于四特征融合和权重系数的高光谱目标跟踪方法技术

本发明专利技术公开了一种基于四特征融合和权重系数的高光谱目标跟踪方法，属于图像处理技术领域。所述方法通过采用光谱降维后选定通道的高光谱图像序列和光谱降维后融合通道的高光谱图像序列，克服了现有技术中同时处理所有波段的高光谱视频，计算量大，实时性差的缺点，使得本发明专利技术提高了复杂背景下高光谱图像序列中目标跟踪的速度。进一步的，通过采用响应图融合的方式，权重系数更新、基样本更新的方法，有效的克服了复杂背景中杂波背景的干扰，克服了现有技术中容易受到目标遮挡和形变的影响，使估计出现误差，导致跟踪发生偏移或者失败的缺点，使得本发明专利技术增强了核相关滤波分类器的稳定性，能够有效对复杂背景下高光谱图像序列中的目标实现跟踪。

【技术实现步骤摘要】
一种基于四特征融合和权重系数的高光谱目标跟踪方法
本专利技术涉及一种基于四特征融合和权重系数的高光谱目标跟踪方法，属于图像处理

技术介绍
复杂背景下高光谱图像序列中的目标跟踪是高光谱图像处理
重要组成部分，它在高光谱异常检测、高光谱目标检测与跟踪系统、高光谱遥感系统等许多系统中都有非常广泛的实际应用。近几年，基于改进核相关滤波的目标跟踪方法广泛应用在计算机视觉领域。核相关滤波算法利用基样本灰度特征进行跟踪，但是高光谱目标的灰度特征不足以区分出复杂背景和背景中的目标。哈佛大学LucaBertinetto等人发表的文献“Fully-ConvolutionalSiameseNetworksforObjectTracking”(发表会议Europeanconferenceoncomputervision，年份2016)中公开了一种基于全卷积孪生网络的视频目标跟踪方法。该方法实现的具体步骤是：基于ImageNet2015数据库，利用预先在线学习的方法，训练一个神经网络来解决生成式的相似性学习的问题，这个相似度匹配函数在跟踪的过程中简单的进行评价。然后利用预训练好的深度卷积网络作为特征编码器，提高跟踪性能。但是该方法容易受相似颜色背景的干扰，且深度网络的参数训练较耗时，算法的精确度和实时性受到较大影响。斯坦福大学BurakUzkent等人发表的文献“Trackinginaerialhyperspectralvideosusingdeepkernelizedcorrelationfilters”(发表期刊IEEETransactionsonGeoscienceandRemoteSensing，年份2018)中公开了一种基于深度核相关滤波的机载高光谱视频目标跟踪方法，其设计了一种扩大跟踪器搜索区域的方法来处理低时间分辨率的问题，然后利用预训练好的神经网络来提高跟踪性能。在跟踪系统中，利用深层次的ROI映射策略，只向前传递ROI并将整个ROI投影到ROI响应图，然后估计出目标位置。该方法存在的不足之处是：需要搭建目标样本库来训练深度卷积网络，计算量较大，并且对于背景杂斑较多，即有太多相似性物体的时候，跟踪效果不好。
技术实现思路
为了解决目前存在的目标特征区分度不高以及跟踪实时性低的问题，本专利技术提供了一种基于四特征融合和权重系数的高光谱目标跟踪方法，所述方法包括：S1载入高光谱图像序列的第一帧图像，并对高光谱图像序列的第一帧图像进行预处理；S2载入高光谱图像序列中第T帧图像作为当前帧图像，T为大于等于2的整数；S3对当前帧图像进行光谱降维操作得到光谱降维后的当前帧图像；S4提取当前帧图像的HOG特征作为第一个特征，然后提取光谱降维后的当前帧图像的三个深度特征作为第二到第四个特征；S5利用第一到第四个特征以及核相关滤波跟踪器计算得到四个分别基于第一到第四个特征的弱响应图；并利用四个弱响应图分别计算得到第一到第四个特征的权重系数；S6利用第一到第四个特征的权重系数对四个弱响应图进行加权平均运算得到一个强响应图，并将强响应图中最大值位置作为当前帧图像中目标的位置；S7对第一到第四个特征的权重系数相关参数进行自适应更新；自适应更新过程中，若第四个特征的权重系数超过预先设定的阈值参数，则重置第四个特征的权重系数；S8判断所述当前帧图像是否为高光谱图像序列的最后一帧图像，如果是则完成跟踪；如果不是则载入高光谱图像序列中第T+1帧图像作为当前帧图像，并循环S3至S8，直至所述当前帧图像为高光谱图像序列的最后一帧图像，完成目标跟踪。可选的，所述S1包括：1.1读入高光谱图像序列的第一帧图像；1.2用矩形框框出高光谱图像序列第一帧图像中待跟踪目标图像区域，将待跟踪目标图像区域的中心位置作为待跟踪目标的初始位置，以两倍于待跟踪目标图像区域的尺寸作为搜索区域的大小；将搜索区域与待跟踪目标图像区域的差值作为背景图像区域，搜索区域为目标图像区域周围200个随机图像块；1.3设置初始化参数。可选的，所述S3包括：3.1根据下式对当前帧图像进行光谱降维操作，得到光谱降维后的当前帧图像：Drj＝|Rtj-Rbj|其中，Drj表示第j个光谱波段内待跟踪目标图像区域和背景图像区域内所有像素的平均光谱响应差值，Rtj表示第j个光谱波段内待跟踪目标图像区域内所有像素的平均光谱响应曲线，Rbj表示第j个光谱波段内背景图像区域内所有像素的平均光谱响应曲线，|·|表示绝对值操作；将Drj最大值所对应的光谱波段作为光谱降维后的当前帧图像。可选的，所述S4包括：4.1提取当前帧图像的HOG特征作为第一个特征；4.2利用VGG-19网络对S3得到的光谱降维后的当前帧图像进行深度特征提取，并将VGG-19网络中第三卷积组的第四层作为第二个特征，第四卷积组的第四层作为第三个特征，第五卷积组的第四个层作为第四个特征。可选的，所述S5中利用第一到第四个特征以及核相关滤波跟踪器计算得到四个分别基于第一到第四个特征的弱响应图，包括：5.1将基于第一个特征的基样本进行循环位移然后得到高阶压缩矩阵X1；5.2按照下式，将X1进行对角化：X1＝F·diag(x1)·FH其中，F(·)表示做傅里叶变换操作，diag(·)表示对角化操作，x1表示向量x1的傅里叶变换，FH表示做傅里叶变换操作再求厄米特矩阵操作；5.3按照下式，计算基于第一个特征的基样本的核相关滤波分类器的回归系数ω1：其中，ω表示核相关滤波分类器的回归系数，以下标区分分别对应第几个特征，F-1(·)表示傅里叶逆变换操作，λ表示大小为0.01的正则化参数，y1表示回归值，表示y1的傅里叶变换；5.4按照下式，将ω1映射到高维特征空间：其中，α1表示基于第一个特征的目标图像区域的核相关滤波分类器的参数，表示映射操作；按照下式，利用循环矩阵计算α1；5.5按照下式，计算基于第一个特征的弱响应图R1：其中，z1表示基于第一个特征的目标图像区域的基样本；5.6重复步骤5.1至5.5，计算得到基于第二个到第四个特征的弱响应图R2到R4；5.5根据公式计算第一到第四个特征的权重系数wi；其中，i表示特征序号，取值为1到4；Rpci表示当前帧图像中第i个特征的弱响应图的最大值，Rpai表示历史帧图像中第i个特征的弱响应图的最大值。可选的，所述S6包括：6.1按照下式，计算强响应图Q：6.2将Q中最大值位置作为当前帧图像中目标的位置。可选的，所述S7包括：按照下式，对第一到第四个特征的权重系数计算公式中的参数Rpai进行自适应更新：其中，μ表示更新参数。可选的，所述若第四个特征的权重系数超过预先设定的阈值参数，则重置第四个特征的权重系数，包括：若第四个特征的权重系数本文档来自技高网...

【技术保护点】
1.一种基于四特征融合和权重系数的高光谱目标跟踪方法，其特征在于，所述方法包括：/nS1载入高光谱图像序列的第一帧图像，并对高光谱图像序列的第一帧图像进行预处理；/nS2载入高光谱图像序列中第T帧图像作为当前帧图像，T为大于等于2的整数；/nS3对当前帧图像进行光谱降维操作得到光谱降维后的当前帧图像；/nS4提取当前帧图像的HOG特征作为第一个特征，然后提取光谱降维后的当前帧图像的三个深度特征作为第二到第四个特征；/nS5利用第一到第四个特征以及核相关滤波跟踪器计算得到四个分别基于第一到第四个特征的弱响应图；并利用四个弱响应图分别计算得到第一到第四个特征的权重系数；/nS6利用第一到第四个特征的权重系数对四个弱响应图进行加权平均运算得到一个强响应图，并将强响应图中最大值位置作为当前帧图像中目标的位置；/nS7对第一到第四个特征的权重系数相关参数进行自适应更新；自适应更新过程中，若第四个特征的权重系数超过预先设定的阈值参数，则重置第四个特征的权重系数；/nS8判断所述当前帧图像是否为高光谱图像序列的最后一帧图像，如果是则完成跟踪；如果不是则载入高光谱图像序列中第T+1帧图像作为当前帧图像，并循环S3至S8，直至所述当前帧图像为高光谱图像序列的最后一帧图像，完成目标跟踪。/n...

【技术特征摘要】
1.一种基于四特征融合和权重系数的高光谱目标跟踪方法，其特征在于，所述方法包括：
S1载入高光谱图像序列的第一帧图像，并对高光谱图像序列的第一帧图像进行预处理；
S2载入高光谱图像序列中第T帧图像作为当前帧图像，T为大于等于2的整数；
S3对当前帧图像进行光谱降维操作得到光谱降维后的当前帧图像；
S4提取当前帧图像的HOG特征作为第一个特征，然后提取光谱降维后的当前帧图像的三个深度特征作为第二到第四个特征；
S5利用第一到第四个特征以及核相关滤波跟踪器计算得到四个分别基于第一到第四个特征的弱响应图；并利用四个弱响应图分别计算得到第一到第四个特征的权重系数；
S6利用第一到第四个特征的权重系数对四个弱响应图进行加权平均运算得到一个强响应图，并将强响应图中最大值位置作为当前帧图像中目标的位置；
S7对第一到第四个特征的权重系数相关参数进行自适应更新；自适应更新过程中，若第四个特征的权重系数超过预先设定的阈值参数，则重置第四个特征的权重系数；
S8判断所述当前帧图像是否为高光谱图像序列的最后一帧图像，如果是则完成跟踪；如果不是则载入高光谱图像序列中第T+1帧图像作为当前帧图像，并循环S3至S8，直至所述当前帧图像为高光谱图像序列的最后一帧图像，完成目标跟踪。


2.根据权利要求1所述的方法，其特征在于，所述S1包括：
1.1读入高光谱图像序列的第一帧图像；
1.2用矩形框框出高光谱图像序列第一帧图像中待跟踪目标图像区域，将待跟踪目标图像区域的中心位置作为待跟踪目标的初始位置，以两倍于待跟踪目标图像区域的尺寸作为搜索区域的大小；将搜索区域与待跟踪目标图像区域的差值作为背景图像区域，搜索区域为目标图像区域周围200个随机图像块；
1.3设置初始化参数。


3.根据权利要求2所述的方法，其特征在于，所述S3包括：
3.1根据下式对当前帧图像进行光谱降维操作，得到光谱降维后的当前帧图像：
Drj＝|Rtj-Rbj|
其中，Drj表示第j个光谱波段内待跟踪目标图像区域和背景图像区域内所有像素的平均光谱响应差值，Rtj表示第j个光谱波段内待跟踪目标图像区域内所有像素的平均光谱响应曲线，Rbj表示第j个光谱波段内背景图像区域内所有像素的平均光谱响应曲线，|·|表示绝对值操作；
将Drj最大值所对应的光谱波段作为光谱降维后的当前帧图像。


4.根据权利要求3所述的方法，其特征在于，所述S4包括：
4.1提取当前帧图像的HOG特征作为第一个特征；
4.2利用VGG-19网络对S3得到的光谱降维后的当前帧图像进行深度特征提取，并将VGG-19网络中第三卷积组的第四层作为第二个特征，第四卷积组的第四层作为第三个特征，第五卷积组的第四个层作为第四个特征。


5.根据权利要求4所述的方法，其特征在于，所述S5包括：
5.1将基于第一个特征的基样本进行循环位移然后得到高阶压缩矩阵X1；
5.2按照下式，将高阶压缩矩阵X1进行对角化：
X1＝...

【专利技术属性】
技术研发人员：钱琨，沈建露，王久山，陈鹏，
申请(专利权)人：江南大学，
类型：发明
国别省市：江苏;32