一种基于通道感知的水下目标跟踪方法技术

本发明专利技术公开了一种基于通道感知的水下目标跟踪方法，包括如下步骤：步骤S1、对水下模糊失真的图像进行增强；步骤S2、构造网络模型，使用骨干网络AlexNet对模板图像和测试图像进行特征提取；步骤S3、构造通道感知模块，并将通道感知模块融入网络模型；步骤S4、利用大规模数据集对融入通道感知模块的网络模型进行离线训练；步骤S5、利用训练好的模型对选中的水下目标进行跟踪，生成包围目标的矩形框，获取跟踪结果。本发明专利技术克服现有跟踪算法没有图像预处理机制，不能很好应用于水下，以及水下环境复杂，导致目标跟踪结果不够准确的问题。导致目标跟踪结果不够准确的问题。导致目标跟踪结果不够准确的问题。

An underwater target tracking method based on channel perception

【技术实现步骤摘要】
一种基于通道感知的水下目标跟踪方法


[0001]本专利技术涉及水下视频图像处理
，尤其是一种基于通道感知的水下目标跟踪方法。

技术介绍

[0002]如今，我们处在一个互联网发展越来越迅速的时代，每天都能够接收到大量外部信息。据研究发现，大部分信息是通过视觉获得的。而计算机视觉是通过利用各种各样的传感器来代替人类的眼睛作为输入，从而代替人眼在不同复杂环境中进行各种任务。随着计算机视觉领域的不断发展，对视频处理技术提出了更高的要求,也对目标跟踪技术高度重视，目标跟踪有着广泛的应用前景。目标跟踪是指在给定的第一帧目标的位置和尺寸大小信息，在后续帧定位到目标的位置和尺寸大小。随着算法的不断的完善，目标跟踪的性能有了很大的提高。但是目标跟踪也一直受到一些挑战，如目标形态剧烈变化、运动模糊、相似物干扰、遮挡等等。这些挑战使得跟踪目标容易发生漂移，导致跟踪失败。
[0003]尽管在视觉跟踪方面已经有学者做了很多工作，但大部分都集中在户外环境上，水下目标跟踪工作所做的非常少。而海洋蕴藏着丰富的生物和矿产资源，探索海洋就显得尤为重要，同时水下目标跟踪应用领域也十分广泛，例如水产养殖计数和水下生物多样性监测等。但水下环境面临图像清晰度较差，目标自由度高，姿态变化多等问题，这使得常见目标跟踪算法应用至水下时，效果变得不尽如人意。而随着深度学习快速发展，以孪生网络为基础的目标跟踪算法在面临复杂场景下的跟踪性能较好。它在第一帧保留图像的目标信息，可有效避免目标模板特征被污染，更有利于定位目标。这些陆地目标跟踪算法忽视了水下图像光照不均，图像照度低，亮度小，细节信息不突出等问题，没有对其进行预处理操作，导致其应用至水下，效果不是很理想。

技术实现思路

[0004]本专利技术需要解决的技术问题是提供一种基于通道感知的水下目标跟踪方法，克服现有跟踪算法没有图像预处理机制，不能很好应用于水下，以及水下环境复杂，导致目标跟踪结果不够准确的问题。
[0005]为解决上述技术问题，本专利技术所采用的技术方案是：一种基于通道感知的水下目标跟踪方法，包括如下步骤：
[0006]步骤S1、对水下模糊失真的图像进行增强；
[0007]步骤S2、构造网络模型，使用骨干网络AlexNet对模板图像和测试图像进行特征提取；
[0008]步骤S3、构造通道感知模块，并将通道感知模块融入网络模型；
[0009]步骤S4、利用大规模数据集对融入通道感知模块的网络模型进行离线训练；
[0010]步骤S5、利用训练好的模型对选中的水下目标进行跟踪，生成包围目标的矩形框，获取跟踪结果。
[0011]本专利技术技术方案的进一步改进在于：所述步骤S1中对于照度低、亮度小的水下图像，利用直方图均衡化，增强原图的整体亮度。
[0012]本专利技术技术方案的进一步改进在于：所述步骤S1中对于亮度足够但是模糊浑浊的图像，根据多尺度增强MSR算法对其增强，MSR由以下公式表示
[0013][0014]式中R
MSR
表示经过MSR增强后的图像，I(x,y)表示原始图像，G(x,y)为高斯环绕函数,表示尺度个数，ω
k
表示表示第k个尺度的值。
[0015]本专利技术技术方案的进一步改进在于：所述步骤S2中网络模型包括模板分支和测试分支，所述模板分支用于获取目标模板图像，模板图像记为z，所述测试分支用于获取跟踪过程的后续帧，得到测试图像，测试图像记为x，所述模板分支和测试分支的输出维度分别为6
×6×
128和22
×
22
×
128。
[0016]本专利技术技术方案的进一步改进在于：所述步骤S3的具体步骤如下：
[0017]步骤S3.1、通道感知模块对经过骨干网络AlexNet提取的特征X∈R
C
×
H
×
W
分别进行全局平均池化和全局最大池化，其中，R为三维张量，C为特征图通道数、H为高、W为宽；全局平均池化和全局最大池化将输入特征X由H
×
W压缩至1
×
1，得到两个尺寸为C
×1×
1的通道权重表征向量；
[0018]步骤S3.2、将步骤S3.1中得到的两个表征向量送入到共享的多层感知器MLP中，MLP由两个共享的1
×
1卷积层所构成，第一个1
×
1卷积层利用降维参数r降维，将通道由C降至C/r，第二个1
×
1卷积层则将特征通道数目再恢复至C，此时得到两个表征向量元素；
[0019]步骤S3.3、将MLP输出的两个表征向量元素进行逐元素相加，得到全局通道之间的注意力M
C
:
[0020]M
c
(X)＝SG(MLP(f
avg
(X))+MLP(f
max
(X)))，
[0021]其中SG表示sigmoid激活函数，f
avg
(
·
)和f
max
(
·
)分别表示全局平均池化操作和全局最大池化操作。
[0022]本专利技术技术方案的进一步改进在于：所述步骤S4的具体步骤如下：
[0023]步骤S4.1、将步骤S3中的通道感知模块嵌入模板分支，获取模板特征图像每个通道的权重，并在Imagnet VID数据集和Imagnet DET数据集中进行离线训练，训练过程中接受模板图像z和测试图像x作为输入；
[0024]步骤S4.2、将模板图像z送入通道感知模块，产生输入图像各通道的权重M
C
(z)；
[0025]步骤S4.3、根据如下公式，得到融合通道权重的特征h(z)：
[0026][0027]其中z为模板图像，M
C
(z)为图像各通道的权重,为卷积操作。
[0028]步骤S4.4、根据如下公式对测试图像进行滑动卷积操作：
[0029][0030]其中f(z,x)是互相关操作后的最终响应图，为网络提取测试图像的特征，为卷积操作；
[0031]步骤S4.5、利用逻辑回归公式对损失函数不断优化，得到最终网络模型，公式如
下：
[0032]l(y,v)＝log(1+exp(
‑
y,v))，
[0033]其中l(y,v)是损失函数，y是真实标签值，v是网络预测值。
[0034]本专利技术技术方案的进一步改进在于：所述步骤S5的具体步骤如下：
[0035]步骤S5.1、用融合通道感知模块的特征提取网络提取模板图像特征；
[0036]步骤S5.2、测试图像经过特征提取网络得到的特征图与模板图像特征进行卷积操作，并利用如下公式进行相似度计算，得到模板图像与测试图像之间的相似性，得到响应图：
[0037][0038]其中表示特征提取操作，z和x分别表示模板图像和测试图像，f(
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于通道感知的水下目标跟踪方法，其特征在于：包括如下步骤：步骤S1、对水下模糊失真的图像进行增强；步骤S2、构造网络模型，使用骨干网络AlexNet对模板图像和测试图像进行特征提取；步骤S3、构造通道感知模块，并将通道感知模块融入网络模型；步骤S4、利用大规模数据集对融入通道感知模块的网络模型进行离线训练；步骤S5、利用训练好的模型对选中的水下目标进行跟踪，生成包围目标的矩形框，获取跟踪结果。2.根据权利要求1所述的一种基于通道感知的水下目标跟踪方法，其特征在于：所述步骤S1中对于照度低、亮度小的水下图像，利用直方图均衡化，增强原图的整体亮度。3.根据权利要求1所述的一种基于通道感知的水下目标跟踪方法，其特征在于：所述步骤S1中对于亮度足够但是模糊浑浊的图像，根据多尺度增强MSR算法对其增强，MSR由以下公式表示式中R
MSR
表示经过MSR增强后的图像，I(x,y)表示原始图像，G(x,y)为高斯环绕函数,表示尺度个数，ω
k
表示表示第k个尺度的值。4.根据权利要求3所述的一种基于通道感知的水下目标跟踪方法，其特征在于：所述步骤S2中网络模型包括模板分支和测试分支，所述模板分支用于获取目标模板图像，模板图像记为z，所述测试分支用于获取跟踪过程的后续帧，得到测试图像，测试图像记为x，所述模板分支和测试分支的输出维度分别为6
×6×
128和22
×
22
×
128。5.根据权利要求4所述的一种基于通道感知的水下目标跟踪方法，其特征在于：所述步骤S3的具体步骤如下：步骤S3.1、通道感知模块对经过骨干网络AlexNet提取的特征X∈R
C
×
H
×
W
分别进行全局平均池化和全局最大池化，其中，R为三维张量，C为特征图通道数、H为高、W为宽；全局平均池化和全局最大池化将输入特征X由H
×
W压缩至1
×
1，得到两个尺寸为C
×1×
1的通道权重表征向量；步骤S3.2、将步骤S3.1中得到的两个表征向量送入到共享的多层感知器MLP中，MLP由两个共享的1
×
1卷积层所构成，第一个1
×
1卷积层利用降维参数r降维，将通道由C降至C/r，第二个1
×
1卷积层则将特征...

【专利技术属性】
技术研发人员：李海滨，高建，张文明，肖存军，李雅倩，
申请(专利权)人：燕山大学，
类型：发明
国别省市：