一种用于复杂背景船舶的多目标识别方法技术

本发明专利技术属于深度学习及目标识别技术领域，具体涉及一种用于复杂背景船舶的多目标识别方法。本发明专利技术利用环形注意力引导的CNN输出高级特征，以增加对复杂背景图像上目标所在区域的空间信息的获取，特别是具有不同尺度大小的复杂空间位置的船舶目标；通过低级特征通过层间相关反卷积对目标区域中局部特征的关键像素值进行加权，得到复杂背景下详细特征分布的图像；通过循环注意力引导低层特征和高层特征进行联合学习，增强了高层目标区域表达局部细节特征的能力。本发明专利技术能够在真实海况、复杂多场景海况、目标类别样本量不均衡的情况下实现船舶多目标识别，在船舶工业与海事管理等领域有较好的使用前景。有较好的使用前景。有较好的使用前景。

【技术实现步骤摘要】
一种用于复杂背景船舶的多目标识别方法


[0001]本专利技术属于深度学习及目标识别
，具体涉及一种用于复杂背景船舶的多目标识别方法。

技术介绍

[0002]随着深度学习网络的成功发展，越来越多的研究人员将深度学习技术应用到海上和港口安防领域中，作为船舶监视的重要任务之一，具有重要的实用价值。现有的船舶分类方法多为二分类，只能对一张图像中目标进行二分类判别。而在自然场景实际应用时，往往获取的一张图像中会出现多个不同类型船只，现有的二分类船舶识别方法将会漏掉大部分船舶目标，同时降低了船舶识别的准确度。与二分类识别方法不同，多目标识别需要在给定图像中预测一组已有的目标感兴趣区域或属性。这些目标或属性通常具有复杂的空间位置、不同的尺度大小、与背景的相似颜色和遮挡等变化，这些变化条件使得识别成为一项具有实际应用价值和挑战性的任务。现有的处理多标签识别任务的深度学习方法大致分为三个方向：空间信息定位目标区域、视觉注意力机制和标签的依赖性。深度学习网络提出之前，处理多标签识别任务的最原始方法是将多标签任务视为多个单标签二分类任务单独训练。但这种方法忽略了标签和特征之间的空间相关性。随着深度学习的发展，越来越多人员提出了充分利用空间信息定位目标区域的研究方法。然而空间信息定位目标区域的方法虽然对模型的性能起到正相关作用，但引入了注释的人工成本，带来了巨大的计算量。人工注释的高昂成本使得越来越多的研究致力于直接关注并定位图像目标区域，但是视觉注意力旨在提取更多目标区域，对于复杂背景的图像容易提取与目标相似的背景信息作为高级特征输出。在标签的依赖性方面，最近很多研究工作通过图神经网络探索标签的语义信息，对标签建模可以帮助捕获与标签共存的图像特征，通过对标签的依赖和提取，提高多目标识别模型的性能。但目标具有复杂的空间位置时，模型将出现部分目标区域定位错误，降低了模型的性能。

技术实现思路

[0003]本专利技术的目的在于提供一种低层次和高层次特征联合学习，用于复杂背景船舶的多目标识别方法。
[0004]一种用于复杂背景船舶的多目标识别方法，包括以下步骤：
[0005]步骤1：获取待识别的具有复杂背景的船舶图像数据集，将其输入至添加有循环注意力模块的特征提取网络中进行特征提取；
[0006]步骤2：采用联合的高层次反卷积特征模型，融合层内自相关特征信息和层间互相关特征信息；
[0007]将具有复杂背景的船舶图像输入至添加有循环注意力模块的特征提取网络后，特征提取网络的上采样输出为M，下采样输出为H，H，M∈R
W
×
H
×
C
，W，H，C分别代表特征图的宽度、高度和通道数；HH
T
表示用于增强各目标区域空间信息的层内自相关，HH
T
M
T
表示给局部特征
的关键像素值加权，计算它们的总和来构造多层次特征关联：
[0008][0009]其中，表示层内特征自相关和层间特征互相关捕获的局部细节特征的关键像素权重；
[0010]将关键细节特征的像素信息与上采样的输出M相乘得到使得关键细节特征信息叠加在上采样的低层次输出M中：
[0011][0012]其中，表示包含目标区域精细局部特征的低级特征；
[0013]步骤3：搭建并训练次层次特征和高层次特征联合学习模型；
[0014]步骤3.1：将反卷积后的低层次特征输出X作为次层次特征和高层次特征联合学习模型的输入，X∈R
W
×
H
×
C
；
[0015]步骤3.2：将X的张量重塑为特征矩阵，该特征矩阵由n＝W*H，C组成；
[0016]样本协方差矩阵计算为：
[0017][0018][0019]其中，I和1分别为n
×
n单位矩阵和全1矩阵；∑是一个具有唯一平方根的对称正半定协方差矩阵，∑＝Udiag(λ
i
)U
T
，U是正交矩阵，diag(λ
i
)是对角矩阵，λ
i
为特征值；
[0020]步骤3.3：计算∑的矩阵平方根Y，给定输入Y0＝∑，Z0＝I，耦合迭代过程如下：
[0021][0022][0023]其中，k＝1，....K，代表计算出矩阵唯一平方根的迭代次数，Y
k
和Z
k
分别逐渐向Y和Y
‑1收敛；
[0024]步骤3.4：通过迹或者Frobenius范数，在后补偿中乘以协方差矩阵的平方根的迹或者使用Frobenius范数来抵消预归一化后数据幅度变化大造成的不利影响，具体计算如下：
[0025][0026][0027]其中，λ
i
是∑的特征值；Y
N
是关联的高层次反卷积特征至低层次256通道输出的特征图；
[0028]步骤3.5：多层次特征关联输出经过协方差池化和后补偿后输出经过协方差池化和后补偿后输出然后经过两个1
×
1卷积层，输出特征为k，k∈R
59
×1×1；将k反向更新到
ResNet50的高层次特征P中，P∈R
59
×8×8，整个过程计算如下：
[0029]V＝Pdiag(k)+P
[0030]其中，diag(k)是维度为8
×
8，对角线值为k的矩阵；
[0031]步骤3.6：采用复合损失函数，包含二元交叉熵损失函数和多标签分类损失函数，其中二元交叉熵损失函数用于测量模型的最终预测图像和对应的真实图像，多标签分类损失函数用测量从上采样中恢复的图像和相应的下采样真实图像；
[0032]对于给定一个训练的数据集I
i
代表第i张图像，代表第i张图片上相应的真实标签，复合损失函数为二元交叉熵损失函数和多标签分类损失函数的加权和：其中和分别代表二元交叉熵损失函数和多标签分类损失函数，α是平衡这两项损失函数的权重参数，和的计算公式为：
[0033][0034][0035]其中，代表第i个图像中的第j个类别预测的分数；代表上采样恢复的第i个图像中第j个类别的分数；
[0036]步骤4：将待识别的具有复杂背景的船舶图像经过步骤1、步骤2提取得到的反卷积后的低层次特征输入至训练好的次层次特征和高层次特征联合学习模型中，完成复杂背景船舶的多目标识别。
[0037]进一步地，所述步骤1中添加有循环注意力模块的特征提取网络ResNet50有四个阶段，每个阶段都有一个特征提取模块包含一系列卷积层、ReLu和批标准化，特征提取从一个7
×
7卷积层和一个最大池化层将输入的具有复杂背景的船舶图像转换为256个特征图，然后从这些特征图按照ResNet50的四个阶段来获取不同层次的特征；
[0038]所述循环注意力模块通过三个卷积核为1
×
1的滤波器生成三个特征图Q、K、W，将Q和K本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于复杂背景船舶的多目标识别方法，其特征在于，包括以下步骤：步骤1：获取待识别的具有复杂背景的船舶图像数据集，将其输入至添加有循环注意力模块的特征提取网络中进行特征提取；步骤2：采用联合的高层次反卷积特征模型，融合层内自相关特征信息和层间互相关特征信息；将具有复杂背景的船舶图像输入至添加有循环注意力模块的特征提取网络后，特征提取网络的上采样输出为M，下采样输出为H，H,M∈R
W
×
H
×
C
，W,H,C分别代表特征图的宽度、高度和通道数；HH
T
表示用于增强各目标区域空间信息的层内自相关，HH
T
M
T
表示给局部特征的关键像素值加权，计算它们的总和来构造多层次特征关联：其中，表示层内特征自相关和层间特征互相关捕获的局部细节特征的关键像素权重；将关键细节特征的像素信息与上采样的输出M相乘得到使得关键细节特征信息叠加在上采样的低层次输出M中：其中，表示包含目标区域精细局部特征的低级特征；步骤3：搭建并训练次层次特征和高层次特征联合学习模型；步骤3.1：将反卷积后的低层次特征输出X作为次层次特征和高层次特征联合学习模型的输入，X∈R
W
×
H
×
C
；步骤3.2：将X的张量重塑为特征矩阵，该特征矩阵由n＝W*H,C组成；样本协方差矩阵计算为：为：其中，I和1分别为n
×
n单位矩阵和全1矩阵；∑是一个具有唯一平方根的对称正半定协方差矩阵，∑＝Udiag(λ
i
)U
T
，U是正交矩阵，diag(λ
i
)是对角矩阵，λ
i
为特征值；步骤3.3：计算∑的矩阵平方根Y，给定输入Y0＝∑，Z0＝I，耦合迭代过程如下：＝I，耦合迭代过程如下：其中，k＝1,
…
K，代表计算出矩阵唯一平方根的迭代次数，Y
k
和Z
k
分别逐渐向Y和Y
‑1收敛；步骤3.4：通过迹或者Frobenius范数，在后补偿中乘以协方差矩阵的平方根的迹或者使用Frobenius范数来抵消预归一化后数据幅度变化大造成的不利影响，具体计算如下：使用Frobenius范数来抵消预归一化后数据幅度变化大造成的不利影响，具体计算如下：
其中，λ
i
是∑的特征值；Y
N
是关联的高层次反卷积特征至低层次256通道输出的特征图；步骤3.5：多层次特征关联输出经过协方差池化和后补偿后输出经过协方差池...

【专利技术属性】
技术研发人员：孟浩，凌越，田洋，袁宁泽，高放，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：