一种基于语义关联的海面弱小目标检测方法技术

本发明专利技术涉及一种基于语义关联的海面弱小目标检测方法，包括：S1、获取含有弱小目标的海面图像；S2、采用骨干特征提取网络从海面图像中提取出特征图F；S3、采用空洞卷积网络从特征图F获取局部上下文特征图，将局部上下文特征图输入到自注意力网络中获取全局上下文特征图，融合局部上下文特征图与全局上下文特征图得到全局

【技术实现步骤摘要】
一种基于语义关联的海面弱小目标检测方法


[0001]本专利技术涉及目标检测
，尤其是涉及一种基于语义关联的海面弱小目标检测方法。

技术介绍

[0002]目前应用最广的海面目标检测方法是针对于正常场景下目标的检测，这些检测方法在晴天，无遮挡的情况下目标检测的效果比较好。但是复杂场景下，如阴天，雾，雨雪或者遮挡情况下导致目标不易观测，呈现弱特征特性，这加剧弱小目标的检测困难。
[0003]在弱小目标检测过程中，目前主流的检测方式主要为图像级，实例级和像素级对齐。图像级对齐方式更多关注整张图像的全局特征信息，缺少关注图像的上下文语义信息。实例级对齐方式更多关注目标的外貌形状信息，缺少关注目标之间关联语义信息。像素级对齐方式更多关注目标的细粒度像素信息，缺少关注目标的语义信息。
[0004]综上，在复杂场景下，如恶劣天气导致图像退化和目标本身存在遮挡的问题，采用目前的方法无法获取目标识别足够的信息，从而影响复杂场景下弱小目标检测的性能。

技术实现思路

[0005]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供了一种基于语义关联的海面弱小目标检测方法，该方法利用语义关联信息增强与补充弱小目标的信息，提高了海面弱小目标检测的准确率。
[0006]本专利技术的目的可以通过以下技术方案来实现：
[0007]本专利技术给出了一种基于语义关联的海面弱小目标检测方法，该方法包括以下步骤：
[0008]步骤S1、获取含有弱小目标的海面图像；
[0009]步骤S2、采用骨干特征提取网络从海面图像中提取出特征图F；
[0010]步骤S3、采用空洞卷积网络从特征图F获取局部上下文特征图N，将局部上下文特征图输入到自注意力网络中获取全局上下文特征图M
′
，融合局部上下文特征图与全局上下文特征图得到全局
‑
局部上下文语义特征图F
t
；同时，采用图卷积网络从特征图F中获取目标关联语义特征图F
s
；
[0011]步骤S4、融合步骤S3中全局
‑
局部上下文语义特征图F
t
和目标关联语义特征图F
s
，对融合后的特征图进行分类及回归，得到检测海面弱小目标的类别及位置。
[0012]优选地，所述步骤S1中含有弱小目标的海面图像采用高分辨率海面图像。
[0013]优选地，所述步骤S2中骨干特征提取网络为基于一阶全卷积目标检测FCOS的骨干特征提取网络。
[0014]优选地，所述步骤S3中采用空洞卷积网络从特征图F获取局部上下文特征图，具体包括以下子步骤：
[0015]步骤S301、获取单个局部上下文特征图：由步骤S2获取的特征图F，采用四个相同
参数、扩张率分别设为k1、k2、k3和k5的空洞卷积对其进行运算，得到4个局部上下文特征图F1，F2，F3，F5，其中，F，F1，F2，F3，F5∈R
C*H*W
，C表示特征图通道维数，H、W分别表示特征图的长和宽；
[0016]步骤S302、拼接得到局部上下文特征图：将所得的四个局部上下文特征图F1，F2，F3，F5进行拼接，得到局部上下文特征图N，其中，N∈R
4C*H*W
。
[0017]优选地，所述空洞卷积的尺寸为3x3，扩张率设置分别为k1＝1，k2＝2，k3＝3，k5＝5。
[0018]优选地，所述步骤S3中将局部上下文特征图输入到自注意力网络中获取全局上下文特征图，具体包括以下子步骤：
[0019]步骤S311、对于局部上下文特征图N，分别采用卷积层W
s
和W
D
将其转换为语义空间S和D，其中，{S，D}∈R
C
′
*H*W
，C
′
为转换后的特征图通道维数；
[0020]步骤S312、利用相关矩阵K捕获全局上下文语义信息，其计算公式如下：
[0021]K＝S
T
D
[0022]式中，K∈R
H*W*H*W
；
[0023]步骤S313、利用sigmoid函数和平均池化对相关矩阵K进行归一化，构造全局上下文信息映射矩阵K
′
，其中K
′
∈R
(H*W*1)
；同时使用卷积层W
M
将特征映射F转换为值向量形式M；
[0024]步骤S314、对K
′
和特征M进行逐元素乘法，得到全局上下文特征图M
′
。
[0025]优选地，所述步骤S3中融合局部上下文特征图与全局上下文特征图得到全局
‑
局部上下文语义特征图，具体为：
[0026]拼接局部上下文特征图N与全局上下文特征图M
′
，得到局部全局相关上下文特征图N
′
，采用卷积层对特征进行降维，得到全局
‑
局部上下文语义特征图F
t
；其中，N
′
∈R
5C*H*W
，F
t
∈R
(H*W*C)
，C表示特征图通道维数，H、W分别表示特征图的长和宽。
[0027]优选地，所述步骤S3中采用图卷积网络从特征图F中获取目标关联语义特征图，具体包括以下子步骤：
[0028]步骤S321、从特征图F提取特定类别的语义特征V0：
[0029]每个类v
c
表述为对特征图F的加权和，产生的v
c
有选择地聚合与其特定类别C相关的特征，计算公式如下：
[0030][0031]式中，表示为第c个类在特征图(i，j)的语义权重，n
c
表示为第c个类的语义权重，F
i，j
表示为在特征图(i，j)的特征向量；
[0032]步骤S322、类别语义特征V0作为图卷积网络的输入，构建类别语义关系图，获取类别关联节点V1；
[0033]步骤S323、将类别关联节点V1升维至与特征图F具有相同维度的类别关联语义权重F
′
，然后与特征图F相乘，并采用卷积层融合得到包含目标关联语义特征图F
s
；其中，F
′
∈R
H*W*C
。
[0034]优选地，所述类别关联节点V1的计算表达式为：
[0035]V1＝δ(AV0W)
[0036]式中，A为关联矩阵，W为线性变换矩阵，δ(
·
)为激活函数Sigmoid(.)，V1∈R
C2*D
，C2为图节点类别数，D为图向量维度数。
[0037]优选地，所述步骤S4具体为：融合具有上下文语义的特征图F
t
与目标关联语义的特征图F
s
，采用特征拼接与1x1卷积进行融合形成特征图F...

【技术保护点】

【技术特征摘要】
1.一种基于语义关联的海面弱小目标检测方法，其特征在于，该方法包括以下步骤：步骤S1、获取含有弱小目标的海面图像；步骤S2、采用骨干特征提取网络从海面图像中提取出特征图F；步骤S3、采用空洞卷积网络从特征图F获取局部上下文特征图N，将局部上下文特征图输入到自注意力网络中获取全局上下文特征图M
′
，融合局部上下文特征图与全局上下文特征图得到全局
‑
局部上下文语义特征图F
t
；同时，采用图卷积网络从特征图F中获取目标关联语义特征图F
s
；步骤S4、融合步骤S3中全局
‑
局部上下文语义特征图F
t
和目标关联语义特征图F
s
，对融合后的特征图进行分类及回归，得到检测海面弱小目标的类别及位置。2.根据权利要求1所述的一种基于语义关联的海面弱小目标检测方法，其特征在于，所述步骤S1中含有弱小目标的海面图像采用高分辨率海面图像。3.根据权利要求1所述的一种基于语义关联的海面弱小目标检测方法，其特征在于，所述步骤S2中骨干特征提取网络为基于一阶全卷积目标检测FCOS的骨干特征提取网络。4.根据权利要求3所述的一种基于语义关联的海面弱小目标检测方法，其特征在于，所述步骤S3中采用空洞卷积网络从特征图F获取局部上下文特征图，具体包括以下子步骤：步骤S301、获取单个局部上下文特征图：由步骤S2获取的特征图F，采用四个相同参数、扩张率分别设为k1、k2、k3和k5的空洞卷积对其进行运算，得到4个局部上下文特征图F1，F2，F3，F5，其中，F，F1，F2，F3，F5∈R
C*H*W
，C表示特征图通道维数，H、W分别表示特征图的长和宽；步骤S302、拼接得到局部上下文特征图：将所得的四个局部上下文特征图F1，F2，F3，F5进行拼接，得到局部上下文特征图N，其中，N∈R
4C*H*W
。5.根据权利要求4所述的一种基于语义关联的海面弱小目标检测方法，其特征在于，所述空洞卷积的尺寸为3x3，扩张率设置分别为k1＝1，k2＝2，k3＝3，k5＝5。6.根据权利要求1所述的一种基于语义关联的海面弱小目标检测方法，其特征在于，所述步骤S3中将局部上下文特征图输入到自注意力网络中获取全局上下文特征图，具体包括以下子步骤：步骤S311、对于局部上下文特征图N，分别采用卷积层W
s
和W
D
将其转换为语义空间S和D，其中，{S，D}∈R
C
′
*H*W
，C
′
为转换后的特征图通道维数；步骤S312、利用相关矩阵K捕获全局上下文语义信息，其计算公式如下：K＝S
T
D式中，K∈R
H*W*H*W
；步骤S313、利用sigmoid函数和平均池化对相关矩阵K进行归一化，构造全局上下文信息映射矩阵K
′
，其中K
′

【专利技术属性】
技术研发人员：骆祥峰，郭银赛，陈雪，
申请(专利权)人：上海大学，
类型：发明
国别省市：