一种基于关键点回归的卫星影像舰船部件检测方法技术

本发明专利技术提供一种基于关键点回归的卫星影像舰船部件检测方法，属于卫星影像识别领域，首先构建训练数据集，对遥感影像中的舰船位置、舰船类别及舰炮、垂直放射系统、舰桥、停机坪、舷号、起降跑道等部件类型及位置进行人工标注；其次采用最小化变异系数方法对训练数据进行数据扩增和均衡化处理；然后利用舰船目标及部件检测模型对卫星影像中任意旋转分布的舰船目标进行目标检测，同时根据检测结果对特征图及输入图像进行目标切片对齐操作；最后对目标及特征图切片进行关键点坐标及尺寸回归计算，得到舰船部件位置、边界、类别。相较于以往的舰船目标检测方法，本发明专利技术可以得到更细粒度的部件级检测结果，具备舰船精细识别能力。具备舰船精细识别能力。具备舰船精细识别能力。

A method of ship component detection in satellite image based on key point regression

【技术实现步骤摘要】
一种基于关键点回归的卫星影像舰船部件检测方法


[0001]本专利技术属于卫星影像识别领域，更具体地涉及一种基于关键点回归的卫星影像舰船部件检测方法。

技术介绍

[0002]舰船是海上运输的重要载体，对军事侦察、环境保护、海洋检测等领域具有重要意义。舰船目标检测作为海上态势感知的一项重要技术，是舰船目标跟踪、状态估计的前提，在军事及民用领域有着广阔的应用前景。随着遥感技术的快速发展，利用卫星影像进行舰船目标检测，具有全天时、全天候、不受领空限制等优势。然而，卫星影像相比于自然场景图像存在影像尺寸大、分辨率不足、成像质量较差、目标旋转变化、目标小、目标少等特点。
[0003]近些年，深度学习技术在计算机视觉领域的应用，使得目标检测性能相比于传统手工设计特征的算法有了大幅提升，当前基于深度学习技术的舰船目标检测方法在数据增强、特征提取、特征重用、损失函数设计等方面进行了改进，一定程度上缓解了卫星影像分辨率不足、目标小且少的问题，但是舰船目标的检测准确率仍有待提升。另外，现有的检测方法只能检测舰船目标属性及位置分布，无法确定舰船的关键点和舰船的关键部件。

技术实现思路

[0004]本专利技术的目的是针对卫星影像舰船检测中的数据长尾分布、检测结果属性粒度较粗、目标旋转变化等问题，提出了一种能够同时进行舰船目标检测及舰船部件检测的方法。
[0005]本专利技术采用的技术方案为：
[0006]一种基于关键点回归的卫星影像舰船部件检测方法，包括以下步骤：
[0007]步骤1，构建卫星遥感影像舰船部件检测训练数据集，并对遥感影像中的部件类型及位置进行人工标注；其中，部件类型包括舰船位置、舰船类别及舰炮、垂直放射系统、舰桥、停机坪、舷号和起降跑道；
[0008]步骤2，采用最小化变异系数方法对具备明显长尾效应的训练数据进行数据扩增和均衡化处理；
[0009]步骤3，构建舰船目标及部件检测模型，包括目标检测网络和部件检测网络；其中，目标检测网络中的特征提取器采用局部稠密连接卷积神经网络和特征金字塔，局部稠密连接卷积神经网络用于对输入影像进行特征提取，特征金字塔用于对提取特征进行多尺度汇聚；
[0010]步骤4，根据旋转框交并比计算准则，计算目标检测损失函数，依据舰船部件关键点编码表征方式计算部件检测损失函数，将目标检测损失函数和部件检测损失函数纳入到舰船目标及部件检测损失函数中；
[0011]步骤5，利用扩增和均衡化处理后的训练数据集对舰船目标及部件检测模型进行训练，训练过程中根据目标检测网络输出的目标坐标，对目标检测网络的输入图像和特征金字塔汇聚的融合特征图进行目标切片对齐，得到插值规整后的目标及特征图切片，将目
标及特征图切片作为部件检测网络的输入，通过反向传播优化算法循环迭代，得到训练好的舰船目标及部件检测模型；
[0012]步骤6，将待检测影像输入到训练好的舰船目标及部件检测模型中，对舰船目标的预测坐标和舰船部件的关键点坐标和尺寸进行解码，在原始图像中标记舰船目标及部件检测结果。
[0013]进一步的，步骤2中的数据扩增和均衡化方法具体为：
[0014]设置数据集扩增倍数向量y，y＝{(y1,y2,...y
n
)|y
i
∈N
+
}，y
i
表示第i张影像的扩增倍数，N
+
表示正整数，统计训练数据集中所有影像中包含的目标类别数量，用矩阵X表示，其中X
i,j
表示第i张影像中j类目标的个数，则训练数据集中各类目标数量的分布用向量z＝y
T
X表示，z越趋近均匀分布，数据集分布就越趋近均衡化，为此建立如下最小化变异系数数学模型，对训练数据进行数据扩增和均衡化处理：
[0015][0016][0017]式中表示
n
维正整数向量，表示
n
×
m
维整数矩阵，n表示数据集影像数量，m表示数据集目标类别数量，y为决策变量，可行域为n维正整数向量，X为常量，目标函数为表示z＝y
T
X的变异系数，约束条件为S∈N
+
，表示约束扩增之后的影像数量不大于S，对扩增的影像采用随机仿射变换、随机对比度变换、随机裁剪及加噪声处理。
[0018]进一步的，步骤3中局部稠密连接卷积神经网络采用CSPDarknet53网络模型，特征金字塔采用三层FPN结构。
[0019]进一步的，步骤4中，目标检测损失包括位置损失、置信度损失和类别损失三部分；即：
[0020]loss(ship)＝loss(object)+loss(unit)
[0021]loss(object)＝loss(location)+loss(object_confidence)+loss(object_class)
[0022]其中loss(ship)为舰船目标及部件检测的损失函数，loss(object)为舰船目标检测损失，loss(unit)为部件检测损失，loss(location)为目标检测位置损失，loss(object_confidence)为置信度损失，loss(object_class)为类别损失；
[0023]目标检测位置损失采用兼顾旋转框交并比、中心点距离和角度偏差的损失函数设计，具体为：
[0024][0025]其中，p表示代表特征金字塔中的三层特征图，S表示每层特征图的网格尺寸，B表示每个网格预先设置的锚点框个数，IOU为预测框与真实框的交并比，dis(core)为预测框与真实框中心点坐标的距离，dis(diag)为预测框与真实框最小外包矩形的对角线长度，
sin(θ)为预测框与真实框长边夹角的正弦值，λ为角度损失系数；
[0026]目标检测置信度损失采用交叉熵损失，目标检测类别损失采用二分交叉熵损失。
[0027]进一步的，步骤5中目标切片对齐采用感兴趣区域池化方法，使得所有目标及特征切片的尺寸保持一致。
[0028]进一步的，步骤4中，采用关键点回归损失作为部件检测损失函数，即：
[0029][0030]其中，N表示目标检测输出的所有目标个数，M表示目标的部件个数，dis(point1,point2)表示预测部件和真实部件中心点坐标之间的欧氏距离，w1和h1分别表示预测部件的宽度和长度，w2和h2分别表示真实部件的宽度和长度；
[0031]训练时采用Adam优化算法进行参数训练。
[0032]本专利技术相对于现有技术的优点为：
[0033](1)构建了卫星影像舰船部件检测训练数据集，为采用深度学习方法进行部件级检测提供了数据驱动；
[0034](2)采用最小化变异系数方法进行数据扩增和均衡化处理，缓解了数据分布的长尾效应，同时扩充了样本空间；
[0035](3)通过关键点回归的方式进行部件级检测，训练阶段能够迅速收敛，预测阶段能够快速定位舰船的关键点和关键部件的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于关键点回归的卫星影像舰船部件检测方法，其特征在于，包括以下步骤：步骤1，构建卫星遥感影像舰船部件检测训练数据集，并对遥感影像中的部件类型及位置进行人工标注；其中，部件类型包括舰船位置、舰船类别及舰炮、垂直放射系统、舰桥、停机坪、舷号和起降跑道；步骤2，采用最小化变异系数方法对具备明显长尾效应的训练数据进行数据扩增和均衡化处理；步骤3，构建舰船目标及部件检测模型，包括目标检测网络和部件检测网络；其中，目标检测网络中的特征提取器采用局部稠密连接卷积神经网络和特征金字塔，局部稠密连接卷积神经网络用于对输入影像进行特征提取，特征金字塔用于对提取特征进行多尺度汇聚；步骤4，根据旋转框交并比计算准则，计算目标检测损失函数，依据舰船部件关键点编码表征方式计算部件检测损失函数，将目标检测损失函数和部件检测损失函数纳入到舰船目标及部件检测损失函数中；步骤5，利用扩增和均衡化处理后的训练数据集对舰船目标及部件检测模型进行训练，训练过程中根据目标检测网络输出的目标坐标，对目标检测网络的输入图像和特征金字塔汇聚的融合特征图进行目标切片对齐，得到插值规整后的目标及特征图切片，将目标及特征图切片作为部件检测网络的输入，通过反向传播优化算法循环迭代，得到训练好的舰船目标及部件检测模型；步骤6，将待检测影像输入到训练好的舰船目标及部件检测模型中，对舰船目标的预测坐标和舰船部件的关键点坐标和尺寸进行解码，在原始图像中标记舰船目标及部件检测结果。2.根据权利要求1所述的一种基于关键点回归的卫星影像舰船部件检测方法，其特征在于，步骤2中的数据扩增和均衡化方法具体为：设置数据集扩增倍数向量y，y＝{(y1,y2,...y
n
)|y
i
∈N
+
}，y
i
表示第i张影像的扩增倍数，N
+
表示正整数，统计训练数据集中所有影像中包含的目标类别数量，用矩阵X表示，其中X
i,j
表示第i张影像中j类目标的个数，则训练数据集中各类目标数量的分布用向量z＝y
T
X表示，z越趋近均匀分布，数据集分布就越趋近均衡化，为此建立如下最小化变异系数数学模型，对训练数据进行数据扩增和均衡化处理：数据扩增和均衡化处理：式中式中表示n维正整数向量，表示n
×
m维整数矩阵，n表示数据集影像数量，m表示数据集目标类别数量，y为决策...

【专利技术属性】
技术研发人员：张晓男，王港，高峰，陈金勇，耿虎军，常晓宇，武晓博，
申请(专利权)人：中国电子科技集团公司第五十四研究所，
类型：发明
国别省市：