基于标签分配和特征对齐的定向遥感目标检测方法技术

本发明专利技术提供一种定向遥感目标检测方法。该方法包括：步骤1：采用主干网络提取输入图像的三种不同尺度大小的特征图C3、C4和C5；步骤2：采用特征金字塔网络对特征图C3、C4和C5进行融合，得到五种不同尺度大小的金字塔特征图P3、P4、P5、P6和P7；步骤3：采用跨网格标签分配策略来为真值框分配正负样本，进而采用分配好的样本对特征细化检测头进行训练；步骤4：将五种不同尺度大小的金字塔特征图P3、P4、P5、P6和P7输入至训练好的特征细化检测头，得到目标检测结果。果。果。

【技术实现步骤摘要】
基于标签分配和特征对齐的定向遥感目标检测方法


[0001]本专利技术涉及遥感目标检测
，尤其涉及一种基于标签分配和特征对齐的定向遥感目标检测方法。

技术介绍

[0002]随着深度学习的发展，遥感图像中的目标检测任务取得了快速进展，广泛应用于许多领域，如海上救援、港口管理和城市规划等，该任务旨在识别感兴趣对象的位置和类别。与自然图像不同，遥感图像中的大多物体具有不同的尺寸和纵横比，排列密集且以任意方向显示。因此，遥感图像上的目标检测任务仍面临巨大挑战。
[0003]由于自然图像和遥感图像之间存在不同差异，如物体尺寸比例，纵横比，密集排列和任意方向等，遥感图像上的目标检测任务仍面临巨大挑战：(1)现有大多数目标检测方法都是基于不同比例的预定义锚框与真实框之间的交并比来分配阳性样本和阴性样本。然而，遥感图像中的目标通常以大纵横比、密集排列和任意方向分布，导致为真实框分配的阳性样本较少，从而增加了漏检的可能。(2)遥感图像上的物体常以任意方向排列，而检测方法在训练过程中常存在锚框和卷积特征之间的错位，导致分类分数和定位精度之间不一致的次优学习过程，进一步增加了精确检测的难度。

技术实现思路

[0004]为了能够解决现有的遥感图像目标检测方法存在漏检、错检的问题中的至少一部分，本专利技术提供一种基于标签分配和特征对齐的定向遥感目标检测方法。
[0005]本专利技术提供的一种定向遥感目标检测方法，包括：
[0006]步骤1：采用主干网络提取输入图像的三种不同尺度大小的特征图C3、C4和C5；
[0007]步骤2：采用特征金字塔网络对特征图C3、C4和C5进行融合，得到五种不同尺度大小的金字塔特征图P3、P4、P5、P6和P7；
[0008]步骤3：采用跨网格标签分配策略来为真值框分配正负样本，进而采用分配好的样本对特征细化检测头进行训练；
[0009]步骤4：将五种不同尺度大小的金字塔特征图P3、P4、P5、P6和P7输入至训练好的特征细化检测头，得到目标检测结果。
[0010]进一步地，所述跨网格标签分配策略具体包括：
[0011]遍历特征金字塔网络各层输出的特征图，基于最大IoU规则匹配将各层特征图上的所有锚框分为候选阳性样本、候选阴性样本和忽略样本；
[0012]遍历特征金字塔网络各层输出的特征图，判断当前层特征图上是否存在候选阳性样本若存在，则从目标中心的邻域网格集合中选择距离目标中心最近的k个邻域网格，将该k个邻域网格对应的锚框作为初步候选阳性样本集，记作针对中的每个样本s，如果样本s的中心点在真值框和候选阳性样本中且其中心点所在的网格负责检测目标，则将该样本s作为真值框的阳性样本；若不存在，则遍历下一层；直至遍历完所有层的
特征图；其中，i表示特征金字塔网络的第i层。
[0013]进一步地，所述特征细化检测头的目标检测过程具体包括；
[0014]输入的金字塔特征图pi经过两个串接的卷积层得到分类特征图P
cls
，基于所述分类特征图P
cls
按照公式(1)生成细化特征图X：
[0015][0016]其中，i＝3,4,5,6,7；
[0017]输入的金字塔特征图Pi经过两个串接的卷积层得到回归特征图P
reg
，在所述回归特征图P
reg
上选择9个采样点；针对每个采样点p0，按照公式(2)生成对齐特征图Y(p0)：
[0018]Y(p0)＝AlignConv(X，offset(p0))
ꢀꢀ
(2)
[0019]其中，AlignConv表示对齐卷积，offset(p0)表示回归特征图P
reg
上的每个采样点p0通过卷积生成的5D偏移向量；
[0020]根据对齐特征图Y(p0)分别进行分类和边界回归，预测得到目标的类别和定向框参数。
[0021]本专利技术的有益效果：
[0022](1)本专利技术引入了跨网格标签分配策略来增加高质量阳性样本的数量，从而使得锚框尽可能地覆盖真实目标，从而能够降低漏检率。同时，由于该标签分配策略没有额外的计算开销，因此可以较好地应用于现有模型。
[0023](2)本专利技术设计了特征细化检测头来对齐卷积核的感受野和旋转区域的相应特征，从而缓解对齐卷积特征和旋转目标之间的不对齐问题，以生成高质量的锚框，这在一定程度上提升了定位的精确性。
[0024](3)本专利技术通过直接预测每个空间位置的五个参数来获得遥感图像中的任意定向目标，可以在遥感图像中的密集场景下实现更好的训练样本选择和精准定位。
附图说明
[0025]图1为本专利技术实施例提供的总体网络架构示意图；
[0026]图2为本专利技术实施例提供的跨网格标签分配策略；
[0027]图3为本专利技术实施例提供的跨网格标签分配策略的效果示意图；
[0028]图4为本专利技术实施例提供的特征细化检测头的结构示意图。
具体实施方式
[0029]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0030]本专利技术实施例提供一种基于标签分配和特征对齐的定向遥感目标检测方法，使用深度学习替代传统方法，所采用的深度学习网络模型的总体网络结构如图1所示，主要由四部分组成：用于特征提取的主干网络、用于特征融合的特征金字塔网络、用于训练样本选择的跨网格标签分配策略以及用于特征对齐的特征细化检测头。基于图1所示的总体网络结构，该方法主要包括以下步骤：
[0031]S101：将遥感图像进行预处理生成多个大小为H
×
W的特征图，作为输入图像；将大小为H
×
W的输入图像送入到主干网络，采用主干网络提取输入图像的三种不同尺度大小的特征图C3、C4和C5；
[0032]S102：采用特征金字塔网络对特征图C3、C4和C5进行融合，得到五种不同尺度大小的金字塔特征图P3、P4、P5、P6和P7；其中，的金字塔特征图P3、P4、P5、P6和P7；其中，C是Pi的通道维度；s
i
＝2
i
是输入的遥感图像对应的s
i
倍的下采样率。
[0033]S103：采用跨网格标签分配策略来为真值框分配正负样本，进而采用分配好的样本对特征细化检测头进行训练；
[0034]具体地，大多数目标检测器通过在输入图像上预设大量密集锚框以实现目标检测工作。然而，对于遥感图像来说，预设的大量密集锚框难以与具有大纵横比、密集排列特征的定向目标达到良好的空间对齐，导致最终为真值框分配的阳性样本较少。
[0035]为了解决上述问题，本专利技术实施例引入跨网格标签分配策略，通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种定向遥感目标检测方法，其特征在于，包括：步骤1：采用主干网络提取输入图像的三种不同尺度大小的特征图C3、C4和C5；步骤2：采用特征金字塔网络对特征图C3、C4和C5进行融合，得到五种不同尺度大小的金字塔特征图P3、P4、P5、P6和P7；步骤3：采用跨网格标签分配策略来为真值框分配正负样本，进而采用分配好的样本对特征细化检测头进行训练；步骤4：将五种不同尺度大小的金字塔特征图P3、P4、P5、P6和P7输入至训练好的特征细化检测头，得到目标检测结果。2.根据权利要求1所述的一种定向遥感目标检测方法，其特征在于，所述跨网格标签分配策略具体包括：遍历特征金字塔网络各层输出的特征图，基于最大IoU规则匹配将各层特征图上的所有锚框分为候选阳性样本、候选阴性样本和忽略样本；遍历特征金字塔网络各层输出的特征图，判断当前层特征图上是否存在候选阳性样本若存在，则从目标中心的邻域网格集合中选择距离目标中心最近的k个邻域网格，将该k个邻域网格对应的锚框作为初步候选阳性样本集，记作针对中的每个样本s，如果样本s的中心点在真值框和候选阳性样本中且其中心点所在的网格负责检测目标，则将该样本s作为真...

【专利技术属性】
技术研发人员：周黎鸣，饶晓晗，李亚辉，刘扬，党兰学，左宪禹，臧文乾，孙康，
申请(专利权)人：河南大学，
类型：发明
国别省市：