一种遥感目标检测中基于概率引导的特征点集合表示方法技术

本发明专利技术公开了一种遥感目标检测中基于概率引导的特征点集合表示方法，步骤包括：1)提取遥感图像特征和构建概率引导模块；2)获取初始特征点集合并生成初始范围框；3)对初始预测范围框进行精细化操作，将步骤2得到的特征图Ⅲ分别馈送给分类任务和定位任务；在训练阶段使用训练总损失L驱动模型收敛；在预测阶段，将需要预测的遥感图像输入给FPN网络，并调用收敛后的参数模型，得到该遥感图像中关键目标的准确位置信息和分类信息。本发明专利技术的方法，更加灵活地通过特征点分布概率对点集合进行验证，以弥补特征点集合表示方法监督缺乏力度的缺点；使模型获得更快的收敛速度；具有更强的容错性能和更深的可挖掘性。错性能和更深的可挖掘性。错性能和更深的可挖掘性。

【技术实现步骤摘要】
一种遥感目标检测中基于概率引导的特征点集合表示方法


[0001]本专利技术属于计算机视觉、遥感目标检测
，涉及一种遥感目标检测中基于概率引导的特征点集合表示方法。

技术介绍

[0002]近年来，从经典检测算法发展的一系列先进的遥感目标检测器被广泛应用于城市规划、交通监视、港口管理和海上救援等众多方面。在这些方法中，基于建议区域回归的检测器占据主流，随后又发展为两个分支，分别是两阶段检测方法和单阶段检测方法。两阶段检测方法以Faster
‑
RCNN为例，在第一阶段使用候选区域网络(Region Proposal Network)生成大量建议区域，以指导后续阶段的定位和分类任务；单阶段检测方法以Yolo系列为例，引入网格划分的思想，直接在特征图上生成不同尺寸的锚框(Anchor)再回归四边形的位置，达到定位的目的。除了基于建议区域回归的检测器之外，还有一种基于关键点的无锚(Anchor
‑
free)检测方法，类似语义分割任务，无锚检测器不采用锚框，而是直接将位置作为样本进行训练。
[0003]虽然这些检测器已经能取得较好的检测效果，但仍存在一些根本性的问题，这限制了检测器自身性能的提升。具体而言，两阶段检测器在第一阶段会产生大量建议区域，其中大部分建议区域属于冗余计算量，约束了两阶段检测器的计算速度；同样地，单阶段检测器虽然通过减少预置锚框的数量而提高了检测速度，但是其定位精度远不如两阶段检测器，也并未摆脱锚框的限制。由于遥感场景中的目标不同于普通场景的目标，通常具有密集排布、任意方向、大宽高比、尺度变化大等特性，因此当这两种检测器应用在遥感图像目标检测时，为了更好地对目标范围框进行建模，就需要预置更多不同角度和比例的锚框，如此一来便不可避免地增加了计算量，而且预置的锚框对遥感场景中的目标拟合度并不理想。
[0004]无锚检测器在遥感目标检测领域具备很大的优势，主要体现在两方面：首先遥感场景中很少出现目标与目标之间的重叠情况，当进行关键点和特征点的预测时，几乎不存在类似基于建议区域的方法存在的锚框重叠或者一个锚框包含多个目标的问题；其次，无锚检测器无需预先设置锚框，只需预测有价值的点，然后对点的位置进行回归，避免了因为数量巨大的锚框而造成的推理延迟问题。一般的无锚检测器的思路是基于对关键点的预测和回归，这种点到点的监督策略在一定程度上能对预测结果起到约束作用，但是也限制了点表示目标的灵活性，以至于模型不具备良好的泛化能力。而基于特征点预测的方法，不但具备无锚检测器的优点，而且其自适应生成特征点的策略可以增强模型泛化的能力。

技术实现思路

[0005]本专利技术的目的是提供一种遥感目标检测中基于概率引导的特征点集合表示方法，解决了现有技术中存在的点对点预测灵活性较差和缺乏对自适应特征点集合的监督力度的问题。
[0006]本专利技术所采用的技术方案是，一种遥感目标检测中基于概率引导的特征点集合表
示方法，按照以下步骤实施：
[0007]步骤1、提取遥感图像特征和构建概率引导模块；
[0008]步骤2、获取初始特征点集合并生成初始范围框；
[0009]步骤3、对初始预测范围框进行精细化操作，
[0010]将步骤2得到的特征图Ⅲ分别馈送给分类任务和定位任务；在训练阶段使用训练总损失L驱动模型收敛；在预测阶段，将需要预测的遥感图像输入给FPN网络，并调用收敛后的参数模型，得到该遥感图像中关键目标的准确位置信息和分类信息。
[0011]本专利技术的有益效果是，包括以下几个方面：1)使用可变形卷积和概率引导模块等对遥感图像进行处理，能够自适应地生成目标特征点集合，并通过转换函数得到旋转范围框，更加灵活地通过特征点分布概率对点集合进行验证，以弥补特征点集合表示方法监督缺乏力度的缺点；2)本专利技术通过特征点表示的方法，从根本上避免了因为预置大量锚框造成的推理速度慢的问题，并且解决了使用角度表示的检测方法带来的临界角度回归模糊和边界互换问题，从而使模型获得更快的收敛速度；3)本专利技术不同于常见的点到点的监督方法，而是使用验证和回归共同引导的自适应点集合的表示方法，选取特征响应较强的前n个特征点，组成特征点集合，再由特征点集合生成外接旋转范围框达到精确定位的目的，相较于关键点匹配策略，这种表示方法在宏观上具有更强的容错性能和更深的可挖掘性。
附图说明
[0012]图1是本专利技术方法中的步骤1实施例流程图；
[0013]图2是本专利技术方法中生成权重图I的流程图；
[0014]图3是本专利技术方法中权重图I需要的下采样倍数与相应初始特征图的对应关系；
[0015]图4是本专利技术方法中由自适应特征点集合生成旋转范围框的流程图；
[0016]图5是本专利技术方法中的精细化处理流程图。
具体实施方式
[0017]下面结合附图和具体实施方式对本专利技术进行详细说明。
[0018]本专利技术方法的主要思路是：首先，利用特征金字塔网络提取遥感图像(原始的输入图像)的特征，得到四种尺寸大小的初始特征图，对每个尺度的特征图，利用可变形卷积(Deformable Convolution)操作得到目标的初始特征点，每个目标由n个特征点组成的点集合表示，设定n＝9，随后使用转换函数T(
·
)，将特征点集合转化为初始的旋转范围框；与此同时，获取遥感图像的标签信息，由标签范围框生成对应的二值图，再由二值图得到自定义的权重图I，使用权重图I对初始特征点进行验证损失的计算。然后，再次使用可变形卷积对初始特征点进行操作，得到初始特征点的偏移量，生成精细化的特征点集合表示，同样使用转换函数得到精细化的旋转范围框，并利用概率引导模块再次对精细化的特征点集合进行损失计算，同时进行类别计算，得到目标的分类信息。
[0019]本专利技术的方法，按照以下步骤实施：
[0020]步骤1、提取遥感图像特征和构建概率引导模块，
[0021]1.1)参照图1，将遥感图像(改了图1)输入到特征金字塔网络即FPN网络中，(Feature Pyramid Network)，FPN网络利用自下而上、自上而下的卷积操作，同时采用侧向
连接的方式，得到四种尺寸的初始特征图，涵盖了遥感图像的深层语义信息和浅层细粒度信息，有利于遥感图像中目标的检测；每种尺寸的特征图都会向下传递，为了简洁，图1的流程图只展示其中一种尺寸的初始特征图的后续操作；
[0022]1.2)在遥感图像输入到FPN网络的同时，获得并处理遥感图像的标签信息，
[0023]目前主流的遥感数据集通常采用五参数表示法或八参数表示法对遥感图像中的目标进行标注，根据标注方法的不同，选择相对应的方式抓取遥感图像的标签信息，
[0024]以五参数标记法为例，即[x,y,w,h,θ]，其中(x,y)代表范围框的中心点坐标，w和h分别代表范围框的宽和高，θ表示范围框长边与x轴的夹角，θ∈[0,π]，对于五参数标记法，直接使用其标注参数即可；
[0025]以八参本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种遥感目标检测中基于概率引导的特征点集合表示方法，其特征在于，按照以下步骤实施：步骤1、提取遥感图像特征和构建概率引导模块；步骤2、获取初始特征点集合并生成初始范围框；步骤3、对初始预测范围框进行精细化操作，将步骤2得到的特征图Ⅲ分别馈送给分类任务和定位任务；在训练阶段使用训练总损失L驱动模型收敛；在预测阶段，将需要预测的遥感图像输入给FPN网络，并调用收敛后的参数模型，得到该遥感图像中关键目标的准确位置信息和分类信息。2.根据权利要求1所述的遥感目标检测中基于概率引导的特征点集合表示方法，其特征在于，所述的步骤1中，具体过程是：1.1)将遥感图像输入到特征金字塔网络即FPN网络中，FPN网络利用自下而上、自上而下的卷积操作，同时采用侧向连接的方式，得到四种尺寸的初始特征图，涵盖了遥感图像的深层语义信息和浅层细粒度信息；每种尺寸的特征图都会向下传递；1.2)在遥感图像输入到FPN网络的同时，获得并处理遥感图像的标签信息，采用五参数表示法或八参数表示法对遥感图像中的目标进行标注，根据标注方法的不同，选择相对应的方式抓取遥感图像的标签信息，获得目标标签的范围框坐标信息后，将范围框内部像素与外部背景像素区分开，内部像素标记为1，背景像素标记为0，得到二值图像；在二值图的基础上，生成二维高斯分布Ν(μ,∑)，表达式如下：其中，(x
c
,y
c
)代表标签的范围框的中心坐标，和为收缩处理后的宽和高，即λ＝0.85和γ＝0.9为宽与高的收缩超参数；使用上式(1)生成高斯分布，从而得到的权重图中，目标中心点像素和边框附近区域像素的预测概率P＝1，从中心点到收缩边框范围内像素的预测概率，会按照高斯分布，离中心点距离越远则预测概率越低，变化范围为P∈[0,1]；根据遥感图像标签信息得到权重图I，并依此构建概率引导模块；1.3)分别将权重图I进行倍数为4,8,16,32的下采样操作，以匹配FPN网络提取的不同尺寸大小的初始特征图，输出的是经过不同倍数的下采样处理后的权重图II。3.根据权利要求1所述的遥感目标检测中基于概率引导的特征点集合表示方法，其特征在于，所述的步骤2的具体过程是：
将FPN网络提取的初始特征图进行可变形卷积操作，具体而言，对于输入的一张初始特征图，为了学习特征点的偏移量，定义一个卷积核为3*3的普通卷积层，其通道数为2n，对同一个目标的n个特征点而言，此处定义的普通卷积层会预测每个特征点在横坐标和纵坐标方向的偏移量，可变形卷积先基于普通卷积层得到偏移量，再进行插值操作，再执行卷积处理，此处卷积核大小也为3*3，最后选取遥感图像中目标响应值较强的前n个特征点，组成每个目标的点集合表示；自适应特征点集合D表示为D＝[d1,d2,d3,...,d
n
]，其中d
v
＝x
v
+Δx
v
代表同一个目标的第v个初始化的自适应特征点，v∈[1,2,3,...,n]，(Δx
v
,Δy
v
)表示由可变形卷积得到的特征点的空间偏移量；经过转换函数T(
·
)，得到包含点集合内所有特征点的最小外接矩形，其转换过程如下：M
OB
＝T(D)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)其中，M
OB
表示从特征点集合得到的最小外接矩形范围框，T(
·
)表示MinAeraRect函数；在网络学习初始化特征点集合的过程中，采用两个策略对此学习过程进行引导，以保证初始预测范围框向标签范围框收敛。4.根据权利要求3所述的遥感目标检测中基于概率引导的特征点集合表示方法，其特征在于，所述的两个策略的具体过程是：第一个策略，使用GIoU损失计算初始预测范围框与标签范围框的面积相关性，表达式是：其中，M<...

【专利技术属性】
技术研发人员：孙帮勇，马铭，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：