一种基于边界框一致性的遥感目标检测方法技术

本发明专利技术涉及一种基于边界框一致性的遥感目标检测方法，包括使用

【技术实现步骤摘要】
一种基于边界框一致性的遥感目标检测方法
本专利技术涉及遥感图像目标检测领域，具体涉及一种基于边界框一致性的遥感目标检测方法。
技术介绍
目前遥感目标检测方法一般是由水平目标检测器扩展而来，而航空图像中目标检测的许多最新进展都得益于R-CNN框架，这些方法通过使用水平边界框作为感兴趣区域，然后依靠区域特征进行类别识别，例如，R2CNN使用区域建议网络(RPN)生成文本的水平边界框(HBB)，并结合不同尺度的集合ROI特征来回归定向边界框(OBB)的参数。R2PN将边界框方向参数引入到RPN网络中，形成了旋转的RPN网络。RP-FasterR-CNN框架是在中针对小目标检测开发的。R2PN还利用旋转的ROI池来优化box参数。R-DFPN采用特征金字塔网络(FPN)结合多尺度特征，提高检测性能。基于DFPN网络主干，Yang等人进一步提出了一种适用于two-stage的边界框回归自适应ROI对齐方法。RoI变换器学习从HBBs到OBBs的空间变换，然后提取旋转不变特征。ICN在采用R-DFPN之前，提出了一种增强语义特征的图像级联网络。RRD使用主动旋转滤波器对旋转信息进行编码。YongchaoXu等人提出滑动水平边界框的顶点以捕捉定向边界框。所有的这些方法都是anchor-base模型的，而且用于探测任意方向的物体。同时，也有一些方法通常是针对特定的对象类别而定制的，如车辆、船舶、飞机等。对于边界框回归的损失，现如今使用的损失函数包括均方误差(MSE，L2loss，目标和预测变量之间的平方距离之和)，平均绝对误差(MAE，Llloss，目标和预测变量之间的绝对差之和)，分位数损失(MAE的扩展，预测一个区间而不是仅仅预测点)，Huberloss(基本上是绝对误差，当误差很小时，它变成二次方)和LogCosh损失(预测误差的双曲余弦的对数)。例如smoothllloss，主要是优化各个坐标之间的各自最小误差，而并不是全局的重叠面积，所以如果检测具有较大宽高比的图像时，并不能很好的回归远离中心坐标的部分，所以该loss对于一些较大宽高比的目标并不敏感。例如IntersectionoverUnion(IoU)loss，可以反映预测检测框与真实检测框的检测效果，并且具有尺度不变性，但是并不能准确的反映两者的重合度。即便是解决了该问题的GIoU(能够在预测框与目标框不重叠时，仍然可以为预测框提供移动方向)以及表现更为良好的CIoU(充分的考虑了矩形框的三个重要的几何度量，重叠面积、中心点距离和长宽比)，但是两者之间的角度差却并没有进行回归计算。所以IoU系列的回归loss在对水平矩形框(HBB)的回归具有较好的效果，但是在对遥感图像旋转目标检测时，由于航空图像中目标的方向具有高度的多样性，所以回归效果并不好。
技术实现思路
本专利技术为有效解决现有遥感目标检测方法在对遥感图像进行目标检测时回归效果较差的问题，提供了一种基于边界框一致性的遥感目标检测方法，设计一种新的角度与宽高比一致性损失函数与深度目标检测模型相结合，能够更加紧密的包围对象提高了回归效果及检测速度。为了实现上述目的，本专利技术提出了一种基于边界框一致性的遥感目标检测方法，所述方法包括以下步骤：步骤1：使用ResNet101Conv1-5网络模型作为base网络，并对特征图进行上采样；通过双线性插值法将深层样本向上采样到与浅层样本相同大小，使用3×3的卷积层进行细化，使用1×1的卷积层精细图像特征；隐藏层采用批标准化处理，并使用ReLU函数激活；步骤2：基于ResNet101Conv1-5网络模型的输出特征图先后使用3×3和1×1的卷积层获取热点图，并通过focalloss函数对其进行训练；步骤3：基于ResNet101Conv1-5网络模型的输出特征图先后使用3×3和1×1的卷积层获取偏移量信息，并使用SmoothL1loss函数进行优化；步骤4：基于ResNet101Conv1-5网络模型的输出特征图先后使用2层3×3的卷积层得到预测框信息，使用SmoothL1loss函数回归中心点的预测框信息参数；引入宽高比的一致性参数对预测框中的宽高比信息进行优化；同时通过引入角度的一致性参数对预测框中的角度信息进行优化；步骤5：基于ResNet101Conv1-5网络模型的输出特征图先后使用3×3和1×1的卷积层得到方向信息，利用binarycross-entropyloss函数对方向信息进行优化；步骤6：通过热点图、偏移量信息、预测框信息、方向信息生成预测边界框，根据所述预测边界框的坐标信息在原图中进行定位展示。进一步地，步骤2具体包括：步骤2.1：通过公式(1)得到热点图：Heatmap＝K×H/s×W/s(1)；其中，H和W分别是图像的高度和宽度，通道数K为类别数，每个通道对应一个类别，且每个通道的映射通过一个sigmoid函数进行传递；步骤2.2：将特定的中心点预测热图值作为目标检测的置信度，使用focalloss函数进行训练，如公式(2)所示：其中q和p分别表示图像的真实热图值和预测热图值，i为特征图上像素位置的索引，N是实例的数目，α和β是控制每个像素权重的超参数。进一步地，其特征在于，步骤3具体包括：步骤3.1：通过公式(3)得到偏移量信息：Offset＝2×H/s×W/s(3)：其中，通道数为点的两个坐标x，y的偏移量；步骤3.2：利用偏移量信息从预测的热图信息P中提取峰值点作为目标的中心点位置；步骤3.3：确保中心点为整数，利用SmoothLlloss函数优化最小化浮点数中心点与整数中心点之间的偏移量，如公式(4)～(5)所示：其中，o和t分别表示预测框和真实框的偏移量，k表示实例；SmoothLlloss函数表示为：进一步地，步骤4具体包括：步骤4.1：通过公式(6)得到预测框信息：Box＝10×H/s×W/s(6)；其中，10个通道分别为2×4矢量和2个外部尺寸参数，4个矢量为t；r；b；l，分别代表预测框上、右、下和左向量的坐标信息，并且这四个矢量分布在笛卡尔坐标系的四个象限中，两个外部尺寸参数为we和he，分别是最小外接矩形的宽度和高度；步骤4.2：使用SmoothL1loss函数回归中心点的预测框信息参数；步骤4.3：引入宽高比的一致性参数，对宽高信息进行优化，如公式(7)所示：Lv＝γ×V(7)；其中，γ为一个正的平衡参数，为预测框的回归提供方向，V为宽高比的一致性的差距；V如公式(8)所示：其中，wgt，hgt为真实框的宽和高，w，h为预测框的宽和高；平衡参数γ如公式(9)所示：其中，IoU为交并比，是目标检测中常用指标，IoU如公式(10)表示：其中A和B分别代表目标框和预测框，IoU为预测框的回归提本文档来自技高网...

【技术保护点】
1.一种基于边界框一致性的遥感目标检测方法，其特征在于，所述方法包括：/n步骤1：使用ResNet101 Conv1-5网络模型作为base网络，并对特征图进行上采样；/n通过双线性插值法将深层样本向上采样到与浅层样本相同大小，使用3×3的卷积层进行细化，使用1×1的卷积层精细图像特征；/n隐藏层采用批标准化处理，并使用ReLU函数激活；/n步骤2：基于ResNet101 Conv1-5网络模型的输出特征图先后使用3×3和1×1的卷积层获取热点图，并通过focalloss函数对其进行训练；/n步骤3：基于ResNet101 Conv1-5网络模型的输出特征图先后使用3×3和1×1的卷积层获取偏移量信息，并使用SmoothL1loss函数进行优化；/n步骤4：基于ResNet101 Conv1-5网络模型的输出特征图先后使用2层3×3的卷积层得到预测框信息，使用SmoothL1loss函数回归中心点的预测框信息参数；/n引入宽高比的一致性参数对预测框中的宽高比信息进行优化；/n同时通过引入角度的一致性参数对预测框中的角度信息进行优化；/n步骤5：基于ResNet101 Conv1-5网络模型的输出特征图先后使用3×3和1×1的卷积层得到方向信息，利用binary cross-entropy loss函数对方向信息进行优化；/n步骤6：通过热点图、偏移量信息、预测框信息、方向信息生成预测边界框，根据所述预测边界框的坐标信息在原图中进行定位展示。/n...

【技术特征摘要】
1.一种基于边界框一致性的遥感目标检测方法，其特征在于，所述方法包括：
步骤1：使用ResNet101Conv1-5网络模型作为base网络，并对特征图进行上采样；
通过双线性插值法将深层样本向上采样到与浅层样本相同大小，使用3×3的卷积层进行细化，使用1×1的卷积层精细图像特征；
隐藏层采用批标准化处理，并使用ReLU函数激活；
步骤2：基于ResNet101Conv1-5网络模型的输出特征图先后使用3×3和1×1的卷积层获取热点图，并通过focalloss函数对其进行训练；
步骤3：基于ResNet101Conv1-5网络模型的输出特征图先后使用3×3和1×1的卷积层获取偏移量信息，并使用SmoothL1loss函数进行优化；
步骤4：基于ResNet101Conv1-5网络模型的输出特征图先后使用2层3×3的卷积层得到预测框信息，使用SmoothL1loss函数回归中心点的预测框信息参数；
引入宽高比的一致性参数对预测框中的宽高比信息进行优化；
同时通过引入角度的一致性参数对预测框中的角度信息进行优化；
步骤5：基于ResNet101Conv1-5网络模型的输出特征图先后使用3×3和1×1的卷积层得到方向信息，利用binarycross-entropyloss函数对方向信息进行优化；
步骤6：通过热点图、偏移量信息、预测框信息、方向信息生成预测边界框，根据所述预测边界框的坐标信息在原图中进行定位展示。


2.根据权利要求1所述的一种基于边界框一致性的遥感目标检测方法，其特征在于，步骤2具体包括：
步骤2.1：通过公式(1)得到热点图：
Heatmap＝K×H/s×W/s(1)；
其中，H和W分别是图像的高度和宽度，通道数K为类别数，每个通道对应一个类别，且每个通道的映射通过一个sigmoid函数进行传递；
步骤2.2：将特定的中心点预测热图值作为目标检测的置信度，使用focalloss函数进行训练，如公式(2)所示：



其中q和p分别表示图像的真实热图值和预测热图值，i为特征图上像素位置的索引，N是实例的数目，α和β是控制每个像素权重的超参数。


3.根据权利要求2所述的一种基于边界框一致性的遥感目标检测方法，其特征在于，步骤3具体包括：
步骤3.1：通过公式(3)得到偏移量信息：
Offset＝2×H/s×W/s(3)：
其中，通道数为点的两个坐标x，y的偏移量；
步骤3.2：利用偏移量信息从预测的热图信息P中提...

【专利技术属性】
技术研发人员：朱小柯，王毓斐，陈小潘，郑珊珊，李昌龙，张冀统，叶鹏飞，
申请(专利权)人：河南大学，
类型：发明
国别省市：河南;41