一种远距离空间自适应多尺度的小目标检测方法技术

本发明专利技术公开了一种远距离空间自适应多尺度的小目标检测方法，方法包括两个阶段，分别为：多尺度目标检测模型确定阶段和多尺度目标检测模型预测阶段；在多尺度目标检测模型确定阶段，通过对不同的目标检测任务进行数据集分析，得到该类型任务所对应的多尺度目标检测模型结构；在多尺度目标检测模型预测阶段，通过对应的目标检测任务类型，直接调用对应结构；在未知检测任务类型时，通过OSTU算法及决策树获得其对应检测任务的多尺度目标检测模型结构，完成预测。本发明专利技术有益效果是：能够实时的、自适应的进行各类目标检测，提高了目标检测通用性的同时，保证了目标检测精度。保证了目标检测精度。保证了目标检测精度。

【技术实现步骤摘要】
一种远距离空间自适应多尺度的小目标检测方法


[0001]本专利技术涉及图像目标检测领域，尤其涉及一种远距离空间自适应多尺度的小目标检测方法。

技术介绍

[0002]目标检测是计算机视觉的重要任务之一，在深度学习的驱动下,目标检测模型逐渐趋于成熟和稳定,并成功应用于国防安全、智能交通和工业自动化等领域。目前通用目标检测模型在公共数据集上进行调优，以公共数据集的检测指标来评判模型的优劣。但是在实际应用场景中场景数据集与公共数据集的差异较大，往往我们需要通过调整模型使得模型效率更高。
[0003]例如在大型工件检测中，模型需要识别的目标存在面积大数量少的特点，此类目标通过通用模型可以得到非常好的检测效果，但由于目标特征单一，特征提取操作时存在大量特征层冗余现象。
[0004]再如航空遥感图像和无人机高空图像一般从几百米到近万米的高度进行拍摄，图像中的目标很多都是小目标（几十个甚至几个像素），这就导致目标信息量不大且图像视野比较大（通常有数平方公里的覆盖范围），视野中可能包含各种各样的背景，会对目标检测产生较强的干扰，难以将目标与背景或相似的目标区分开来。
[0005]目前常见的优秀目标检测模型有YOLOX，YOLOV5，Faster RCNN，Centernet等等，在小目标和大目标在检测性能上存在显著差距，小目标的检测性能通常只有大目标的一半，也很难将此类模型应用到遥感领域的目标检测中。

技术实现思路

[0006]为了针对航空遥感影像中的小目标检测通用性差，精度低以及效率低的技术问题，本专利技术提出了一种远距离空间自适应多尺度的小目标检测方法，该方法对不同检测目标的数据集特点调整相应特征融合结构和多尺度检测头可以极大优化模型效率。
[0007]方法包括两个阶段，分别为：多尺度目标检测模型确定阶段和多尺度目标检测模型预测阶段；多尺度目标检测模型确定阶段包括以下过程：S1、构建多尺度目标检测模型，所述多尺度目标检测模型包括三个部分，分别为二层特征融合结构、三层特征融合结构和四层特征融合结构；所述二层特征融合结构、三层特征融合结构和四层特征融合结构预先训练完毕；S2、获取目标检测任务类型及对应的训练集，并采用目标边界框对训练集中需要检测的目标进行标注，得到目标信息的左上角坐标为(x1,y1)，右下角坐标为(x2,y2)；S3、计算目标边界框面积与图像面积的比值：(x2‑
x1)*(y2‑
y1)/W*H；其中W、H分别为训练集中图像的宽、高；S4：目标边界框面积与图像面积的比值的开方小于预设的第一阈值a1时，该目标
为小目标；目标边界框面积与图像面积的比值的开方大于预设的第二阈值a2时，该目标为大目标；目标边界框面积与图像面积的比值的开方处于a1与a2之间的，为普通目标；S5、采用决策树方法确定多尺度目标检测模型结构，具体如下：计算大目标、小目标、普通目标的占比分别为C1、C2、C3，根据各目标占比及设置的占比阈值，判断多尺度目标检测模型自适应结构，具体为：当小目标数量占比超过整体数据的预设百分比p时，调整多尺度目标检测模型为四层特征融合结构；当大目标数量占比超过预设百分比p时，调整多尺度目标检测模型为二层特征融合结构，否则调整多尺度目标检测模型为三层特征融合结构；多尺度目标检测模型预测阶段：S6：获取待预测目标数据；S7：若待预测目标数据属于多尺度目标检测模型确定阶段的目标检测任务类型，则调用多尺度目标检测模型确定阶段对应确定的目标检测模型结构直接进行预测，得到目标预测结果；S8：若待预测目标数据不属于多尺度目标检测模型确定阶段的目标检测任务类型，则采用OSTU阈值分割法处理待预测目标数据，按图像的灰度特性，将图像分成背景和前景两部分，通过前景目标像素值与整个图像像素值的比值，确定待预测目标类型，统计各类预测目标的占比，按照步骤S5的方法再次确定多尺度目标检测模型的结构，并调用对应结构完成目标检测。
[0008]本专利技术提供的有益效果是：针对大目标检测，调整为两层尺度预测，可以大大减少参数量，实现边缘设备端的实时检测，且提出一种新的特征融合算法结构针对小目标检测只需增加额外一点时间开销即可在检测精度上有大幅提升，对实际工业场景具有极高的应用价值；另外，本申请可适用于动态检测过程，比如随着无人机航拍高度的上升，最开始的小目标为自行车，随着高度增加，小目标逐渐变为房子，也即，本申请中的小目标为一个动态或者相对概念；最后本申请能够实时的、自适应的进行各类目标检测，提高了目标检测通用性的同时，保证了目标检测精度。
附图说明
[0009]图1是本专利技术方法的简单流程示意图；图2是二层特征融合结构示意图；图3是四层特征融合结构示意图；图4是上下文跳跃连接特征融合示意图；图5是SSHF感受野叠加模块的结构示意图；图6是数据集进行决策树后应该被归为其中一类的示意图；图7是决策结果示意图；图8是OSTU阈值分割算法的效果示意图；图9是本专利技术方法详细过程示意图；图10是采用传统目标检测三层网络结构所得到的小目标检测效果示意图；
图11是采用本申请改进后的四层特征融合结构所得到的小目标检测效果示意图。
具体实施方式
[0010]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地描述。
[0011]请参考图1，图1是本专利技术方法的简单流程示意图。
[0012]本专利技术提供了一种远距离空间自适应多尺度的小目标检测方法，方法包括以下两个阶段：多尺度目标检测模型确定阶段和多尺度目标检测模型预测阶段；多尺度目标检测模型确定阶段包括以下过程：S1、构建多尺度目标检测模型，所述多尺度目标检测模型包括三个部分，分别为二层特征融合结构、三层特征融合结构和四层特征融合结构；所述二层特征融合结构、三层特征融合结构和四层特征融合结构预先训练完毕；需要说明的是，本申请中的多尺度目标检测模型，包括3个部分，分别为二层特征融合结构、三层特征融合结构和四层特征融合结构。三个不同的特征融合结构分别用于进行大目标检测、普通目标检测和小目标检测；下面依次阐述三个不同结构。
[0013]请参考图2，图2是二层特征融合结构示意图；所述二层特征融合结构包括：主干网络、CA注意力机制模块、二层特征融合模块、解耦输出模块；输入图像经由主干网络进行下采样特征提取，得到由浅至深的两个不同尺度的下采样特征层，分别为第一特征层和第二特征层；第一特征层和第二特征层分别通过CA注意力机制模块，得到第一增强特征和第二增强特征；第一增强特征和第二增强特征经由特征融合模块进行特征融合后，得到融合特征；融合特征经由解耦输出模块处理，得到大目标检测结果。
[0014]具体的，所述二层特征融合模块包括：卷积单元、转置卷积单元、两个Contact+CSPLayer结构和一个下采样单元；特征融合模块进行特征融合的具体过程如下：第二增强特征依次经过卷积单元、转置卷积单元后，得到的第一卷积结果与第一增强特征融合，得到第一融合结果；第一融合结果经由一个Contact+CSPLayer结构，将其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种远距离空间自适应多尺度的小目标检测方法，其特征在于：方法包括两个阶段，分别为：多尺度目标检测模型确定阶段和多尺度目标检测模型预测阶段；多尺度目标检测模型确定阶段包括以下过程：S1、构建多尺度目标检测模型，所述多尺度目标检测模型包括三个部分，分别为二层特征融合结构、三层特征融合结构和四层特征融合结构；所述二层特征融合结构、三层特征融合结构和四层特征融合结构预先训练完毕；S2、获取目标检测任务类型及对应的训练集，并采用目标边界框对训练集中需要检测的目标进行标注，得到目标信息的左上角坐标为(x1,y1)，右下角坐标为(x2,y2)；S3、计算目标边界框面积与图像面积的比值：(x2‑
x1)*(y2‑
y1)/W*H；其中W、H分别为训练集中图像的宽、高；S4：目标边界框面积与图像面积的比值的开方小于预设的第一阈值a1时，该目标为小目标；目标边界框面积与图像面积的比值的开方大于预设的第二阈值a2时，该目标为大目标；目标边界框面积与图像面积的比值的开方处于a1与a2之间的，为普通目标；S5、采用决策树方法确定多尺度目标检测模型结构，具体如下：计算大目标、小目标、普通目标的占比分别为C1、C2、C3，根据各目标占比及设置的占比阈值，判断多尺度目标检测模型自适应结构，具体为：当小目标数量占比超过整体数据的预设百分比p时，调整多尺度目标检测模型为四层特征融合结构；当大目标数量占比超过预设百分比p时，调整多尺度目标检测模型为二层特征融合结构，否则调整多尺度目标检测模型为三层特征融合结构；多尺度目标检测模型预测阶段：S6：获取待预测目标数据；S7：若待预测目标数据属于多尺度目标检测模型确定阶段的目标检测任务类型，则调用多尺度目标检测模型确定阶段对应确定的目标检测模型结构直接进行预测，得到目标预测结果；S8：若待预测目标数据不属于多尺度目标检测模型确定阶段的目标检测任务类型，则采用大津阈值分割OSTU法处理待预测目标数据，按图像的灰度特性，将图像分成背景和前景两部分，通过前景目标像素值与整个图像像素值的比值，确定待预测目标类型，统计各类预测目标的占比，按照步骤S5的方法再次确定多尺度目标检测模型的结构，并调用对应结构完成目标检测。2.如权利要求1所述的一种远距离空间自适应多尺度的小目标检测方法，其特征在于：所述二层特征融合结构包括：主干网络、CA注意力机制模块、二层特征融合模块、解耦输出模块；所述三层特征融合结构采用yolo网络系列中的PAFPN结构；所述四层特征融合结构包括：主干网络、CA注意力机制模块、四层特征融合模块、SSHF感受野叠加模块和解耦输出模块。3.如权利要求2所述的一种远距离空间自适应多尺度的小目标检测方法，其特征在于：所述二层特征融合结构如下：输入图像经由主干网络进行下采样特征提取，得到由浅至深的两个不同尺度的下采样
特征层，分别为第一特征层和第二特征层；第一特征层和第二特征层分别通过CA注意力机制模块，得到第一增强特征和第二增强特征；第一增强特征和第二增强特征经由特征融合模块进行特征融合后，得到融合特征；融合特征经由解耦输出模块处理，得到大目标检测结果。4.如权利要求3所述的一种远距离空间自适应多尺度的小目标检测方法，其特征在于：所述二层特征融合模块包括：卷积单元、转置卷积单元、两个Contact+CSPLayer结构和一个下采样单元；特征融合模块进行特征融合的具体过程如下：第二增强特征依次经过卷积单元、转置卷积单元后，得到的第一卷积结果与第一增强特征融合，得到第一融合结果；第一融合结果经由一个Contact+CSPLayer结构，将其分为两个分支，一个分支直接通过解耦输出模块进行解耦，得到第一解耦信息；另一个分支经由下采样单元进行下采样，得到第一融合结果的下采样特征；第一融合结果的下采样特征与第二增强特征通过一个...

【专利技术属性】
技术研发人员：甘胜丰，胡磊，刘世超，李露，闵高，雷维新，张仁，周蓓，徐朝玉，
申请(专利权)人：华中农业大学，
类型：发明
国别省市：