一种图像金字塔引导的遥感影像小目标检测方法技术

一种图像金字塔引导的遥感影像小目标检测方法，包含：步骤1：构建骨干网络；步骤2：构建图像金字塔引导网络，构建图像金字塔引导网络，提取图像金字塔特征信息；步骤3：融合骨干与图像金字塔特征，在步骤1、2的基础上得到骨干特征映射图R与图像金字塔特征映射图F，将图像金字塔特征信息作为附加信息，融合到骨干特征信息中去：步骤4：多层次特征融合；在步骤3得到骨干特征与图像金字塔特征融合后的多尺度特征O后，利用特征金字塔网络的侧边横向连接方式，构建一条自上而下的融合路径，将深层语义信息融合到浅层丰富的空间信息中去。本发明专利技术提高了小目标检测的精度。

【技术实现步骤摘要】
一种图像金字塔引导的遥感影像小目标检测方法
本专利技术属于目标检测领域，具体涉及一种小目标优化的目标检测方法。
技术介绍
目标检测是计算机视觉领域中的一个重要研究方向，它结合了目标定位和目标识别两大任务，广泛地应用于智能监测、图像检索、智能交通、场景识别等领域。传统的目标检测算法大多采用手工设计的特征进行，主要步骤分为：(1)采用滑动窗口的策略对整幅影像进行遍历，生成多个候选框；(2)利用不同的特征提取方式计算候选框内的特征，生成特征向量；(3)利用支持向量机等机器学习方法对特征向量进行分类，获得目标检测结果(ZhangY,LiB,LuH,etal.Sample-specificSVMlearningforpersonre-identification[C]//IEEEConferenceonComputerVisionandPatternRecognition(CVPR).IEEE,2016.)。传统算法直观简单，但生成候选框会产生冗余窗口，严重影响后续特征提取和分类的速度和性能。目前，深度学习方法通过设计各种网络结构来自适应地学习影像特征信息，实现对目标的识别与定位，在效率和精度上较传统方法均有很大提升，在计算机视觉领域得到了广泛应用并获得巨大成功。基于深度学习的目标检测方法主要分为单阶段模型和两阶段模型(LiuW,AnguelovD,ErhanD,etal.SSD:Singleshotmultiboxdetector[C]//EuropeanConferenceonComputerVision,Amsterdam,NL,2016:21–37；RenS,HeK,GirshickR,etal.FasterR-CNN:towardsreal-timeobjectdetectionwithregionproposalnetworks[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2015,39(6):1137-1149.)。其中，单阶段模型不需要生成候选框，直接输出目标的定位与类别概率；两阶段模型需先在特征图上对可能存在目标的位置提取候选框，然后再对候选框进行分类。上述两种目标检测方法在通用数据集上，针对场景中的中、大型目标在检测精度和效率上已经取得了较好的表现，但它们对于小目标检测的精度仍然较低，其主要原因是：(1)待检测目标在整幅影像中仅有一个或者几个像素点，对应的像素区域所能反映出的信息量有限。(2)网络模型为了获得深层语义信息，需要经过多层的卷积与池化操作来扩大感受野。原本小目标在影像中占比非常小，在通过多次卷积后在深层特征图中只包含一部分特征信息，甚至可能在卷积过程中过滤掉。IPG-Net网络引入了图像金字塔，为骨干网络提供更多的空间信息，来解决小目标检测精度较低问题(LiuZ,GaoG,SunL,etal.IPG-Net:ImagePyramidGuidanceNetworkforSmallObjectDetection[C]//ProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognitionWorkshops.2020:1026-1027.)。但其特征提取模块存在利用7*7大小卷积核，导致参数量参加；采用固定数目残差块，造成提取特征与骨干网络特征跨度较大等问题。针对小目标检测的难点及其当前方法的不足，本专利技术以目前流行的MaskR-CNN网络模型作为目标提取的基础框架(HeK,GkioxariG,DollarP,etal.MaskR-CNN[C]//InternationalConferenceonComputerVision(ICCV),Venice,IT,2017:2980-2988.)，以小目标进一步优化的IPG-Net网络结构作为骨干的特征提取网络，提出一种改进小目标的检测方法。通过构建图像金字塔引导网络以优化其特征提取及融合模块，使得深层特征与浅层特征相互结合，为骨干网络的特征金字塔提供更多的空间信息，解决小目标检测精度较低的问题。
技术实现思路
针对MaskR-CNN算法特征提取过程中，经过几十甚至一百多层的卷积操作造成空间信息丢失，小目标检测精度较低的问题，本专利技术提出一种将骨干网络提取特征与图像金字塔模型相应层级特征融合的图像金字塔引导网络，使得骨干网络的特征金字塔的各个阶段提供更多的小目标信息，然后将特征融合到MaskR-CNN网络框架中的小目标优化方法。根据以上原理，本专利技术的一种图像金字塔引导的遥感影像小目标检测方法，包含以下步骤：步骤1：构建骨干网络；构建MaskR-CNN骨干网络，采用标准ResNet网络来实现。ResNet网络包括五个级别的特征提取模块，但为了在获得深层语义信息的同时最大化保留浅层小目标的信息，取消了ResNet最后一个级别，仅采用四个级别。第一个级别利用了一次步幅为2的卷积层，得到的特征映射图为原始图像分辨率的1/2；第二级别利用了步幅为2的最大池化层，得到为原始图像1/4大小的特征映射图；第三至第四级别都采用步幅为2的卷积层来提取特征，最终输出的特征映射图为原始图像的1/16。ResNet骨干网络提取到的特征图表示为R：R＝{R1,R2,...,Rn}(1)其中，n表示网络的级别数。步骤2：构建图像金字塔引导网络；该步骤构建图像金字塔引导网络，提取图像金字塔特征信息，具体包括以下两个子步骤：步骤2.1：构建图像金字塔；输入图像，构建其金字塔集I：I＝{I1,I2,...,In}(2)其中，n代表图像金字塔的级别数，与步骤1中ResNet骨干网络的级别数对应一致。图像金字塔集中I1的分辨率和输入的原始图像相同，为H×W，随后长宽逐级变为原来的1/2。步骤2.2：构建特征提取模块；图像金字塔引导网络的特征提取功能模块是为了捕获小目标等细节信息，主要从浅层网络获得。主要由以下两部分构成：(1)首先是3个3*3的卷积级联操作，该结构在获得与7*7卷积操作相同感受野的同时，减少参数量，增强网络的非线性表达能力，防止出现过拟合。从而使得浅层卷积滤波器的细粒度特征提取能力增加。然后进行步幅为2的最大池化操作。(2)池化操作后，每个级别提取的图像金字塔特征都需再通过残差块的操作来实现。残差块数目的设计，需考虑到MaskR-CNN骨干网络中随着级别的增加，卷积层数目也在增多，骨干网络中第一级由3个残差块(共9个卷积层)；第二级在第一级的基础上增加4个残差块(即增加12个卷积层，合计21个卷积层)；第三级在第二级的基础上增加23个残差块(即增加69个卷积层，共90个卷积层)。单个残差块能提供更丰富的空间信息，但随着级别的增加，同一级别的图像金字塔特征和骨干特征的跨度越来越大，特别是ResNet101的第三级有23个残差块，将这样两个跨度如此大的特征进行融合对于优化特征提取结果而言并没有益本文档来自技高网...

【技术保护点】
1.一种图像金字塔引导的遥感影像小目标检测方法，包含以下步骤：/n步骤1：构建骨干网络；/n构建Mask R-CNN骨干网络，采用标准ResNet网络来实现；ResNet网络包括五个级别的特征提取模块，但为了在获得深层语义信息的同时最大化保留浅层小目标的信息，取消了ResNet最后一个级别，仅采用四个级别；第一个级别利用了一次步幅为2的卷积层，得到的特征映射图为原始图像分辨率的1/2；第二级别利用了步幅为2的最大池化层，得到为原始图像1/4大小的特征映射图；第三至第四级别都采用步幅为2的卷积层来提取特征，最终输出的特征映射图为原始图像的1/16；ResNet骨干网络提取到的特征图表示为R：/nR＝{R

【技术特征摘要】
1.一种图像金字塔引导的遥感影像小目标检测方法，包含以下步骤：
步骤1：构建骨干网络；
构建MaskR-CNN骨干网络，采用标准ResNet网络来实现；ResNet网络包括五个级别的特征提取模块，但为了在获得深层语义信息的同时最大化保留浅层小目标的信息，取消了ResNet最后一个级别，仅采用四个级别；第一个级别利用了一次步幅为2的卷积层，得到的特征映射图为原始图像分辨率的1/2；第二级别利用了步幅为2的最大池化层，得到为原始图像1/4大小的特征映射图；第三至第四级别都采用步幅为2的卷积层来提取特征，最终输出的特征映射图为原始图像的1/16；ResNet骨干网络提取到的特征图表示为R：
R＝{R1,R2,...,Rn}(1)
其中，n表示网络的级别数；
步骤2：构建图像金字塔引导网络；
该步骤构建图像金字塔引导网络，提取图像金字塔特征信息，具体包括以下两个子步骤：
步骤2.1：构建图像金字塔；
输入图像，构建其金字塔集I：
I＝{I1,I2,...,In}(2)
其中，n代表图像金字塔的级别数，与步骤1中ResNet骨干网络的级别数对应一致；图像金字塔集中I1的分辨率和输入的原始图像相同，为H×W，随后长宽逐级变为原来的1/2；
步骤2.2：构建特征提取模块；
图像金字塔引导网络的特征提取功能模块是为了捕获小目标等细节信息，主要从浅层网络获得；主要由以下两部分构成：
(1)首先是3个3*3的卷积级联操作，该结构在获得与7*7卷积操作相同感受野的同时，减少参数量，增强网络的非线性表达能力，防止出现过拟合；从而使得浅层卷积滤波器的细粒度特征提取能力增加；然后进行步幅为2的最大池化操作；
(2)池化操作后，每个级别提取的图像金字塔特征都需再通过残差块的操作来实现；残差块数目的设计，需考虑到MaskR-CNN骨干网络中随着级别的增加，卷积层数目也在增多，骨干网络中第一级由3个残差块(共9个卷积层)；第二级在第一级的基础上增加4个残差块(即增加12个卷积层，合计21个卷积层)；第三级在第二级的基础上增加23个残差块(即增加69个卷积层，共90个卷积层)；单个残差块能提供更丰富的空间信息，但随着级别的增加，同一级别的图像金字塔特征和骨干特征的跨度越来越大，特别是ResNet101的第三级有23个残差块，将这样两个跨度如此大的特征进行融合对于优化特征提取结果而言并没有益处；因此，本发明在提取图像金字塔特征时，随着骨干网络层级的增加，每级增加1个残差块，即第一阶段1个，第二阶段2个残差块，第三阶段3个残差块，这样缩短了两个特征间的跨度，保留了空间信息和小物体的特征；
图像金字塔引导网络提取到的图像金字塔特征映射图F：
F＝{F1,F2,...,Fn...

【专利技术属性】
技术研发人员：吴炜，葛炜炜，沈瑛，徐浩然，张诗琪，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江;33