基于跨尺度特征融合的光学遥感图像多类目标检测方法技术

本发明专利技术涉及一种基于跨尺度特征融合的光学遥感图像多类目标检测方法，以训练数据作为卷积神经网络的输入来提取图像特征，从不同卷积层的输出处得到多尺度特征图，在最顶层特征处添加挤压‑激励模块对顶层特征的通道信息进行重新建模；然后对得到的特征图进行跨尺度特征融合操作，接着在这些多尺度特征图上训练区域建议网络，从训练好的区域建议网络中得到用于后续任务的建议框，再送到分类网络和回归网络进行训练；最后经过非极大值抑制等后处理操作实现对光学遥感图像多类目标在多尺度特征图上的精确检测。利用本发明专利技术方法，可以从复杂背景下的光学遥感图像中检测出多种类型的目标。本发明专利技术具有较高的检测识别精度和较快的速度。

Multi class target detection in optical remote sensing image based on cross scale feature fusion

【技术实现步骤摘要】
基于跨尺度特征融合的光学遥感图像多类目标检测方法
本专利技术属于基于光学遥感图像的多类目标检测方法，涉及一种基于跨尺度特征融合的光学遥感图像多类目标检测方法，实现了特征的跨尺度融合，可以应用于复杂背景光学遥感图像的多种类型目标检测任务。
技术介绍
随着航空遥感技术的迅速发展，从高空获取大量遥感数据已经变得越来越容易。与此同时，各种基于遥感图像的任务层出不穷，如目标检测、场景分类、数据压缩等。作为遥感图像处理技术的一个应用，复杂背景光学遥感图像的目标检测是图像处理领域的一项关键技术，也一直是该领域的研究热点和难点问题，受到人们越来越多的关注。光学遥感图像中目标检测的核心任务是找到图像中所有感兴趣的目标，并确定其具体的类别、位置和大小。目前，目标检测任务的实现主要采用以下两类方法：一类是单阶段的目标检测方法，比较具有代表性的工作是由RossGirshick等人在《IEEEConferenceonComputerVisionandPatternRecognition2016》上发表的“YouOnlyLookOnce:Unified,Real-TimeObjectDetection”，该方法是把目标检测任务视为一个回归任务，这类方法的优点是检测速度快，缺点是检测精度与两阶段的目标检测方法相比低一些；另一类是两阶段的目标检测方法，这种方法首先在图像中生成一系列锚框，这些锚框的长宽、比例、数量可以根据任务需求进行设定，通过训练区域建议网络(RegionProposalNetwork，RPN)来解决锚点内目标是前景或背景的二分类问题，并对原始的锚框坐标进行一个粗略的回归，接着进行分类和回归任务，该类方法的优点是检测精度高，缺点是速度较慢，任务推断过程中花费的时间略长。然而，遥感图像与自然场景图像相比存在较大的差异，由于成像平台和成像方式的不同，光学遥感图像中的目标存在不同程度的变形、遮挡、尺度变化和方向多样性，对于那些尺度较小的目标，其特征信息往往被复杂的周边场景所淹没，有些类别的目标排列过于密集，部分类别的目标在颜色、外观形状上具有较高的相似性，这些问题都为光学遥感图像目标检测任务增加了难度。
技术实现思路
要解决的技术问题为了避免现有技术的不足之处，本专利技术提出一种基于跨尺度特征融合的光学遥感图像多类目标检测方法，改进现阶段目标检测方法在解决光学遥感图像目标的类间相似性和目标尺度相差较大问题。技术方案一种基于跨尺度特征融合的光学遥感图像多类目标检测方法，其特征在于步骤如下：步骤1、数据预处理：计算实验数据库中每张图片的RGB分量均值Rave,Gave,Bave和标准差Rvar,Gvar,Bvar，并将图片长宽调整为M×M；步骤2、特征提取：将处理完的图片数据作为特征金字塔网络模型的输入，从特征提取网络的不同卷积层处得到5个尺度的特征图{FA1,FA2,FA3,FA4,FA5}，五组特征图的通道数保持一致，它们的长宽依次为其中为向上取整操作；步骤3、添加SEblock挤压-激励模块：对多尺度特征图{FA1,FA2,FA3,FA4,FA5}，在最顶层特征图上以残差连接的方式添加SEblock挤压-激励模块，实现对特征通道权重的重新标定，得到一组新的特征图，然后在这组新的特征图的每个尺度上分别添加一组1*1的卷积，实现特征通道数的降低，得到多尺度特征图{FB1,FB2,FB3,FB4,FB5}，它们的特征通道数保持一致；步骤4、跨尺度特征融合：在多尺度特征图{FB1,FB2,FB3,FB4,FB5}中选择任意一个尺度的特征图分别与其它四个尺度的特征图进行跨尺度特征融合，得到另外一组多尺度特征图{FC1,FC2,FC3,FC4,FC5}；步骤5、用区域建议网络生成感兴趣的区域RegionofInterests，RoIs：在多尺度特征图{FC1,FC2,FC3,FC4,FC5}上，采用RPN方法设定锚点，根据锚点与ground-truth之间的交并比IntersectionoverUnion，IoU确定每个锚点的标签，包括正样例、负样例和忽略样例，选择符合条件的锚点来训练区域建议网络；步骤6、对网络进行端到端的训练：区域建议网络训练好之后，会根据学习到的网络参数输出每个锚点属于前景、背景的得分，然后选择得分较高的K个锚点作为感兴趣区域提供给FasterR-CNN部分，最终选择M个候选框训练该部分网络参数；其中分类任务采用交叉熵损失CrossEntropyLoss函数，回归任务采用SmoothL1损失函数；步骤7、目标检测：利用训练好的网络模型预测测试集中目标的类别和位置，采用非极大值抑制NMS的方法来过滤掉冗余的检测框，给出每张图片最终的检测结果。所述RPN方法见文章S.Ren,R.Girshick,R.Girshick,andJ.Sun,"FasterR-CNN:TowardsReal-TimeObjectDetectionwithRegionProposalNetworks，"IEEETransactionsonPatternAnalysis&MachineIntelligence,vol.39,no.6,pp.1137-1149,2017.。所述FasterR-CNN方法见文章S.Ren,R.Girshick,R.Girshick,andJ.Sun,"FasterR-CNN:TowardsReal-TimeObjectDetectionwithRegionProposalNetworks，"IEEETransactionsonPatternAnalysis&MachineIntelligence,vol.39,no.6,pp.1137-1149,2017.7.。有益效果本专利技术提出的一种基于跨尺度特征融合的光学遥感图像多类目标检测方法，首先对训练数据进行初始化操作，把它们作为卷积神经网络的输入来提取图像特征，从不同卷积层的输出处得到多尺度特征图，在最顶层特征处添加挤压-激励模块对顶层特征的通道信息进行重新建模；然后对得到的特征图进行跨尺度特征融合操作，接着在这些多尺度特征图上训练区域建议网络，从训练好的区域建议网络中得到用于后续任务的建议框，在此基础上完成建议框与多尺度特征的匹配，再将这些匹配好的特征送到分类网络和回归网络进行训练；最后经过非极大值抑制(NonMaximumSuppression，NMS)等后处理操作实现对光学遥感图像多类目标在多尺度特征图上的精确检测。本专利技术可以在遥感图像数据库中实现较高的准确率和召回率。实践证明，该方法具有较高的检测精度和较好的鲁棒性。附图说明图1：本专利技术方法的基本流程框图图2：本专利技术方法所使用的数据库部分图像示例图3：本专利技术方法所使用的跨尺度特征融合模块的实现示意图图4：本专利技术方法所使用的挤压-激励模块示意图图5：本专利技术方法的检测结果示例具体实施方式现结合实施例、附图对本专利技术作进一步描述：...

【技术保护点】
1.一种基于跨尺度特征融合的光学遥感图像多类目标检测方法，其特征在于步骤如下：/n步骤1、数据预处理：计算实验数据库中每张图片的RGB分量均值R

【技术特征摘要】
1.一种基于跨尺度特征融合的光学遥感图像多类目标检测方法，其特征在于步骤如下：
步骤1、数据预处理：计算实验数据库中每张图片的RGB分量均值Rave,Gave,Bave和标准差Rvar,Gvar,Bvar，并将图片长宽调整为M×M；
步骤2、特征提取：将处理完的图片数据作为特征金字塔网络模型的输入，从特征提取网络的不同卷积层处得到5个尺度的特征图{FA1,FA2,FA3,FA4,FA5}，五组特征图的通道数保持一致，它们的长宽依次为其中为向上取整操作；
步骤3、添加SEblock挤压-激励模块：对多尺度特征图{FA1,FA2,FA3,FA4,FA5}，在最顶层特征图上以残差连接的方式添加SEblock挤压-激励模块，实现对特征通道权重的重新标定，得到一组新的特征图，然后在这组新的特征图的每个尺度上分别添加一组1*1的卷积，实现特征通道数的降低，得到多尺度特征图{FB1,FB2,FB3,FB4,FB5}，它们的特征通道数保持一致；
步骤4、跨尺度特征融合：在多尺度特征图{FB1,FB2,FB3,FB4,FB5}中选择任意一个尺度的特征图分别与其它四个尺度的特征图进行跨尺度特征融合，得到另外一组多尺度特征图{FC1,FC2,FC3,FC4,FC5}；
步骤5、用区域建议网络生成感兴趣的区域RegionofInterests，RoIs：在多尺度特征图{FC1,FC2,FC3,FC4,FC5}上，采用RPN方法设定锚点，根据锚点与ground-truth之间的交并比IntersectionoverUnion，IoU确定每个锚点的标签，包括正样例、负样例和忽略样例，选择符合条件的锚点来训练区域建议网络；
步骤6、对网络进行端到端的训练：区域建议网络训...

【专利技术属性】
技术研发人员：程塨，司永洁，姚西文，韩军伟，郭雷，
申请(专利权)人：西北工业大学深圳研究院，西北工业大学，
类型：发明
国别省市：广东;44