一种基于特征对齐的遥感场景下旋转目标检测方法技术

本发明专利技术公开了一种基于特征对齐的遥感场景下旋转目标检测方法，首先生成训练集，然后在Residual Network和Feature Pyramid Networks的基础上构建目标检测网络，对输入样本图像进行多尺度特征提取，再设计特征对齐模块，将由Feature Pyramid Networks网络得到的回归分支特征和分类分支特征进行特征融合，获得特征对齐后的有效特征，然后再经过由粗到细的检测框回归模块，所提取的特征利用通用卷积生成粗糙的检测框，之后再利用可变形卷积微调粗糙检测框，最终得到定位更加准确的检测框；最后对旋转检测网络进行训练，得到训练好的模型用于实际场景中的旋转目标检测任务。本发明专利技术相比现有技术直接预测检测框，检测框位置更加精确，算法的检测速度得到明显的提升。

【技术实现步骤摘要】
一种基于特征对齐的遥感场景下旋转目标检测方法
本专利技术属于图像处理
，具体涉及一种旋转目标检测方法。
技术介绍
遥感场景下的旋转目标检测是为了判断遥感图像中是否存在目标，并对其进行精确有向定位和分类，在军事和民用领域都具有重要应用。具体地，在军事方面，其可以用于国土入侵监控、军事侦察、军事打击等；在民用方面，可以用于城市交通监控、土地规划、灾情监测等诸多应用。与自然图像中的目标检测任务相比，遥感场景下的目标检测具有以下特点：(1)遥感图像分辨率更高、数据量庞大。(2)遥感目标普遍尺寸较小、密集且具有旋转性。其中，诸如舰船、飞机、汽车等旋转目标是遥感影像的典型检测目标。(3)由于传感器自身物理技术特性、观察视角和成像机理等原因，遥感平台获取的影像通常会混有噪声，并且易受天气、光照等多种因素影响。这些复杂特性使得遥感图像的目标检测充满挑战。因此，如何精确地对遥感场景下的旋转目标进行精确定位和分类具有重要的研究意义。目前，主流的旋转检测算法都是基于深度学习，按照检测阶段的不同，可以将相关工作分为以下两类：第一种为两阶段的旋转目标检测算法。该类方法主要是基于区域框架进行检测。具体地，第一阶段从图像中生成与类别无关的带有方向性的区域建议，然后对这些区域进行特征提取；第二阶段使用与类别相关的分类器和回归器进行分类和回归；最后利用非极大抑制(Non-MaximumSuppression)等后处理方法得到检测结果。其中，Ding等人在论文“J.Ding,N.Xue,Y.Long,G.Xia,andQ.Lu,Learningroitransformerfordetectingorientedobjectsinaerial.Proc.IEEEConferenceonComputerVisionandPatternRecognition,pp.2849–2858,2019”中设计了RotatedRegionofInterest(RRoI)将水平感兴趣区域(HorizontalRegionofInterest)转换为旋转感兴趣区域(RotatedRegionofInterest)。基于RRoI提出了RotatedPositionSensitiveRoIAlign(RPS-RoI-Align)模块，在提取旋转不变特征同时实现特征对齐，以促进后续分类和回归。Yang等人在论文“X.Yang,J.Yang,J.Yan,Y.Zhang,T.Zhang,Z.Guo,X.Sun,andK.Fu,Scrdet:Towardsmorerobustdetectionforsmall,clutteredandrotatedobjects.Proc.IEEEConferenceonInternationalConferenceonComputerVision,pp.8232–8241,2019”中设计了一种采样融合网络，它将多层特征融合到有效的锚点采样中，以提高对于小型目标的检测灵敏度。与此同时，通过抑制噪声和突出物体的特征，将有监督的像素注意力网络和通道注意力网络，用于小而杂乱的目标检测。Xu等人在论文“Y.Xu,M.Fu,Q.Wang,Y.Wang,K.Chen,G.Xia,andX.Bai,Glidingvertexonthehorizontalboundingboxformulti-orientedobjectdetection.IEEETransactionsonPatternAnalysisandMachineIntelligence,2020”中通过改变旋转框的表示方式避免了排序的问题。具体地，该方法先检测水平框，然后通过学习水平框四个角点的偏移量达到四边形检测的目的。由于这些方法需要先对建议区域进行提取，所以会极大地影响检测速度。第二种为单阶段的旋转目标检测算法。这类方法不生成区域建议，而是直接预测对象的类别和位置。Yang等人在论文“X.Yang,J.Yan,Z.Feng,andT.He,R3det:Refinedsingle-stagedetectorwithfeaturerefinementforrotatingobject.Proc.AAAIConferenceonArtificialIntelligence,2021”中提出了一种端到端的单阶段旋转检测器，设计了featurerefinementmodule(FRM)模块，使用特征插值获取锚点，通过重构特征图实现对齐目的。Gao等人在论文“Y.Gao,L.Liu,G.Chen,andB.Lei,Drboxlight:Alightobjectdetectionmodelforremotesensingapplications.Proc.IEEEInternationalGeoscienceandRemoteSensingSymposium,pp.1442–1445,2019”中利用深度可分卷积减小模型的尺寸，同时学习目标的旋转不变性，以获得更好的旋转检测性能。由于这些方法都是在原有水平方框的基础上添加角度，然后直接生成回归方框和类别，因而很难达到较高的精度。
技术实现思路
为了克服现有技术的不足，本专利技术提供了一种基于特征对齐的遥感场景下旋转目标检测方法，首先生成训练集，然后在ResidualNetwork和FeaturePyramidNetworks的基础上构建目标检测网络，对输入样本图像进行多尺度特征提取，再设计特征对齐模块，将由FeaturePyramidNetworks网络得到的回归分支特征和分类分支特征进行特征融合，获得特征对齐后的有效特征，然后再经过由粗到细的检测框回归模块，所提取的特征利用通用卷积生成粗糙的检测框，之后再利用可变形卷积微调粗糙检测框，最终得到定位更加准确的检测框；最后对旋转检测网络进行训练，得到训练好的模型用于实际场景中的旋转目标检测任务。本专利技术相比现有技术直接预测检测框，检测框位置更加精确，算法的检测速度得到明显的提升。本专利技术解决其技术问题所采用的技术方案包括以下步骤：步骤1：采集遥感图像，将每一张遥感图像随机裁剪为多张N×N像素大小的图像，构成样本图像；对裁剪后的图像标注目标位置信息，构成标签图像；样本图像和标签图像组成训练集；步骤2：在训练集中随机以50％的概率对样本图像进行随机翻转，增加样本数量；步骤3：将样本图像先输入ResidualNetwork，ResidualNetwork的输出再输入FeaturePyramidNetworks，对图像进行多尺度特征提取，输出图像的特征为W*H*256；步骤4：将步骤3的输出图像分别输入粗回归分支、精回归分支和分类分支；粗回归分支由多层通用卷积模块构成；精回归分支由通用卷积模块和可变形卷积模块交叉构成；分类分支由多层通用卷积模块构成；步骤5：精回归分支的第Bn层可变形卷积模块输出和分类分支的第Cn层输出进行Concat操作，Concat操作后再经过卷积操作，卷积操作后的输出分为两路：第一路与分类分支的第Cn层进行Concat操作，进行特征对齐，获得获得特征对本文档来自技高网...

【技术保护点】
1.一种基于特征对齐的遥感场景下旋转目标检测方法，其特征在于，包括以下步骤：/n步骤1：采集遥感图像，将每一张遥感图像随机裁剪为多张N×N像素大小的图像，构成样本图像；对裁剪后的图像标注目标位置信息，构成标签图像；样本图像和标签图像组成训练集；/n步骤2：在训练集中随机以50％的概率对样本图像进行随机翻转，增加样本数量；/n步骤3：将样本图像先输入Residual Network，Residual Network的输出再输入Feature Pyramid Networks，对图像进行多尺度特征提取，输出图像的特征为W*H*256；/n步骤4：将步骤3的输出图像分别输入粗回归分支、精回归分支和分类分支；粗回归分支由多层通用卷积模块构成；精回归分支由通用卷积模块和可变形卷积模块交叉构成；分类分支由多层通用卷积模块构成；/n步骤5：精回归分支的第B

【技术特征摘要】
1.一种基于特征对齐的遥感场景下旋转目标检测方法，其特征在于，包括以下步骤：
步骤1：采集遥感图像，将每一张遥感图像随机裁剪为多张N×N像素大小的图像，构成样本图像；对裁剪后的图像标注目标位置信息，构成标签图像；样本图像和标签图像组成训练集；
步骤2：在训练集中随机以50％的概率对样本图像进行随机翻转，增加样本数量；
步骤3：将样本图像先输入ResidualNetwork，ResidualNetwork的输出再输入FeaturePyramidNetworks，对图像进行多尺度特征提取，输出图像的特征为W*H*256；
步骤4：将步骤3的输出图像分别输入粗回归分支、精回归分支和分类分支；粗回归分支由多层通用卷积模块构成；精回归分支由通用卷积模块和可变形卷积模块交叉构成；分类分支由多层通用卷积模块构成；
步骤5：精回归分支的第Bn层可变形卷积模块输出和分类分支的第Cn层输出进行Concat操作，Concat操作后再经过卷积操作，卷积操作后的输出分为两路：第一路与分类分支的第Cn层进行Concat操作，进行特征对齐，获得获得特征对齐后的有效特征，再将有效特征输入分类分支的第Cn+1层；第二路与粗回归分支的第An层进行Concat操作后输入精回归分支的第Bn+1层通用卷积模块；
步骤6：精回归分支的第Bm层可变形卷积...

【专利技术属性】
技术研发人员：袁媛，李治国，马单丹，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61