一种基于旋转区域卷积神经网络的星载目标融合检测方法技术

本发明专利技术公开了一种基于旋转区域卷积神经网络的星载目标融合检测方法，涉及星载目标检测领域。面向通用并行计算架构处理器、现场可编程门阵列、系统级芯片(SOC)等智能计算平台。首先，采用全色锐化方法对全色(Panchromatic,PAN)图像和多光谱(Multi‑Spectral,MS)图像进行融合，然后对融合后的星载图像采用基于旋转区域卷积神经网络的目标检测框架以检测其中的目标。目标检测框架基于Faster R‑CNN结构。本发明专利技术提高了多源星载图像中小目标的检测准确率，目标检测框架具有较好的泛化能力，在目标检测、安全监视等领域中可有广泛的应用。

【技术实现步骤摘要】
一种基于旋转区域卷积神经网络的星载目标融合检测方法
本专利技术涉及星载目标检测领域，尤其涉及一种基于旋转区域卷积神经网络的星载目标融合检测方法。
技术介绍
目标检测是计算机视觉和数字图像处理的一个热门方向，广泛应用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域，通过计算机视觉减少对人力资本的消耗，具有重要的现实意义。因此，目标检测成为了近年来理论和应用的研究热点，它是图像处理和计算机视觉学科的重要分支，也是智能监控系统的核心部分，同时目标检测也是目标识别的一个基础算法，对后续识别任务起着至关重要的作用。自从Hinton课题组构建的卷积神经网络(ConvolutionalNeuralNetworks,CNN)模型AlexNet在2012年的ImageNet图像识别比赛一举夺冠，CNN开始受到广泛的关注，目标检测算法得到了较为快速的发展。卫星遥感数据是重要的信息资源，因其实用性、时效性而被广泛应用于军事侦察、灾害监测、环境监测、资源考察、土地利用、农业产量估计、城市建设规划等，对于国防安全、经济社会发展有着重要意义。在星载任务中有多种对地观测的手段，不同的传感器可以获得不同形式的多源图像，例如可见光图像、红外图像、高光谱图像、多光谱图像、全色图像以及SAR图像等。在大尺度的卫星图像中对小目标进行检测是卫星图像分析所面临的主要问题之一。虽然深度学习方法在对地面图像目标检测任务中取得了很好的效果，但将这种技术过渡到高空星载图像并非易事。因此算法需要考虑的问题主要有四个：1、卫星图像通常具有较高的分辨率，给目标检测带来了难度；2、与PASCAL-VOC和ImageNet等常用数据集不同，在卫星图像数据集中船只、小型车辆、飞机等目标可能非常小(小于15×15像素)而且很密集；3、公开数据集相对缺乏；4、完全旋转不变性问题，许多目标物体，如车、船和飞机等，在俯视时有很多种方向。这对传统的计算机视觉技术来说是一项很复杂的任务，需要尝试用深度网络模型和多源图像模式来解决上述问题。因此，本领域的技术人员致力于开发一种基于旋转区域卷积神经网络的星载目标融合检测方法。一种基于旋转区域卷积神经网络的检测框架及系统，面向通用并行计算架构处理器、现场可编程门阵列、系统级芯片(SOC)等智能计算平台，可应用于任意方向的小目标检测，如对星载或航拍图像中密集的船只、车辆等进行目标检测。
技术实现思路
有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是克服对地面图像目标检测的技术应用于星载图像的不足，提供一种可以检测较高分辨率、目标小且密集的星载图像的方法，并采用多源图像融合的方法，提高在单源星载图像上的目标检测性能。为实现上述目的，本专利技术提供了一种基于旋转区域卷积神经网络的星载目标融合检测方法，包括以下步骤：步骤1、采用全色锐化方法融合同时同地获得的全色图像和多光谱图像；步骤2、针对大尺度图像，采用基于旋转区域的卷积神经网络，在DOTA数据集上训练目标检测网络；目标检测框架基于FasterR-CNN的结构，用于检测任意方向的目标，使用区域建议网络生成包围不同方向目标的轴对齐框；然后，针对所述区域建议网络提出的每个所述轴对齐框，使用不同大小的池化层提取它的特征，并连接特征，这些获得的特征同时被用于目标或非目标预测得分，所述轴对齐框和倾斜最小区域框；最后，使用一个倾斜的非极大值抑制来获得检测结果；步骤3、根据所述步骤2得到的目标检测模型，在所述全色图像、所述多光谱图像以及采用所述全色锐化方法融合后的星载图像上进行目标检测。进一步地，所述全色锐化方法包括成分置换方法和多分辨率分析方法。进一步地，所述成分置换方法包括主成分分析法、施密特正交化、波段相关空间细节算法、部分置换自适应方法。进一步地，所述多分辨率分析方法包括低通滤波LPF、金字塔分解法。进一步地，所述区域建议网络锚框比例小于所述FasterR-CNN的原始锚框比例。进一步地，所述区域建议网络与所述FasterR-CNN保持一致的设置，包括锚点长宽比，正样本和负样本的定义。进一步地，所述区域建议网络的池化包括7×7池化层、11×3池化层和3×11池化层。进一步地，所述3×11池化层帮助检测宽度大于高度的水平目标。进一步地，所述11×3池化层帮助检测高度大于宽度的垂直目标。进一步地，所述轴对齐框的损失函数是目标或非目标类损失和方框回归损失的总和。在本专利技术的较佳实施方式中，提供一种基于旋转区域卷积神经网络的星载目标融合检测方法，包括以下步骤：步骤1、采用全色锐化方法融合同时同地获得的全色图像和多光谱图像。主要采用全色锐化方法中的两大类成分置换方法和多分辨率分析方法。首先，本专利技术使用的主要符号如表1所示：表1:主要符号本专利技术向量用小写表示(如x)，xi表示第i个元素。二维和三维数组以大写(如X)表示。使用三维数组X＝{Xk}k＝1,…,N来表示由N个通道组成多光谱图像，这些通道由下标k＝1,…,N索引；Xk表示X的第k个通道。一个全色图像是一个二维矩阵，将表示为Y。成分置换融合方法的典型公式如下：其中k表示第k个谱带，增益的矢量表示为g＝[g1,…,gk,…,gN]，IL定义为其中权向量w＝[w1,…,wi,…,wN]是前向变换矩阵的第一行，可以测量多光谱图像通道和全色图像间的光谱重叠度。多分辨率分析融合方法的典型公式如下：步骤2、针对大尺度图像，采用基于旋转区域的卷积神经网络，在DOTA数据集上训练目标检测网络。该框架基于FasterR-CNN的结构，用于检测任意方向的目标，使用区域建议网络生成包围不同方向目标的轴对齐边界框。然后，针对区域建议网络提出的每个轴对齐目标框，使用不同大小的池化层提取它的特征，并连接特征，这些获得的特征同时被用于目标/非目标预测得分，轴对齐框和倾斜最小区域框。最后，使用一个倾斜的非极大值抑制来获得检测结果。该方法的核心是预测区域建议网络生成的每个候选框的文本分数，轴对齐框和倾斜最小区域框。为充分利用目标特征，针对每个区域建议网络候选框使用不同大小的池化层(7×7,11×3,3×11)做了多个感兴趣区域池化操作。连接各自池化后的特征用于进一步的检测，该方法对FasterR-CNN的修改还包括添加一个较小的锚来检测小的目标，并使用倾斜的非极大值抑制来对检测候选框进行后处理以获得最终结果，因此可用来检测大尺度星载图像中的小目标。步骤3、根据步骤2得到的目标检测模型，将其用在步骤1中的全色图像、多光谱图像以及采用全色锐化方法融合后的星载图像上进行目标检测，验证所提出的融合检测方法的有效性及目标检测框架的泛化能力。步骤1进一步包括以下步骤：成分置换融合方法的流程为：首先，为了匹配全色图像的尺度，对多光谱图像进行插值；然后，使用公式(2)计算强度分量，并匹配全色图像的直方图和强度分量；最后，通过公式(1)计算获得。成分置换方法包括许多全色锐化本文档来自技高网...

【技术保护点】
1.一种基于旋转区域卷积神经网络的星载目标融合检测方法，其特征在于，包括以下步骤：/n步骤1、采用全色锐化方法融合同时同地获得的全色图像和多光谱图像；/n步骤2、针对大尺度图像，采用基于旋转区域的卷积神经网络，在DOTA数据集上训练目标检测网络；目标检测框架基于Faster R-CNN的结构，用于检测任意方向的目标，使用区域建议网络生成包围不同方向目标的轴对齐框；然后，针对所述区域建议网络提出的每个所述轴对齐框，使用不同大小的池化层提取它的特征，并连接特征，这些获得的特征同时被用于目标或非目标预测得分，所述轴对齐框和倾斜最小区域框；最后，使用一个倾斜的非极大值抑制来获得检测结果；/n步骤3、根据所述步骤2得到的目标检测模型，在所述全色图像、所述多光谱图像以及采用所述全色锐化方法融合后的星载图像上进行目标检测。/n

【技术特征摘要】
1.一种基于旋转区域卷积神经网络的星载目标融合检测方法，其特征在于，包括以下步骤：
步骤1、采用全色锐化方法融合同时同地获得的全色图像和多光谱图像；
步骤2、针对大尺度图像，采用基于旋转区域的卷积神经网络，在DOTA数据集上训练目标检测网络；目标检测框架基于FasterR-CNN的结构，用于检测任意方向的目标，使用区域建议网络生成包围不同方向目标的轴对齐框；然后，针对所述区域建议网络提出的每个所述轴对齐框，使用不同大小的池化层提取它的特征，并连接特征，这些获得的特征同时被用于目标或非目标预测得分，所述轴对齐框和倾斜最小区域框；最后，使用一个倾斜的非极大值抑制来获得检测结果；
步骤3、根据所述步骤2得到的目标检测模型，在所述全色图像、所述多光谱图像以及采用所述全色锐化方法融合后的星载图像上进行目标检测。


2.如权利要求1所述的基于旋转区域卷积神经网络的星载目标融合检测方法，其特征在于，所述全色锐化方法包括成分置换方法和多分辨率分析方法。


3.如权利要求2所述的基于旋转区域卷积神经网络的星载目标融合检测方法，其特征在于，所述成分置换方法包括主成分分析法、施密特正交化、波段相关空间细节算法、部分置换自适应方法。


4.如权利要求2所述的基于旋转区域卷...

【专利技术属性】
技术研发人员：敬忠良，押莹，潘汉，李旻哲，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31