基于空洞特征金字塔网络的光学遥感图像目标检测方法技术

本发明专利技术涉及一种基于空洞特征金字塔网络的光学遥感图像目标检测方法，其特征在于：所述方法的步骤为：S1、将所采用的光学遥感图像数据集划分成训练集和测试集；S2、对数据集中的光学遥感图像进行尺寸变换、标准化与归一化处理，并且进行训练集的数据增强；S3、利用空洞卷积构造空洞特征金字塔网络，并利用训练集中的图像进行网络模型的训练；S4、利用训练好的目标检测模型对遥感图像进行检测，并进行检测效果的分析与对比。本发明专利技术设计科学合理，通过构造新颖的空洞特征融合模块来提升光学遥感图像上多尺度目标的检测性能，并获得较好的泛化能力。

Target detection method of optical remote sensing image based on hole feature pyramid network

【技术实现步骤摘要】
基于空洞特征金字塔网络的光学遥感图像目标检测方法
本专利技术属于计算机视觉领域，涉及计算机视觉任务中的多尺度目标检测，尤其涉及一种基于空洞特征金字塔网络的光学遥感图像目标检测方法。
技术介绍
目标检测是计算机视觉识别任务中的基本问题之一，在多个领域有着广泛的应用。光学遥感图像中的目标检测在军事应用，城市规划和环境管理等方面具有广泛的应用前景。与自然图像上的目标检测不同，光学遥感图像上的目标比自然图像上的目标要小得多，而且目标的尺寸和方向具有多样性(比如操场，车，桥等)。此外，遥感图像中目标实例的视觉外观在很大程度上由于遮挡，阴影，照明，分辨率和视点变化而变化。因此，遥感图像上的目标检测比自然图像上的目标检测要困难得多。目前，光学遥感图像上面的目标检测算法主要分为两类：基于传统图像处理和机器学习算法的目标检测方法以及基于深度学习的目标检测算法。其中，基于传统图像处理和机器学习算法的目标检测方法中所用到的图像特征都是手工设计的，例如SIFT(ScaleInvariantFeatureTransform，尺度不变特征转换算法)，HOG(HistogramofOrientedGradient，方向梯度直方图)以及SURF(SpeededUpRobustFeatures，加速稳健特征)等等。通过手工设计的特征提取器对输入图像进行特征提取，然后根据这些特征对目标进行识别，并结合相应的策略对目标进行定位。在很长一段时间内，基于手工设计特征的目标检测算法在计算机视觉领域占据主导地位。但是，这种基于手工设计的特征对于目标的多样性没有很好的鲁棒性基于深度学习的目标检测算法，利用深度卷积神经网络从数据中自动学习特征表示，能够学习到具有很好的鲁棒性并且具有强大表达能力的特征表示。随着深度学习的迅速发展，目标检测算法也从基于手工特征的传统算法转向了基于深度卷积神经网络的目标检测算法。由于深度卷积神经网络的引入，目标检测任务在过去的几年中在速度和精度上都有很大的进步。目前，基于深度卷积神经网络的目标检测算法主要分为两类：两阶段方法和一阶段方法。其中，两阶段目标检测方法先在给定图像中提取候选区域，然后对每个提取到的候选区域进行分类和回归定位。一阶段方法提出了一个单一、整体的卷积神经网络，将目标检测问题重新构造成一个回归问题来直接预测目标的类别和位置。一般意义上，两阶段方法在准确度上有优势，而一阶段方法在速度上面有优势。但是随着目标检测算法的不断发展，这两类算法都在速度和精度上面进行平衡。目前，多尺度目标检测仍然是一个具有挑战性的问题。图像的目标检测任务是分类任务的延伸。深度卷积神经网络中的深层特征包含丰富的语义信息，有利于图像分类任务，但是缺少有利于小目标检测的细节信息。网络中的浅层特征具有较高的空间分辨率，有利于边界框回归，但是缺少有利于目标分类的高层语义信息。因此，为了解决目标检测任务中的目标尺度变化问题，许多基于卷积神经网络的目标检测算法逐渐将深层特征的语义信息融入到浅层特征中，并且提出了多种类型的特征金字塔结构。其中，图像金字塔将输入图像调整到不同大小的尺度，然后将不同尺度的图像输入到特征提取网络来生成不同尺度的特征图。这种方法会显著地增加内存和计算复杂度，效率比较低。FasterR-CNN[1]，YOLOv1[2]，R-FCN[3]等方法使用特征提取网络中最后一层卷积输出的特征图来进行目标检测。但是由于它仅采用单一尺度特征图进行预测，所以这种方法对于多尺度目标尤其是小目标来说检测性能较差。SSD[4]算法通过提取骨干网络的多层级特征来构成特征金字塔架构。这种方法虽然选取了网络中多层级具有不同尺度的特征进行预测，但是由于没有进行上下文语义信息的融合，所以对依赖于深层语义信息的小目标的检测效果较差。FPN[5]目标检测算法采用自上而下的路径与横向连接结构，将浅层特征和深层特征的语义信息进行融合，并利用不同层级的特征检测不同尺寸目标。然而，该结构浅层特征所具有的语义信息尚不能满足多尺度目标的检测需求。虽然，以上提到的目标检测算法已经在自然图像上达到了很好的效果，但是在光学遥感图像上的检测精度还有待提升，特别是对于光学遥感图像中的多尺度目标来说检测效果不理想。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于空洞特征金字塔网络的光学遥感图像目标检测方法，通过构造新颖的空洞特征融合模块来提升光学遥感图像上多尺度目标的检测性能，获得较好的泛化能力。本专利技术解决其技术问题是通过以下技术方案实现的：一种基于空洞特征金字塔网络的光学遥感图像目标检测方法，其特征在于：所述方法的步骤为：S1：将所采用的图像数据集划分成80％用于网络模型训练的训练集、20％用于模型测试的测试集，尽量保持训练集和测试集中不同类别样本的数据分布一致性；S2：对数据集中的光学遥感图像进行尺寸变换、标准化与归一化处理，并且进行训练集的数据增强；S201、在S1的基础上对数据集中的图像进行预处理，对所采用的数据集进行尺寸变换，将输入图像的最短和最长边分别设置为600和1000像素；S202、根据划分的训练集算出所选取数据集的RGB均值，并对训练集和测试集中所有样本执行减去RGB均值的操作，来凸显图像中个体之间的特征差异；S203、对数据集中的图像进行图像标准化和归一化处理：根据凸优化理论和数据概率分布相关知识，通过去均值操作对数据进行中心化处理，实现图像的标准化处理；通过将图像中每个像素值映射到0～1范围之内，实现图像的归一化处理；S204、采用简单的水平翻转和随机裁剪操作对数据进行增强，从而增加训练集的训练样本数量，保证目标检测模型的鲁棒性；S3：利用空洞卷积构造空洞特征金字塔网络，并利用训练集中的图像进行网络模型的训练；S301、构建空洞特征金字塔网络，选取ResNet-101作为目标检测网络的基础网络，该ResNet-101利用残差块进行具有不同尺度的特征图的提取，从ResNet-101基础网络中抽取后面四个卷积块的最后一个残差结构的输出作为基本特征，并将这些基本特征图表示为{C2，C3，C4，C5}；S302、在金字塔网络的空洞特征融合模块AFFM中，C2通过Conv1×1来将特征通道数减少到256维，{C3，C4，C5}分别通过上采样操作来将每个特征图双线性插值到C2特征图的大小，并通过Conv1×1操作将上采样后的特征图通道数降到256维，然后通过Concat操作将上面得到的特征图串联到一起，得到多层级融合特征，再应用Conv1×1来将多层级融合特征的特征维度降到256维；S303、构造空洞横向连接模块，采用Conv1×1，Conv3×3，Conv5×5这三种卷积操作使空洞横向连接模块三个分支具有不同大小的感受野，在这三个分支后面加上具有不同空洞率的Conv3×3操作，并将每个分支产生的特征图通过Concat操作拼接在一起，从而得到具有较强多尺度表达能力的横向连接特征图；S304、融合后的特征图经过多层下采样及空洞横向连接模块来自下而上地生成多本文档来自技高网...

【技术保护点】
1.一种基于空洞特征金字塔网络的光学遥感图像目标检测方法，其特征在于：所述方法的步骤为：/nS1：将所采用的图像数据集划分成80％用于网络模型训练的训练集、20％用于模型测试的测试集，尽量保持训练集和测试集中不同类别样本的数据分布一致性；/nS2：对数据集中的光学遥感图像进行尺寸变换、标准化与归一化处理，并且进行训练集的数据增强；/nS201、在S1的基础上对数据集中的图像进行预处理，对所采用的数据集进行尺寸变换，将输入图像的最短和最长边分别设置为600和1000像素；/nS202、根据划分的训练集算出所选取数据集的RGB均值，并对训练集和测试集中所有样本执行减去RGB均值的操作，来凸显图像中个体之间的特征差异；/nS203、对数据集中的图像进行图像标准化和归一化处理：根据凸优化理论和数据概率分布相关知识，通过去均值操作对数据进行中心化处理，实现图像的标准化处理；通过将图像中每个像素值映射到0～1范围之内，实现图像的归一化处理；/nS204、采用简单的水平翻转和随机裁剪操作对数据进行增强，从而增加训练集的训练样本数量，保证目标检测模型的鲁棒性；/nS3：利用空洞卷积构造空洞特征金字塔网络，并利用训练集中的图像进行网络模型的训练；/nS301、构建空洞特征金字塔网络，选取ResNet-101作为目标检测网络的基础网络，该ResNet-101利用残差块进行具有不同尺度的特征图的提取，从ResNet-101基础网络中抽取后面四个卷积块的最后一个残差结构的输出作为基本特征，并将这些基本特征图表示为{C2，C3，C4，C5}；/nS302、在金字塔网络的空洞特征融合模块AFFM中，C2通过Conv1×1来将特征通道数减少到256维，{C3，C4，C5}分别通过上采样操作来将每个特征图双线性插值到C2特征图的大小，并通过Conv1×1操作将上采样后的特征图通道数降到256维，然后通过Concat操作将上面得到的特征图串联到一起，得到多层级融合特征，再应用Conv1×1来将多层级融合特征的特征维度降到256维；/nS303、构造空洞横向连接模块，采用Conv1×1，Conv3×3，Conv5×5这三种卷积操作使空洞横向连接模块三个分支具有不同大小的感受野，在这三个分支后面加上具有不同空洞率的Conv3×3操作，并将每个分支产生的特征图通过Concat操作拼接在一起，从而得到具有较强多尺度表达能力的横向连接特征图；/nS304、融合后的特征图经过多层下采样及空洞横向连接模块来自下而上地生成多组具有不同尺度的特征图，并将这些特征图表示为{P2，P3，P4，P5}，分别对应于{C2，C3，C4，C5}，利用通道串联操作将多层级融合特征产生的特征与空洞横向连接模块产生的特征整合到一起，并通过Conv1×1操作得到{P2，P3，P4，P5}，这些特征图的计算函数为：/n...

【技术特征摘要】
1.一种基于空洞特征金字塔网络的光学遥感图像目标检测方法，其特征在于：所述方法的步骤为：
S1：将所采用的图像数据集划分成80％用于网络模型训练的训练集、20％用于模型测试的测试集，尽量保持训练集和测试集中不同类别样本的数据分布一致性；
S2：对数据集中的光学遥感图像进行尺寸变换、标准化与归一化处理，并且进行训练集的数据增强；
S201、在S1的基础上对数据集中的图像进行预处理，对所采用的数据集进行尺寸变换，将输入图像的最短和最长边分别设置为600和1000像素；
S202、根据划分的训练集算出所选取数据集的RGB均值，并对训练集和测试集中所有样本执行减去RGB均值的操作，来凸显图像中个体之间的特征差异；
S203、对数据集中的图像进行图像标准化和归一化处理：根据凸优化理论和数据概率分布相关知识，通过去均值操作对数据进行中心化处理，实现图像的标准化处理；通过将图像中每个像素值映射到0～1范围之内，实现图像的归一化处理；
S204、采用简单的水平翻转和随机裁剪操作对数据进行增强，从而增加训练集的训练样本数量，保证目标检测模型的鲁棒性；
S3：利用空洞卷积构造空洞特征金字塔网络，并利用训练集中的图像进行网络模型的训练；
S301、构建空洞特征金字塔网络，选取ResNet-101作为目标检测网络的基础网络，该ResNet-101利用残差块进行具有不同尺度的特征图的提取，从ResNet-101基础网络中抽取后面四个卷积块的最后一个残差结构的输出作为基本特征，并将这些基本特征图表示为{C2，C3，C4，C5}；
S302、在金字塔网络的空洞特征融合模块AFFM中，C2通过Conv1×1来将特征通道数减少到256维，{C3，C4，C5}分别通过上采样操作来将每个特征图双线性插值到C2特征图的大小，并通过Conv1×1操作将上采样后的特征图通道数降到256维，然后通过Concat操作将上面得到的特征图串联到一...

【专利技术属性】
技术研发人员：应翔，申继宁，高洁，刘志强，于健，李雪威，喻梅，于瑞国，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12