一种基于全卷积神经网络的大尺度遥感图像楼房分类方法技术

本发明专利技术公开了一种基于全卷积神经网络的大尺度遥感图像楼房分类方法。首先，通过在计算网络模型的每层池化层前，融合上一层池化前的特征改善池化造成的图像信息丢失问题；其次，考虑大尺度遥感图像楼房分类的不平衡问题，改进常规的交叉熵损失函数，提出基于FocalLoss损失函数的加权损失函数WFL(Weighted FocalLoss)。本发明专利技术公开的一种基于全卷积神经网络的大尺度遥感图像楼房分类方法能够高效准确的生成与原始图像具有同样尺寸大小的二值分类映射图，在大尺度遥感图像楼房分类领域具有重要的实际应用意义，可以为城镇规划、演变提供可靠的技术支持。

A Building Classification Method Based on Full Convolution Neural Network for Large Scale Remote Sensing Images

The invention discloses a building classification method of large-scale remote sensing image based on full convolution neural network. Firstly, the loss of image information caused by pooling is improved by fusing the features of the first layer before pooling. Secondly, considering the imbalance of building classification in large-scale remote sensing images, the conventional cross-entropy loss function is improved, and a weighted loss function WFL (Weighted FocalLoss) based on FocalLoss loss function is proposed. The method of Building Classification Based on full convolution neural network disclosed by the invention can efficiently and accurately generate binary classification maps with the same size as the original image. It has important practical application significance in the field of building classification of large-scale remote sensing image, and can provide reliable technical support for urban planning and evolution.

【技术实现步骤摘要】
一种基于全卷积神经网络的大尺度遥感图像楼房分类方法
本专利技术涉及图像处理和深度学习领域，尤其涉及一种基于全卷积神经网络的大尺度遥感图像楼房分类方法。
技术介绍
随着卫星遥感图像和航空遥感图片分辨率的不断提高，人们可以从遥感图像中获得更多的有用的数据和信息。伴随着“数字地球”概念的提出，越来越多的民用场合需要用到遥感图像，包括资源调查，自然灾害观测、大气气象预报等。由于不同场合遥感图像的应用对遥感图像处理提出了不同的要求，所以图像处理中重要的环节——图像分类也就显得尤为重要，经过多年的努力，形成了许多经典的分类方法和算法。近年来，深度学习在图像处理、自然语言理解和语音识别等领域取得了突破性进展，已经成为了人工智能的一个热潮。深度学习旨在建立一个模型来模拟人类大脑的神经连接结构，在处理图像、声音、文本等信号的时候，通过多个变换阶段分层对数据特征进行描述，从而给出数据的解释。在深度学习中，底层特征的不同组合能够形成更加抽象的高层特征、属性或者是其他分类，再进一步给出不同层的数据特征表示。将深度学习应用到遥感图像的房屋检测中，能够更好地处理大尺度遥感图像，并对遥感图像的丰富信息特征进行学习，从而使得楼房定位更加精确。将深度学习与遥感技术相结合，具有非常现实的意义，能够为地理信息系统等应用带来更好的应用体验。
技术实现思路
本专利技术实施例所要解决的技术问题在于，提供一种基于全卷积神经网络的大尺度遥感图像楼房分类方法。可高效准确的生成与原始图像具有同样尺寸大小的二值分类映射图。为了解决上述技术问题，本专利技术实施例提供了一种基于全卷积神经网络的大尺度遥感图像楼房分类方法，包括以下步骤：S1：将输入数据为图像和标签，将所述图像依次经过至少三个跳跃基本单元，S2：将上述输出结果交替输入三个融合层、两个上采样层得到预测映射；S3：将所述预测映射与所述标签计算基于FocalLoss损失函数的加权损失函数；S4：通过反向传播修正网络权重，迭代训练，直到训练结束；S5：输入数据为图像经过上述步骤依次处理，将原始图像切割成适用于网络的小图像块，将预测的小图像块映射拼接，得到原始大尺度遥感图像的楼房分布预测。进一步地，所述跳跃基本单元利用步长为2的多卷积核，将池化层前的输入数据进行空间上的降维以及深度上的升维，并将计算得到的特征与池化层和卷积层计算后的输出特征融合作为跳跃基本单元的输出。更进一步地，所述基于FocalLoss损失函数的加权损失函数公式为：其中，m为图像中背景的像素总数，n为图像中房屋的像素总数，且m+n＝M。γ≥0：当γ＝0时，加权损失函数退化为加权交叉熵损失；当γ>1时，加权损失函数能够降低正确分类的那些像素对损失的贡献。实施本专利技术实施例，具有如下有益效果：本专利技术能够高效准确的生成与原始图像具有同样尺寸大小的二值分类映射图，在大尺度遥感图像楼房分类领域具有重要的实际应用意义，可以为城镇规划、演变提供可靠的技术支持。附图说明图1为工作流程图；图2为跳跃融合基本单元；图3为原始图、标签和预测结果；图4为具体实例网络参数。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步地详细描述。本专利技术所要解决的技术问题是1)传统的全卷积神经网络(FCN)的池化层多采用最大池化的方法，在相邻四个像素点之间选择像素值最大的保留。最大池化虽然降低了输入特征的维度，但是造成了输入数据部分信息的丢失。本专利技术在原本的网络结构中引入跳跃融合基本操作单元，如图2。卷积层1利用步长为2，卷积核大小为3x3的2c个卷积核提取输入特征，将输入数据进行空间上的降维以及深度上的升维，其中c为输入数据通道长度，因为多卷积核计算是在池化层前计算并将信息跳跃传输到了下一个池化层前，所以保留了输入特征的信息。公式如下：fout＝σ(fin*w+b)其中，fin为输入数据，形状为(2m，2n，c)；w为(3，3，C)的卷积核权重，共有2C个不同的卷积核，以步长2提取输入数据的特征；b为偏置项；函数σ(·)为激活函数；fout为输出数据，形状为(m，n，2c)。池化层使用最大池化，降低空间维度，输出尺寸为(m，n，c)。之后将计算得到的特征输入卷积层2；卷积层2使用步长为1，卷积核大小为3x3的2c个卷积核提取输入特征，输入数据空间维度不变，通道升维，变为2c。最后，融合卷积层1和卷积层2的输出作为跳跃基本单元的输出。如图1，在引入跳跃传输后，融合层8、融合层10和融合层12使用的特征包含了输入图像所有的信息。2)对于大尺度遥感图像楼房分类，只有不到20％的部分为待检测的房屋，而其他绝大部分为背景。为了降低类不平衡问题给网络训练带来的训练困难，本专利技术提出一种基于FocalLoss损失函数的加权损失函数WFL(WeightedFocalLoss)用来训练优化网络模型的参数。对于大尺度楼房分类问题，可以简化看做每个像素的二值分类(楼房或者背景)。本专利技术提出的基于FocalLoss损失函数的加权损失函数WFL(WeightedFocalLoss)，公式可以表示如下：其中，m为图像中背景的像素总数，n为图像中房屋的像素总数，且m+n＝M，M为训练图像的总像素点个数；y∈{±1}是标签的取值，p∈[0,1]是网络模型预测图像的第i个像素点的概率。γ≥0：当γ＝0时，损失函数WFL退化为加权交叉熵损失；当γ>1时，相比较加权交叉熵损失函数，本专利技术提出的WFL损失函数能够降低正确分类的那些像素对损失的贡献。例如，γ＝2时，pi＝0.9的像素点对损失函数的贡献将降低100倍，而对于那些误分类的像素点(pi<0.5)，最多降低4倍。改进的WTF损失函数能够在一定程度上缓解类不平衡问题给网络带来的训练困难。3)WFL损失函数只在训练阶段优化网络模型参数时使用；在预测阶段，网络输入遥感图像，上采样层12的输出即为网络对该遥感图像中楼房的分类预测。3)图1中的卷积池化层由卷积运算和池化运算构成；卷积分类层中的分类使用Softmax函数将输出归一化到[0，1]；融合层使用c个1x1卷积核将两个输出压缩(c为分类的种类个数)；上采样层使用解卷积方式对输入进行空间维度的扩大。具体而言，结合图1，图4对于5000＊5000＊3的大尺度遥感图像，将图像切割成256＊256＊3的小块，将所有的小块的预测结果拼接成5000＊5000＊2的预测映射。1)训练阶段，①输入层输入的是图像和对应的标签，大小为n＊256＊256＊3，其中n为输入图像块的个数；②输入图像按照附图1所示流程处理，首先经过跳跃基本单元1和跳跃基本单元2得到非线性特征，跳跃基本单元1使用64个3x3的卷积核，跳跃基本单元2使用128个3x3的卷积核，并将计算结果输入到融合层12和跳跃基本单元3，对应的输入大小分别为n＊128＊128＊64和n＊64＊64＊128；跳跃基本单元3使用256个3x3的卷积核计算，其输出作为融合层10和跳跃基本单元4的输入，大小为n＊32＊32＊128；跳跃基本单元4使用512个3x3卷积核计算，其输出作为融合层8和卷积池化层5的输入，大小为n＊16＊16＊512；卷积池化层5使用4096个7x7的卷积核计算，其输出n＊8＊8＊40本文档来自技高网...

【技术保护点】
1.一种基于全卷积神经网络的大尺度遥感图像楼房分类方法，其特征在于，包括以下步骤：S1：将输入数据为图像和标签，将所述图像依次经过至少三个跳跃基本单元，S2：将上述输出结果交替输入三个融合层、两个上采样层得到预测映射；S3：将所述预测映射与所述标签计算基于FocalLoss损失函数的加权损失函数；S4：通过反向传播修正网络权重，迭代训练，直到训练结束；S5：输入数据为图像经过上述步骤依次处理，将原始图像切割成适用于网络的小图像块，将预测的小图像块映射拼接，得到原始大尺度遥感图像的楼房分布预测。

【技术特征摘要】
1.一种基于全卷积神经网络的大尺度遥感图像楼房分类方法，其特征在于，包括以下步骤：S1：将输入数据为图像和标签，将所述图像依次经过至少三个跳跃基本单元，S2：将上述输出结果交替输入三个融合层、两个上采样层得到预测映射；S3：将所述预测映射与所述标签计算基于FocalLoss损失函数的加权损失函数；S4：通过反向传播修正网络权重，迭代训练，直到训练结束；S5：输入数据为图像经过上述步骤依次处理，将原始图像切割成适用于网络的小图像块，将预测的小图像块映射拼接，得到原始大尺度遥感图像的楼房分布预测。2.根据权利要求1所述的基于全卷积神经网络的大尺度...

【专利技术属性】
技术研发人员：闫敬文，袁振国，陈宏达，彭鸿，
申请(专利权)人：汕头大学，
类型：发明
国别省市：广东,44