一种基于深度学习的遥感影像自动标注方法技术

本发明专利技术涉及一种基于深度学习的遥感影像自动标注方法，包括以下步骤：将从电子地图中获取的遥感影像进行配准，获取对应遥感影像中的建筑物和道路的矢量数据；将获取的矢量数据转化为栅格影像，用于模型训练的含有噪声的数据集；通过滑动窗口将原始数据集进行剪裁，利用剪裁得到的数据集对多任务深度学习模型(MDLF)进行训练，通过对该深度神经网络进行调整，得到最优的训练模型，得到训练好的多任务深度学习模型；将待测试的遥感影像输入至深度神经网络；通过深度神经网络对测试集进行遥感影像分类输出结果，从而得到待测遥感影像的目标识别结果；本发明专利技术不需要设置大量的网络训练参数，结构简单，训练速度快。

An automatic annotation method of remote sensing image based on deep learning

【技术实现步骤摘要】
一种基于深度学习的遥感影像自动标注方法
本专利技术属于遥感影像标记
，具体涉及一种基于深度学习的遥感影像自动标注方法。
技术介绍
近年来，在大数据和计算能力的支撑下，深度学习在众多领域均取得了突破性进展。在遥感影像解译领域，深度学习技术也受到了广泛关注和应用，国内外诸多研究者进行了有益的探索，表明了深度学习技术在遥感图像解译领域的应用潜力。从遥感影像中提取物体是一个非常受欢迎的主题，因为该技术具有广泛的应用，例如城市规划，土地利用分析，救灾和自动地图制作。卷积神经网络(CNNs)被认为是最成功的图像分类模型之一。然而，使用CNN方法的主要缺点是需要大量的标记数据用于训练。繁琐的标记过程阻碍了这些完全监督的方法在遥感影像分类中的应用。直到最近，也没有对遥感影像的大量标记和准确的训练数据被公开。为了克服这个限制，一些组织提出了使用构建神经网络训练数据集的方法，用于遥感影像分类。这种技术显著降低了标记的成本，由于OpenStreetMap和GoogleMaps等地图的使用，几乎可以无限数量的注释。但是，由于各种类型的噪声，这些数据集的标签极其不可靠，对CNN的分类准确性产生不利影响。处理噪声标签的一种非常常见的方法是使用噪声数据预先训练网络，然后使用准确的数据集对网络进行微调。然而，当准确标签的数量有限时难以获得良好的性能。噪声标签问题具有挑战性，因为该问题导致分类结果不准确。解决该问题的主要方法是提高模型对标签噪声存在的鲁棒性。目前，已经研究出了通过正则化的许多变异体用来增强CNN的稳健性。Azadi等人利用图像下的非线性流形结构，并为CNN提供了一种新颖的辅助图像正则化器(AIR)来处理标签噪声。在遥感领域，Saito等人使用不同类别的相关性来规范损失，并提出用于训练CNN的信道方式抑制softmax(CIS)损失。魏等人发现了基于道路结构的损失，以改善CNN的噪声稳健性。这些方法通过在损耗中添加额外结构信息来改善模型噪声稳健性。这些研究人员在马萨诸塞州的数据集上进行了实验，并取得了很好的成绩。然而，这些方法不能充分利用CNN获得的高级特征，因此，长时间的训练会导致性能下降。另一个突出的方法是明确建模标签噪声并减小神经网络训练中的负面影响。Mnih和Hinton以及Mnih将(未知)真实标签视为隐藏变量并构建了用于航空图像分类的噪声模型。这种方法可以增强CNN对抗噪声和配准噪声的鲁棒性。但是，这种方法只能解决二进制分类问题。在类似的情况下，Bekker和Goldberger定义了多标签分类问题的概率模型，而赵等人提出了一种概率转移CNN(PTCNN)来自动分类SAR图像。最近，Sukhbaatar、Sukhbaatar和Fergus等人提出了一种简单有效的噪声模型来处理神经网络背景下的噪声标签。这些研究人员在网络顶部添加了一个softmax层来估计标签切换的概率。已经应用类似的方法来提高逻辑回归对标记噪声的鲁棒性。虽然模拟标签噪声的方法表现出良好的性能，但这些方法认为标签噪声有条件地依赖于真实标签。大多数现有的噪声标签处理方法被设计用于一般计算机视觉应用，并不能直接扩展到遥感影像分类，因为遥感影像太复杂而不能精确分类。
技术实现思路
本专利技术的目的是克服现有技术的不足而提供一种实现高精度的语义标记的基于深度学习的遥感影像自动标注方法。本专利技术的技术方案如下：一种基于深度学习的遥感影像自动标注方法，其特征在于，包括以下步骤：S1、将从电子地图中获取的遥感影像进行配准，获取对应遥感影像中的建筑物和道路的矢量数据；S2、将步骤S1中获取的矢量数据转化为栅格影像，用于对含有噪声影像的数据集的训练；S3、通过大小为24*24的滑动窗口将大小为1500*1500的对S2中的含有噪声标签的影像数据集进行裁剪，所有的原始影像裁剪为92*92的影像样本，标签裁剪为24*24的标签样本；S4、利用S3步骤所得的数据集对多任务深度学习模型(MDLF)进行训练，通过对该深度神经网络进行调整，得到最优的训练模型，得到训练好的多任务深度学习模型(MDLF)；S5、将待测试的遥感影像输入至深度神经网络；S6、通过深度神经网络对测试集进行遥感影像分类输出结果，从而得到待测遥感影像的目标识别结果。进一步，所述数据集包括含有噪声标签的影像数据集和标签数据集，所述标签数据集包括道路标签、建筑物标签和背景标签，所述含有噪声标签的影像数据集和标签数据集的像素均为三通道，所述标签数据集中每个标签的每个像素对应特定的类别，具体的，标签数据集中对应目标像素的元素赋值为1，其余赋值为0；所述标签数据集的每个像素为一特征向量；所述的特征向量根据以下步骤确定各个遥感影像的特征向量：：首先，判断所述标签数据集中每个标签的每个像素的值，使得每个像素都属于一个类别；其次，根据遥感影像的类别，对每一个像素进行赋值，将对应维数的元素赋值为1，其余赋值为0，即得到该遥感影像的标签。进一步，在步骤S4中，多任务深度学习模型(MDLF)是包括噪声估计器和用于图像分类的特征提取器；所述特征提取器从输入图像中提取抽象和高级特征；所述噪声估计器对噪声空间中的结构进行建模，并根据所述高级特征来学习从真实标签到噪声标签的映射；对所述多任务深度学习模型(MDLF)进行训练的具体方式为，将数据集输入到模型的输入层，其中模型前一层输出作为后一层的输入，实现端到端的无监督学习，具体的，首先将遥感影像输入到多任务深度学习模型(MDLF)，从输入图像中提取抽象和高级的特征并进行图像的注释，最后通过对该深度神经网络进行调整，得到最优的训练模型。进一步，所述特征提取器包含五层，包括三个卷积层(C1，C2和C3)和两个最大池化层(P1和P2)，具体的，所述特征提取的公式描述为：y＝f(s；θ1)，其中，s表示模型的输入(即遥感影像)，θ1表示特征提取器的参数；图像分类器包含完整连接层(F1)，包括4,096个神经单元，以及softmax层(S1)，S1具有1,152/1,728个单元，分别用于两个分类和三个分类；其中图像分类器将输出特征作为该目标分类层的输入，同时将目标的类别数量作为目标分类层输出，在该目标分类层中，softmax层进行目标分类，其表达式为：其中，θ1标识分类器中的所有参数，Φj(y)是线性层第j个输出，Φa(y)是线性层第a个输出；所述图像分类器的输出p(m|y)，是一个K*w1维度向量，用于编码标签图像中每个像素的视觉呈现的可能性，其中K是标签类别的数量。进一步，所述噪声估计器包含三个完整的连接层(F2，F3和F4)，F2有2,034/5,184个神经单位，描述了从真实标签到噪声标签的转换概率，F3和F4分别具有4,096和1,152/1,728个神经元；噪声估计模型由噪声估计器转换的真正标签与噪声标签匹配，噪声估计顶部用于捕捉真实标签、高级特征和噪声标签之间的依赖关系；噪本文档来自技高网...

【技术保护点】
1.一种基于深度学习的遥感影像自动标注方法，其特征在于，包括以下步骤：/nS1、将从电子地图中获取的遥感影像进行配准，获取对应遥感影像中的建筑物和道路的矢量数据；/nS2、将步骤S1中获取的矢量数据转化为栅格影像，用于对含有噪声影像的数据集的训练；/nS3、通过大小为24*24的滑动窗口将大小为1500*1500的对S2中的含有噪声标签的影像数据集进行裁剪，所有的原始影像裁剪为92*92的影像样本，标签裁剪为24*24的标签样本；/nS4、利用经过步骤S3剪裁处理后得到的数据集对多任务深度学习模型(MDLF)进行训练，通过对该深度神经网络进行调整，得到最优的训练模型，得到训练好的多任务深度学习模型(MDLF)；/nS5、将待测试的遥感影像输入至深度神经网络；/nS6、通过深度神经网络对测试集进行遥感影像分类输出结果，从而得到待测遥感影像的目标识别结果。/n

【技术特征摘要】
1.一种基于深度学习的遥感影像自动标注方法，其特征在于，包括以下步骤：
S1、将从电子地图中获取的遥感影像进行配准，获取对应遥感影像中的建筑物和道路的矢量数据；
S2、将步骤S1中获取的矢量数据转化为栅格影像，用于对含有噪声影像的数据集的训练；
S3、通过大小为24*24的滑动窗口将大小为1500*1500的对S2中的含有噪声标签的影像数据集进行裁剪，所有的原始影像裁剪为92*92的影像样本，标签裁剪为24*24的标签样本；
S4、利用经过步骤S3剪裁处理后得到的数据集对多任务深度学习模型(MDLF)进行训练，通过对该深度神经网络进行调整，得到最优的训练模型，得到训练好的多任务深度学习模型(MDLF)；
S5、将待测试的遥感影像输入至深度神经网络；
S6、通过深度神经网络对测试集进行遥感影像分类输出结果，从而得到待测遥感影像的目标识别结果。


2.根据权利要求1所述的基于深度学习的遥感影像自动标注方法，其特征在于：所述数据集包括含有噪声标签的影像数据集和标签数据集，所述标签数据集包括道路标签、建筑物标签和背景标签，所述含有噪声标签的影像数据集和标签数据集的像素均为三通道，所述标签数据集的每个像素为一特征向量；所述的特征向量根据以下步骤确定各个遥感影像的特征向量：
首先，判断所述标签数据集中每个标签的每个像素的值，对每个像素值找到对应的类别进行分类；
其次，根据遥感影像的类别，对每一个像素进行赋值，将对应维数的元素赋值为1，其余赋值为0，即得到该遥感影像的标签。


3.根据权利要求求1所述的基于深度学习的遥感影像自动标注方法，其特征在于：
在步骤S4中，多任务深度学习模型(MDLF)是包括噪声估计器和用于图像分类的特征提取器；
所述特征提取器从输入图像中提取抽象和高级特征；
所述噪声估计器对噪声空间中的结构进行建模，并根据所述高级特征来学习从真实标签到噪声标签的映射；
对所述多任务深度学习模型(MDLF)进行训练的具体方式为，将数据集输入到模型的输入层，其中模型前一层输出作为后一层的输入，实现端到端的无监督学习，具体的，首先将遥感影像输入到多任务深度学习模型(MDLF)，从输入图像中提取抽象和高级的特征并进行图像的注释，最后通过对该深度神经网络进行调整，得到最优的训练模型。


4.根据权利要求3所述的基于深度学习的遥感影像自动标注方法，其特征在于：所述特征提取器包含五层，包括三个卷积层(C1，C2和C3)和两个最大池化层(P1和P2)，
具体的，所述特征提取的公式描述为：
y＝f(s；θ1)，
其中，s表示模型的输入(即遥感影像)，θ1表示特征提取器的参数；
图像分类器包含完整连接层(F1)，包括4,096个神经单元，以及softmax层(S1)，S1具有1,152/1,728个单元，分别用于两个分类和三个分类；
其中图像分类器将输出特征作为该目标分类层的输入，同时将目标的类别数量作为目标分类层输出，在该目标分类层中，softmax层进行目标分类，其表达式为：



其中，θ1标识分类器中的所有参数，Φj(y)是线性层第j个输出，Φa(y)是线性层第a个输出；
所述图像分类器的输出p(m|y)，是一个K*w...

【专利技术属性】
技术研发人员：赫晓慧，李盼乐，程淅杰，邱芳冰，李志强，乔梦佳，李代栋，
申请(专利权)人：郑州大学，
类型：发明
国别省市：河南;41