基于深度孪生残差网络的光学遥感场景分类方法及装置制造方法及图纸

本发明专利技术公开了一种基于深度孪生残差网络的光学遥感图像分类方法，属于图像处理技术领域。在训练阶段，首先通过两个完全相同的深度残差网络，对输入的遥感图像对进行特征提取，分别得到它们的特征表示，然后结合这两个特征表示计算其在特征空间的欧氏距离，以判断输入图像对的相似程度。在测试阶段，使用训练好的任一个深度残差网络对输入图像进行场景分类。本发明专利技术可对大规模的高分辨遥感图像进行场景分类，可在自然灾害监测与评估，城市规划，环境监测等领域发挥重要作用。

【技术实现步骤摘要】
基于深度孪生残差网络的光学遥感场景分类方法及装置
本专利技术属于图像处理
，更进一步涉及遥感图像处理
中的一种基于深度孪生残差网络的光学遥感图像场景分类方法。
技术介绍
随着深度学习的发展和延伸，深度学习网络在各大领域都取得了一定进展，遥感领域也不例外。而近些年航空和航天遥感技术的快速发展更是如虎添翼。遥感图像分类作为遥感领域的一项重大应用，受到了相关专业人士的重视，越来越多的精力投入其中。遥感图像分类的方法主要分为两类，一类是采用非深度学习的分类方法，另一类是结合了深度学习的分类方法。传统的图像非深度学习分类方法的基本流程包括：图像预处理、底层特征提取、特征编码、特征汇聚和使用分类器分类四个部分。但是，这种方法对人工提取特征的依赖性较高。人工提取特征既耗时，又需要相关的专业知识。在大数据时代，想要高效且精准地完成图像分类，仅靠人工提取特征是做不到的。此时深度学习网络便大有用武之地。其基本思想就是通过有监督或无监督的方式学习层次化的特征表达，完成对图像从底层到高层的特征描述。深度学习网络，通过逐层训练的方式自主提取图像特征，能够学习到强大的特征表达。因此，基于深度学习网络的分类方法在进行遥感图像场景分类时能够达到较好的效果。现有的深度学习网络主要建立在卷积神经网络的基础上，得到广泛应用的有AlexNet、VGGNet以及深度残差网络。遥感图像数据集相比于普通图像数据集存在以下问题：(1)数据规模小：现有遥感数据集中场景类别较少，并且每个类别包含的图片数量也较少；(2)数据缺乏多样性：由于数据整体规模较小，数据集所提供的图像信息自然不够丰富。遥感数据集存在的问题极大地限制了深度学习网络在场景分类应用中的发展。数据规模有限，导致这些网络学习的特征表达不具有鲁棒性，并且网络容易产生过拟合的情况。
技术实现思路
本专利技术的目的在于克服上述现有技术的不足，提出了一种基于深度孪生残差网络的光学遥感图像场景分类方法。本专利技术与现有技术中其他深度网络相比，有助于提升遥感图像场景分类的精度。除此之外，这种基于深度孪生残差网络的分类方法采用了双通道的结构，遥感图像成对输入。图像对包括来自相同类别的图像和不同类别的图像，这样的输入可以大幅度增加数据样本，使深度残差网络学习到多样化且具判别力的特征，从而有效缓解遥感数据集类别少且缺乏多样性问题给带来的影响。为了实现上述技术目的，本专利技术采用如下技术方案：一种基于深度孪生残差网络的光学遥感图像分类方法，在训练阶段，首先通过两个完全相同的深度残差网络，对输入的遥感图像对进行特征提取，分别得到它们的特征表示，然后结合这两个特征表示计算其在特征空间的欧氏距离，以判断输入图像对的相似程度；在测试阶段，使用训练好的任一个深度残差网络对输入图像进行场景分类，具体包括以下步骤：S1构建深度孪生残差网络；S1.1、构造第一深度残差网络，采用迁移学习策略，导入采用ImageNet数据集训练好的网络参数，将其作为第一深度残差网络的训练参数；S1.2、通过复制第一深度残差网络的结构和参数得到第二深度残差网络；S1.3、计算两个深度残差网络输出的特征向量差值的平方，利用卷积层和softmax分类器进行二分类，以此判断孪生网络输入是否为同一类别的图像；S1.4、计算两个深度残差网络输出特征向量的欧式距离，对于同类别图像采用其特征之间的欧式距离作为网络的正则损失；S2构造训练数据集并进行深度孪生残差网络训练；S2.1、利用已构造好的训练数据集采用批量梯度下降算法对深度孪生残差网络进行参数训练；S2.2、将训练好的任意一个深度残差网络取出作为遥感图像分类网络；S3构建测试样本；S4测试样本分类：将测试样本送入训练好的单个深度残差网络中进行分类，并且在网络输出层得到分类结果；S5输出分类结果。步骤S1.1具体如下：S1.1.1、去除现有的深度残差网络最后的全连接层和概率层，形成第一深度残差网络，输出输入图像的特征向量f1；S1.1.2、对第一深度残差网络添加卷积层和全连接softmax分类器，设置卷积层的特征映射图数为遥感数据集场场景类别数n,卷积层将f1映射成为n维向量，由全连接分类器输出最终类别预测；S1.1.3、对于第一深度残差网络的输入和输出,定义损失函数：loss＝∑x-inputlog(output))其中，x表示输入的图片，input表示网络的输入，output表示网络的输出。所述步骤S1.3具体步骤如下：S1.3.1、设置平方层，将两个深度残差网络输出的特征向量f1、f2取差值平方，得到fs＝(f1-f2)2；S1.3.2、设置特征映射图数为2的卷积层，将fs映射成为2维向量；S1.3.3、全连接softmax分类器对步骤S1.3.2的输出产生最终预测，即输入图像对是否来自同一类别；S1.3.4、对于相同类别或不同类别的输入图像对q,定义损失函数：其中，i表示2维向量的第i维，q为输入图像对，s为深度残差网络作出的是否属于同一类的预测标签；S1.3.5、对于输入图像对(xi,xj)，计算两个深度残差网络输出的特征向量f1、f2的欧式距离定义相同类别图像对的正则损失函数：所述步骤S2.1具体步骤如下：S2.1.1、如何构建训练集：打乱训练数据集中图像的顺序，产生训练数据对，控制不同类别的图像对与相同类别的图像对之间的比例由1:1逐渐增加到4:1；S2.1.2、采用批量下降法对步骤S1.1.3、步骤S1.3.4、步骤S1.3.5的3个损失函数进行最优化；步骤S2.2具体如下:S2.2.1、将3个损失函数训练到最优即最小化损失函数；S2.2.2、取出训练好的深度残差网络作为下一步的分类网络。本专利技术进一步公开了一种深度孪生残差网络的光学遥感图像分类装置，所述装置包括：网络构造模块，用于构建深度孪生残差网络；网络训练模块，利用已构造好的训练数据集采用批量梯度下降算法对构建好的深度孪生残差网络进行参数训练；并将训练好的任意一个深度残差网络取出作为遥感图像分类网络；测试样本构造模块，用于构建测试样本；测试样本分类模块，用于对构建好的测试样本进行分类，将测试样本送入训练好的单个深度残差网络中进行分类，并且在网络输出层得到分类结果；输出模块，用于输出分类结果。所述网络构造模块包括：深度残差网络构造模块，用于构造第一深度残差网络，采用迁移学习策略，导入采用ImageNet数据集训练好的网络参数，将其作为第一深度残差网络的训练参数；具体是：去除现有的深度残差网络最后的全连接层和概率层，形成第一深度残差网络，输出输入图像的特征向量f1；对第一深度残差网络添加卷积层和全连接softmax分类器，设置卷积层的特征映射图数为遥感数据集场场景类别数n,卷积层将f1映射成为n维向量，由全连接分类器输出最终类别预测；对于第一深度残差网络的输入和输出,定义损失函数：loss＝∑x-inputlog(output))其中，x表示输入的图片，input表示网络的输入，output表示网络的输出；复制模块，用于复制第一深度残差网络的结构和参数得到第二深度残差网络；第一计算模块、用于计算两个深度残差网络输出的特征向量差值的平方，利用卷积层和softmax分类器进行二分类，以此判断孪生网络输入是否为同一类别的图像；第二计算模块、本文档来自技高网...

【技术保护点】
1.一种基于深度孪生残差网络的光学遥感图像分类方法，其特征在于，在训练阶段，首先通过两个完全相同的深度残差网络，对输入的遥感图像对进行特征提取，分别得到它们的特征表示，然后结合这两个特征表示计算其在特征空间的欧氏距离，以判断输入图像对的相似程度；在测试阶段，使用训练好的任一个深度残差网络对输入图像进行场景分类，具体包括以下步骤：S1构建深度孪生残差网络；S1.1、构造第一深度残差网络，采用迁移学习策略，导入采用ImageNet数据集训练好的网络参数，将其作为第一深度残差网络的训练参数；S1.2、通过复制第一深度残差网络的结构和参数得到第二深度残差网络；S1.3、计算两个深度残差网络输出的特征向量差值的平方，利用卷积层和softmax分类器进行二分类，以此判断孪生网络输入是否为同一类别的图像；S1.4、计算两个深度残差网络输出特征向量的欧式距离，对于同类别图像采用其特征之间的欧式距离作为网络的正则损失；S2构造训练数据集并进行深度孪生残差网络训练；S2.1、利用已构造好的训练数据集采用批量梯度下降算法对深度孪生残差网络进行参数训练；S2.2、将训练好的任意一个深度残差网络取出作为遥感图像分类网络；S3构建测试样本；S4测试样本分类：将测试样本送入训练好的单个深度残差网络中进行分类，并且在网络输出层得到分类结果；S5输出分类结果。...

【技术特征摘要】
1.一种基于深度孪生残差网络的光学遥感图像分类方法，其特征在于，在训练阶段，首先通过两个完全相同的深度残差网络，对输入的遥感图像对进行特征提取，分别得到它们的特征表示，然后结合这两个特征表示计算其在特征空间的欧氏距离，以判断输入图像对的相似程度；在测试阶段，使用训练好的任一个深度残差网络对输入图像进行场景分类，具体包括以下步骤：S1构建深度孪生残差网络；S1.1、构造第一深度残差网络，采用迁移学习策略，导入采用ImageNet数据集训练好的网络参数，将其作为第一深度残差网络的训练参数；S1.2、通过复制第一深度残差网络的结构和参数得到第二深度残差网络；S1.3、计算两个深度残差网络输出的特征向量差值的平方，利用卷积层和softmax分类器进行二分类，以此判断孪生网络输入是否为同一类别的图像；S1.4、计算两个深度残差网络输出特征向量的欧式距离，对于同类别图像采用其特征之间的欧式距离作为网络的正则损失；S2构造训练数据集并进行深度孪生残差网络训练；S2.1、利用已构造好的训练数据集采用批量梯度下降算法对深度孪生残差网络进行参数训练；S2.2、将训练好的任意一个深度残差网络取出作为遥感图像分类网络；S3构建测试样本；S4测试样本分类：将测试样本送入训练好的单个深度残差网络中进行分类，并且在网络输出层得到分类结果；S5输出分类结果。2.根据权利要求1所述的基于深度孪生残差网络的光学遥感图像分类方法，其特征在于，步骤S1.1具体如下：S1.1.1、去除现有的深度残差网络最后的全连接层和概率层，形成第一深度残差网络，输出输入图像的特征向量f1；S1.1.2、对第一深度残差网络添加卷积层和全连接softmax分类器，设置卷积层的特征映射图数为遥感数据集场场景类别数n,卷积层将f1映射成为n维向量，由全连接分类器输出最终类别预测；S1.1.3、对于第一深度残差网络的输入和输出,定义损失函数：loss＝∑x-inputlog(output))其中，x表示输入的图片，input表示网络的输入，output表示网络的输出。3.根据权利要求1所述的基于深度孪生残差网络的光学遥感图像分类方法，其特征在于，所述步骤S1.3具体步骤如下：S1.3.1、设置平方层，将两个深度残差网络输出的特征向量f1、f2取差值平方，得到fs＝(f1-f2)2；S1.3.2、设置特征映射图数为2的卷积层，将fs映射成为2维向量输出；S1.3.3、全连接softmax分类器对输出的2维向量产生最终预测，即输入图像对是否来自同一类别；S1.3.4、对于相同类别或不同类别的输入图像对q,定义损失函数：其中，i表示2维向量的第i维，q为输入图像对，s为深度残差网络作出的是否属于同一类的预测标签；S1.3.5、对于输入图像对(xi,xj)，计算两个深度残差网络输出的特征向量f1、f2的欧式距离定义相同类别图像对的正则损失函数：4.根据权利要求1所述的基于深度孪生残差网络的光学遥感图像分类方法，其特征在于，所述步骤S2.1具体步骤如下：S2.1.1、如何构建训练集：打乱训练数据集中图像的顺序，产生训练数据对，控制不同类别的图像对与相同类...

【专利技术属性】
技术研发人员：周勇，刘栩宁，赵佳琦，姚睿，刘兵，夏士雄，郑沂，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：江苏,32