一种光学遥感图像变化检测方法、存储介质及计算设备技术

本发明专利技术公开了一种光学遥感图像变化检测方法、存储介质及计算设备，将光学遥感图像数据集生成训练集和测试集，并扩充数据集；构建两个网络结构相同、参数共享的编码器网络作为提取多级特征的孪生神经网络；计算多尺度差异特征并搭建解码器网络；搭建子网络；利用扩充后的数据训练网络；将测试图像输入网络，在解码器的一端得到网络输出预测结果，根据预测结果进行检测，对预测结果的所有元素设置阈值，将预测结果中的每个元素与阈值进行比较，若元素值大于阈值，则归为变化类，若元素值小于阈值，则归为不变化类。本发明专利技术实现在较少样本的情况下学习数据集特征，能够对同一区域不同时相的光学遥感图像中变化和未变化区域有较好的预测能力。

【技术实现步骤摘要】
一种光学遥感图像变化检测方法、存储介质及计算设备
本专利技术属于图像处理
，具体涉及一种基于TernausNet孪生神经网络的光学遥感图像变化检测方法、存储介质及计算设备，能够对多时相多分辨率的光学遥感图像检测变化，在城市规划和自然灾害评估等领域有重要的意义。
技术介绍
检测地球表面的变化对于监测环境和资源变得越来越重要。随着遥感技术的发展，地表信息可以通过遥感图像观测。因此，地球表面的变化可以通过使用图像变化检测技术识别。变化检测被定义为通过在不同时间观察它来识别物体或现象的变化的过程。它在许多现实世界的应用中发挥着关键作用，例如城市增长跟踪，土地利用监测和灾害评估。特别是灾难来袭时，当生命和财产受到威胁的时候，高效的变化检测任务显得至关重要。近些年，变化检测已经成为国内外遥感领域的研究重点。变化检测主要分成两种方向，第一种是无监督方法，第二种是有监督方法。无监督方法极大的依赖于图像的数据分布，若数据分布合适，无监督的方法可以获得较好的实验结果。然而对于光学遥感图像，不同季节下捕获的图像在某些区域存在明显的色彩差异，无监督的方法容易将这种实际上未变化的区域标记为变化。有监督的方法大多数情况下都能获得比无监督方法更好的结果。但是监督学习需要大量的标签样本用做模型训练，在标签质量差、数量不足的情况下很那获得出色的表现，另外模型也容易受到噪声的影响。
技术实现思路
本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于TernausNet孪生神经网络的光学遥感图像变化检测方法、存储介质及计算设备，提高对光学遥感图像的预测精度。本专利技术采用以下技术方案：一种光学遥感图像变化检测方法，包括以下步骤：S1、利用光学遥感图像数据集生成训练集和测试集，并扩充训练集和测试集；S2、构建两个网络结构相同、参数共享的编码器网络作为提取多级特征的孪生神经网络；S3、计算步骤S2孪生神经网络的多尺度差异特征，搭建解码器网络；S4、按照第一层卷积层→第二层卷积层→输出层的网络结构搭建子网络，将子网络和步骤S3的解码器网络并联连接在步骤S2的编码器网络后构成新孪生神经网络；S5、利用步骤S1扩充后的训练集训练步骤S4构成的新孪生神经网络，训练完成后解码器网络输出一个与输入图像相同尺寸的预测图；S6、将步骤S1扩充后的测试集输入步骤S5训练后的新孪生神经网络中，在解码器网络一端得到网络输出预测结果，根据预测结果进行检测，对预测结果的所有元素设置阈值τ，将预测结果中的每个元素与阈值τ进行比较，若元素值大于阈值τ，则归为变化类，若元素值小于阈值τ，则归为不变化类。具体的，步骤S1中，将同一区域不同时相采集到的图像对和对应标签裁剪成128×128的图像块，并将标签缩放成一个16×16的图像作为支路网络的标签，将标签中变化像素点数量大于图像块中像素点数量5％的图像块进行扩充。具体的，步骤S2中，编码器的网络结构为：结构1：卷积层1→批量归一化层→池化层；结构2：卷积层2→批量归一化层→池化层；结构3：卷积层3→批量归一化层→卷积层3s→批量归一化层→池化层；结构4：卷积层4→批量归一化层→卷积层4s→批量归一化层→池化层；结构5：卷积层5→批量归一化层→卷积层5s→批量归一化层。进一步的，结构1的卷积层含有64个卷积核，结构2的卷积层含有128个卷积核，结构3的两个卷积层都含有256个卷积核，结构4和结构5的卷积层都含有512个卷积核；卷积核的大小都是3×3，步进是1，填充为1，编码器中的卷积层是窗口大小为2×2的最大池化层，激活函数是relu函数。具体的，步骤S3中，孪生网络在编码器网络结构1到编码器网络结构5上输出的多尺度差异特征dif_fea_i具体为：dif_fea_i＝(feature1i-feature2i)2其中，i＝1,2,3,4,5，feature1i表示编码器1在结构i上输出的特征，feature2i表示编码器2在结构i上输出的特征。具体的，步骤S3中，搭建的解码器网络结构具体为：中心模块：卷积层→批量归一化层→反卷积层；反卷积模块1：卷积层→批量归一化层→反卷积层；反卷积模块2：卷积层→批量归一化层→反卷积层；反卷积模块3：卷积层→批量归一化层→反卷积层；反卷积模块4：卷积层→批量归一化层→反卷积层；反卷积模块5：卷积层→批量归一化层；输出模块：卷积层。具体的，步骤S4中，子网络中第一层卷积层含有64个卷积核，第二层卷积层含有1个卷积核，卷积层的步进为1，填充为1，子网络的参数随机初始化；将步骤S3计算到的差异特征输入搭建的子网络中，使得子网络的输出是对图像变化区域的预测。具体的，步骤S5中，孪生神经网络的子网络输出和解码器网络输出分别是在不同尺寸上对差异图像的预测结果，两个输出均使用交叉熵损失函数计算损失，孪生神经网络训练完成后解码器网络输出一个与输入图像相同尺寸的预测图，数值接近于1的像素点为变化像素点，数值接近于0的像素点为不变像素点。本专利技术的另一个技术方案是，一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行所述的方法中的任一方法。本专利技术的另一个技术方案是，一种计算设备，包括：一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行所述的方法中的任一方法的指令。与现有技术相比，本专利技术至少具有以下有益效果：本专利技术一种光学遥感图像变化检测方法，使用预训练的卷积层，在使用变化检测数据集训练网络之前就能提取部分特征，在一定程度上缓解了变化检测数据集较小带来的影响；由于卷积层预训练的模型使用的是其他数据集，提取的特征不能很好地反应光学遥感图像的特征，添加了分支网络帮助辅助训练，使得网络在训练过程中能快速收敛，并保证卷积层学习到的特征能够反映图像的变化信息。进一步的，步骤S1在扩充数据集时，选择将标签中变化像素点数量大于图像块中像素点数量5％的图像块使用传统的方法扩充。这种方式极大地保证了变化样本和未变化样本数量上的均衡，更有利于网络学习有效特征。进一步的，步骤S2中使用TernausNet网络的思想，使用vgg11的预训练好的卷积层作为编码器网络的卷积层，在使用变化检测数据集训练网络之前就能提取部分特征，在一定程度上缓解了变化检测数据集较小带来的影响。进一步的，对于同一区域不同时相的图像对，图像的结构信息相同或相似的区域通过步骤S2中的孪生网络提取出来的特征基本相同，做差之后的结果接近于0。图像的结构信息有较大差异的区域通过步骤S2中的孪生网络提取出来的特征也有较大的差异，数值接近于-1或1。综合上述因素，步骤S3使用两个编码器各层特征的差值并平方化表示差异特征，使得输入图像中结构本文档来自技高网...

【技术保护点】
1.一种光学遥感图像变化检测方法，其特征在于，包括以下步骤：/nS1、利用光学遥感图像数据集生成训练集和测试集，并扩充训练集和测试集；/nS2、构建两个网络结构相同、参数共享的编码器网络作为提取多级特征的孪生神经网络；/nS3、计算步骤S2孪生神经网络的多尺度差异特征，搭建解码器网络；/nS4、按照第一层卷积层→第二层卷积层→输出层的网络结构搭建子网络，将子网络和步骤S3的解码器网络并联连接在步骤S2的编码器网络后构成新孪生神经网络；/nS5、利用步骤S1扩充后的训练集训练步骤S4构成的新孪生神经网络，训练完成后解码器网络输出一个与输入图像相同尺寸的预测图；/nS6、将步骤S1扩充后的测试集输入步骤S5训练后的新孪生神经网络中，在解码器网络一端得到网络输出预测结果，根据预测结果进行检测，对预测结果的所有元素设置阈值τ，将预测结果中的每个元素与阈值τ进行比较，若元素值大于阈值τ，则归为变化类，若元素值小于阈值τ，则归为不变化类。/n

【技术特征摘要】
1.一种光学遥感图像变化检测方法，其特征在于，包括以下步骤：
S1、利用光学遥感图像数据集生成训练集和测试集，并扩充训练集和测试集；
S2、构建两个网络结构相同、参数共享的编码器网络作为提取多级特征的孪生神经网络；
S3、计算步骤S2孪生神经网络的多尺度差异特征，搭建解码器网络；
S4、按照第一层卷积层→第二层卷积层→输出层的网络结构搭建子网络，将子网络和步骤S3的解码器网络并联连接在步骤S2的编码器网络后构成新孪生神经网络；
S5、利用步骤S1扩充后的训练集训练步骤S4构成的新孪生神经网络，训练完成后解码器网络输出一个与输入图像相同尺寸的预测图；
S6、将步骤S1扩充后的测试集输入步骤S5训练后的新孪生神经网络中，在解码器网络一端得到网络输出预测结果，根据预测结果进行检测，对预测结果的所有元素设置阈值τ，将预测结果中的每个元素与阈值τ进行比较，若元素值大于阈值τ，则归为变化类，若元素值小于阈值τ，则归为不变化类。


2.根据权利要求1所述的方法，其特征在于，步骤S1中，将同一区域不同时相采集到的图像对和对应标签裁剪成128×128的图像块，并将标签缩放成一个16×16的图像作为支路网络的标签，将标签中变化像素点数量大于图像块中像素点数量5％的图像块进行扩充。


3.根据权利要求1所述的方法，其特征在于，步骤S2中，编码器的网络结构为：
结构1：卷积层1→批量归一化层→池化层；
结构2：卷积层2→批量归一化层→池化层；
结构3：卷积层3→批量归一化层→卷积层3s→批量归一化层→池化层；
结构4：卷积层4→批量归一化层→卷积层4s→批量归一化层→池化层；
结构5：卷积层5→批量归一化层→卷积层5s→批量归一化层。


4.根据权利要求3所述的方法，其特征在于，结构1的卷积层含有64个卷积核，结构2的卷积层含有128个卷积核，结构3的两个卷积层都含有256个卷积核，结构4和结构5的卷积层都含有512个卷积核；卷积核的大小都是3×3，步进是1，填充为1，编码器中的卷积层是窗口大小为2×2的最大池化层，激活函数是relu函数。

...

【专利技术属性】
技术研发人员：陈璞花，孙杰，焦李成，刘芳，张向荣，单鼎丞，古晶，刘红英，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61