基于多尺度融合语义分割网络的遥感图像云检测方法技术

基于多尺度融合语义分割网络的遥感图像云检测方法，它属于遥感图像云检测技术领域。本发明专利技术解决了现有通过人工提取特征进行云检测的方法存在的云检测精度低的问题。本发明专利技术利用前三级子网络提取浅层特征，利用后两级子网络提取深层特征，再将提取的深层特征与浅层特征融合，这就充分利用了浅层特征包含的丰富细节信息以及深层特征包含的丰富语义信息，融合了二者的优势，使得对深层特征边界的分割更加精细，并通过优化深层特征和浅层特征的比例达到最好的云检测效果，本发明专利技术的云面积检测误差小于1％。本发明专利技术可以应用于遥感图像云检测技术领域。

Remote Sensing Image Cloud Detection Method Based on Multi-scale Fusion Semantic Segmentation Network

【技术实现步骤摘要】
基于多尺度融合语义分割网络的遥感图像云检测方法
本专利技术属于遥感图像云检测
，具体涉及一种遥感图像云检测方法。
技术介绍
遥感是获取地球资源和环境信息的重要手段，而云是影响卫星遥感图像质量的主要因素。一般情况下，地球表面50％的区域被云覆盖，云的存在给遥感图像处理带来极大不便。被云覆盖的遥感图像可用信息少，却占用系统大量的存储空间和传输带宽，进而降低卫星数据的利用率。目前除合成孔径雷达传感器能穿透云层获取地表信息外，其他传感器未能彻底解决遥感图像的云覆盖问题，并且目前大部分的影像数据还是由可见光波段的传感器获取。因此，对可见光遥感图像的高精度云检测成为提升遥感数据利用率的关键。云检测方法经历了从人工判断到计算机处理的阶段，早期的云检测和分类主要依靠观测人员的人工目测进行判断，对观测人员的主观经验依赖程度非常大，而且随着巨量增长的遥感资料，全部依靠人工判断已经不现实了，自动、快速、有效的云检测和分类已经成为各个卫星资料处理中心的重点研究方向。依靠计算机处理进行云检测的方法是在提取云图特征的基础上完成的，云图特征的提取不断挖掘更深层特征，提取方式也正在从人工提取向自动提取转变。云与地物最直观的区别在于灰度特征，云在图片中表现为偏白，直接依靠灰度阈值进行云检测的方法称为阈值法，阈值法计算简单，但是需要先验知识且受影响因素较多，检测精度较低。云的灰度特征不能代表云的所有特性，进而，后续的云检测方法继续挖掘云的其他特征，包括频率特征、纹理特征等。例如，有学者将图片等分为多个部分，然后提取每个部分的灰度、频率、纹理特征进行训练，最终通过支持向量机(SupportVectorMachine，SVM)进行分类。云的灰度、频率、纹理特征均属于人工提取的浅层特征，通过人工提取特征进行云检测的方法存在以下问题：(1)往往直接对整幅图片进行特征提取，由于云状的复杂性，导致对图片中含有少量云情况的漏检；(2)仅提取浅层特征不利于区分与云特征相似的地物，鲁棒性差；(3)只能大致判断云的位置，云量值提取精度低。由于人工提取特征进行云检测的方法存在上述诸多问题，因此，导致现有的通过人工提取特征进行云检测的方法的云检测精度较低。
技术实现思路
本专利技术的目的是为解决现有通过人工提取特征进行云检测的方法存在的云检测精度低的问题。本专利技术为解决上述技术问题采取的技术方案是：基于多尺度融合语义分割网络的遥感图像云检测方法，该方法包括以下步骤：步骤一、从真实全色可见光遥感图像数据集中随机选取出N0张作为原始遥感图像；对N0张原始遥感图像进行预处理，获得N0张预处理后的遥感图像；步骤二、将N0张预处理后的遥感图像作为训练集输入语义分割网络进行训练，训练过程中不断更新语义分割网络中卷积层的卷积核参数，直至达到设置的最大迭代次数时停止训练，获得训练好的语义分割网络；步骤三、对于待检测的遥感图像，采用步骤一的方法对待检测的遥感图像进行预处理，获得预处理后的待检测遥感图像；将预处理后的待检测遥感图像输入步骤二训练好的语义分割网络，获得语义分割网络输出的裁剪后图像；将裁剪后图像经过softmax分类器，获得与裁剪后图像尺寸相同的二值图像，二值图像中灰度值不为0的像素点代表含云区域，灰度值为0的像素点代表非云区域，实现对待检测的遥感图像的云检测。本专利技术的有益效果是：本专利技术提出了一种基于多尺度融合语义分割网络的遥感图像云检测方法，本专利技术利用前三级子网络提取浅层特征，利用后两级子网络提取深层特征，再将提取的深层特征与浅层特征融合，这就充分利用了浅层特征包含的丰富细节信息以及深层特征包含的丰富语义信息，融合了二者的优势，使得对深层特征边界的分割更加精细，并通过优化深层特征和浅层特征的比例达到最好的云检测效果，本专利技术提高了云检测精度，云面积检测误差小于1％。附图说明图1是本专利技术的基于多尺度融合语义分割网络的遥感图像云检测方法的流程图；图2是本专利技术的语义分割网络的网络结构示意图；图3是本专利技术对语义分割网络进行训练的流程图；图4是反卷积操作过程的示意图；图5是反卷积层的双线性核计算过程的示意图；图6是本专利技术选取的场景1的测试数据集原始图；图7是本专利技术选取的场景2的测试数据集原始图；图8是本专利技术选取的场景3的测试数据集原始图；图9是采用最大类间方差法对场景1的测试数据集原始图进行云检测的效果图；图10是采用最大类间方差法对场景2的测试数据集原始图进行云检测的效果图；图11是采用最大类间方差法对场景3的测试数据集原始图进行云检测的效果图；图12是采用多特征提取法对场景1的测试数据集原始图进行云检测的效果图；图13是采用多特征提取法对场景2的测试数据集原始图进行云检测的效果图；图14是采用多特征提取法对场景3的测试数据集原始图进行云检测的效果图；图15是场景1、场景2以及场景3的测试数据集原始图对应的标注图；图16是采用FCN方法对场景1、场景2以及场景3的测试数据集原始图进行云检测的效果图；图17是采用U-net方法对场景1、场景2以及场景3的测试数据集原始图进行云检测的效果图；图18是采用DeeplabV3+方法对场景1、场景2以及场景3的测试数据集原始图进行云检测的效果图；图19是采用本专利技术的WMSFNet方法对场景1、场景2以及场景3的测试数据集原始图进行云检测的效果图。具体实施方式具体实施方式一：如图1所示，本实施方式所述的基于多尺度融合语义分割网络的遥感图像云检测方法，该方法包括以下步骤：步骤一、从真实全色可见光遥感图像数据集中随机选取出N0张作为原始遥感图像；对N0张原始遥感图像进行预处理，获得N0张预处理后的遥感图像；步骤一所采用的数据集为：高分一号卫星拍摄的2米分辨率真实全色可见光遥感图像数据集；步骤二、将N0张预处理后的遥感图像作为训练集输入语义分割网络(weightedmulti-scalefusionnetwork，WMSFNet)进行训练，训练过程中不断更新语义分割网络中卷积层的卷积核参数，直至达到设置的最大迭代次数时停止训练，获得训练好的语义分割网络；多尺度融合语义分割网络是指：在语义分割网络的基础上增加了融合的层；步骤三、对于待检测的遥感图像，采用步骤一的方法对待检测的遥感图像进行预处理，获得预处理后的待检测遥感图像；将预处理后的待检测遥感图像输入步骤二训练好的语义分割网络，获得语义分割网络输出的裁剪后图像；将裁剪后图像经过softmax分类器，获得与裁剪后图像尺寸相同的二值图像，二值图像中灰度值不为0的像素点代表含云区域，灰度值为0的像素点代表非云区域，实现对待检测的遥感图像的云检测。本实施方式的WMSFNet云检测算法框架如图1所示，针对一幅输入图片，首先对图片进行预处理，即对图片中的各个像素点的灰度分别减去图片各通道的灰度均值，加快计算速度。利用卷积层提取图片深层特征，池化层进行特征降维，实现云与地物的区分。然后，利用反卷积层进行上采样，得到一幅与输入图片大小相同的二值图片。二值图像中灰度值为0的像素点代表图像中的非云区域，灰度值不为0的像素点代表图像中的含云区域，因此，只要统计二值图像中灰度值不为0的像素点个数占所有像素点的比例，则为原输入图像中云的比例。当云的比例大于设定的阈值，则说明该图像中大部分都是云，包含的有用信息很少本文档来自技高网...

【技术保护点】
1.基于多尺度融合语义分割网络的遥感图像云检测方法，其特征在于，该方法包括以下步骤：步骤一、从真实全色可见光遥感图像数据集中随机选取出N0张作为原始遥感图像；对N0张原始遥感图像进行预处理，获得N0张预处理后的遥感图像；步骤二、将N0张预处理后的遥感图像作为训练集输入语义分割网络进行训练，训练过程中不断更新语义分割网络中卷积层的卷积核参数，直至达到设置的最大迭代次数时停止训练，获得训练好的语义分割网络；步骤三、对于待检测的遥感图像，采用步骤一的方法对待检测的遥感图像进行预处理，获得预处理后的待检测遥感图像；将预处理后的待检测遥感图像输入步骤二训练好的语义分割网络，获得语义分割网络输出的裁剪后图像；将裁剪后图像经过softmax分类器，获得与裁剪后图像尺寸相同的二值图像，二值图像中灰度值不为0的像素点代表含云区域，灰度值为0的像素点代表非云区域，实现对待检测的遥感图像的云检测。

【技术特征摘要】
1.基于多尺度融合语义分割网络的遥感图像云检测方法，其特征在于，该方法包括以下步骤：步骤一、从真实全色可见光遥感图像数据集中随机选取出N0张作为原始遥感图像；对N0张原始遥感图像进行预处理，获得N0张预处理后的遥感图像；步骤二、将N0张预处理后的遥感图像作为训练集输入语义分割网络进行训练，训练过程中不断更新语义分割网络中卷积层的卷积核参数，直至达到设置的最大迭代次数时停止训练，获得训练好的语义分割网络；步骤三、对于待检测的遥感图像，采用步骤一的方法对待检测的遥感图像进行预处理，获得预处理后的待检测遥感图像；将预处理后的待检测遥感图像输入步骤二训练好的语义分割网络，获得语义分割网络输出的裁剪后图像；将裁剪后图像经过softmax分类器，获得与裁剪后图像尺寸相同的二值图像，二值图像中灰度值不为0的像素点代表含云区域，灰度值为0的像素点代表非云区域，实现对待检测的遥感图像的云检测。2.根据权利要求1所述的基于多尺度融合语义分割网络的遥感图像云检测方法，其特征在于，所述对N0张原始遥感图像进行预处理，获得N0张预处理后的遥感图像，其具体过程为：对于任意一张原始遥感图像，计算出该张原始遥感图像的各通道灰度的均值M，再分别利用该张原始遥感图像中各像素点的灰度减去均值M，获得该张原始遥感图像对应的预处理后遥感图像，即该张原始遥感图像对应的预处理后遥感图像中各像素点的灰度值为：O′(i,j)＝O(i,j)-M(1)其中：O(i,j)为该张原始遥感图像中像素点(i,j)处的灰度值，O′(i,j)为该张原始遥感图像对应的预处理后遥感图像中像素点(i,j)处的灰度值；同理，计算出N0张原始遥感图像中每张原始遥感图像对应的预处理后遥感图像，即获得N0张预处理后的遥感图像。3.根据权利要求2所述的基于多尺度融合语义分割网络的遥感图像云检测方法，其特征在于，所述步骤二的具体过程为：将N0张预处理后的遥感图像作为训练集输入语义分割网络，在开始训练之前，需要初始化语义分割网络的网络参数，网络参数初始化完成后再开始训练过程；所述语义分割网络包括15个卷积层、5个池化层、2个反卷积层和2个裁剪层，分别是：2个卷积核尺寸为3*3，卷积核个数为64的卷积层；1个卷积核尺寸为2*2，卷积核个数为64的池化层；2个卷积核尺寸为3*3，卷积核个数为128的卷积层；1个卷积核尺寸为2*2，卷积核个数为128的池化层；3个卷积核尺寸为3*3，卷积核个数为256的卷积层；1个卷积核尺寸为2*2，卷积核个数为256的池化层；3个卷积核尺寸为3*3，卷积核个数为512的卷积层；1个卷积核尺寸为2*2，卷积核个数为512的池化层；3个卷积核尺寸为3*3，卷积核个数为512的卷积层；1个卷积核尺寸为2*2，卷积核个数为512的池化层；1个卷积核尺寸为7*7，卷积核个数为4096的卷积层；1个卷积核尺寸为1*1，卷积核个数为4096的卷积层；1个卷积核尺寸为8*8，卷积核个数为2的反...

【专利技术属性】
技术研发人员：彭宇，郭玥，于希明，马宁，姚博文，刘大同，彭喜元，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江,23