基于级联颜色及纹理特征注意力的遥感图像云检测方法技术

本发明专利技术提出了一种基于级联颜色及纹理特征注意力的遥感图像云检测方法。本发明专利技术的实现步骤为：生成训练集；构建遥感图像云检测网络；训练遥感图像云检测网络；检测含云的遥感图像。本发明专利技术利用颜色特征提取子网和纹理特征提取子网，克服了现有技术中提取的浅层特征缺少云与地物的差异，导致薄云特征难以提取的问题，使得本发明专利技术提升了非边界处薄云的检测准确率。本发明专利技术利用颜色特征注意力模块和纹理特征注意力模块，克服了现有技术中边界和薄云区域有较大的误检和漏检的问题，使得本发明专利技术提升了薄云的检测准确率，降低了漏检率和误检率，提高了云检测的整体准确率。高了云检测的整体准确率。高了云检测的整体准确率。

【技术实现步骤摘要】
基于级联颜色及纹理特征注意力的遥感图像云检测方法


[0001]本专利技术属于图像处理
，更进一步涉及图像检测
中的一种基于级联颜色及纹理特征注意力的遥感图像云检测方法。本专利技术可用于在遥感图像中分割及剔除含有云的图像部分。

技术介绍

[0002]遥感图像是指记录各种地物电磁波大小的胶片或照片。遥感图像已经被广泛应用于环境监测、气象预测、城市规划等各个领域。在遥感图像中，由于云层的遮挡导致地物信息的缺失这一问题尤为显著。根据国际卫星云气候计划ISCCP(International Satellite Cloud Climatology Project)的研究表明，全球超过一半的区域常常被云所覆盖。所以卫星获取的遥感图像中，由于云的遮挡，大部分波段并不能穿透云层，无法获取到云遮挡下的地物信息。由此影响到遥感图像在农业水文检测、城市规划等多方面的应用。
[0003]哈尔滨工业大学在其申请的专利文献“基于多尺度融合语义分割网络的遥感图像云检测方法”(申请号：201910436645.2，申请公布号：CN 110119728 A，公布日期：2019.8.13)中提出了一种基于多尺度融合语义分割网络的遥感图像云检测方法。该方法的主要步骤是：(1)从真实全色可见光遥感图像数据集中随机选取N张作为原始遥感图像，并做预处理；(2)将经预处理后的图像作为训练集输入语义分割网络进行训练，获得训练好的语义分割网络；(3)对待检测的遥感图像进行预处理，获得经预处理后的待检测图像；(4)将经预处理后的待检测图像输入到训练好的语义分割网络，获得语义分割网络输出的裁剪后图像；(5)将裁剪后图像经过softmax分类器，获得与裁剪后图像尺寸相同的二值图像，二值图像中灰度值不为0的像素点代表含云区域，灰度值为0的像素点代表非云区域，实现对待检测的遥感图像的云检测。但是，该方法仍然存在的不足之处是：该方法仅能检测厚云和边界处的薄云，由于多尺度融合语义分割网络仅使用卷积操作来提取特征，导致云和地物的先验信息的缺失，从而导致利用多尺度融合语义分割网络提取的浅层特征缺少云与地物的差异特征，对非边界处的薄云的检测准确率较低，检测结果中存在边界模糊的问题。
[0004]张永宏等人在其发表的论文“基于改进U
‑
Net网络的遥感图像云检测”(测绘通报，2020，03：17
‑
20公开日期2020.03.25)中提出了一种基于改进U
‑
Net网络的遥感图像云检测方法。该方法的步骤是：(1)采集来自FY
‑
4A卫星的遥感数据生成训练集；(2)对遥感图像进行几何校正，通过像素点赋值的方式将结果为云的像素赋值为1，其余像素赋值为0，生成二值化的云标签；(3)使用残差模块和密集链接模块构建改进U
‑
Net网络，并将训练集输入改进U
‑
Net网络中进行训练，得到训练好的改进U
‑
Net云检测网络；(4)将待检测图像输入训练好的改进U
‑
Net云检测网络中，输出云检测结果。该方法利用残差模块与编码器相结合便于信息的传播，同时提高了模型的泛化性能，将密集连接模块将上层特征与深层特征进行级联，以提取新的特征，提高特征信息的复用率。但是，该方法仍然存在的不足之处是：该方法仅能检测大片的厚云，由于弱特征在网络中的传递被密集连接模块抑制，薄云的特征传递被减弱，导致不能提取薄云的特征，对于云边界和薄云区域仍然会有较大的误检和漏检。

技术实现思路

[0005]本专利技术的目的在于针对上述现有技术的不足，提供一种基于级联颜色及纹理特征注意力的遥感图像云检测方法，用于解决现有云检测技术检测效果不佳，检测结果中云边界和薄云区域检测精度低，边界模糊的问题。
[0006]实现本专利技术目的的思路是：本专利技术分别构建颜色特征提取子网和纹理特征提取子网，由于云的暗通道先验特征与地物有明显的区别，在颜色特征提取子网中设计了暗通道先验层用于提取云的颜色特征，由于云与地物的纹理差异能很好区分云的边界，在纹理特征提取子网中提取云的纹理特征，提升了边界特征提取能力。本专利技术分别构建颜色特征注意力模块和纹理特征注意力模块，在颜色特征注意力模块和纹理特征注意力模块中设计了膨胀卷积层用于提取多尺度特征，使用池化层和卷积层提取注意力，增强了颜色和纹理特征，并通过将颜色特征注意力模块和纹理特征注意力模块级联，构建级联颜色和纹理特征注意力模块，使用级联结构实现了颜色和纹理特征的融合，使得遥感图像云检测能够聚焦薄云和边界特征，从而提升薄云和边界区域的检测精度，改善云检测结果中边界模糊的问题。
[0007]为实现上述目的，本专利技术的技术方案包括如下：
[0008](1)生成训练集：
[0009](1a)选取至少50+张含有云的遥感图像，其中每张遥感图像的尺寸为512
×
512，每张遥感图像中至少包含1个云区域；
[0010](1b)标注每张遥感图像中的云区域，并生成标注后每个遥感图像对应的标签文件；
[0011](1c)将所有遥感图像及其对应的标签文件组成训练集；
[0012](2)构建基于级联颜色及纹理特征注意力的遥感图像云检测网络：
[0013](2a)构建颜色特征注意力模块：
[0014]构建一个用于增强颜色特征的颜色特征注意力模块，其结构依次为：第1输入层，池化层组，第1通道拼接层，膨胀卷积层组，第2通道拼接层，第1卷积层，激活层，乘法层，第2卷积层，加法层，第3卷积层以及输出层；
[0015]其中，池化层组由并联的全局最大池化层和全局平均池化层组成，膨胀卷积层组由并联的第1膨胀卷积层、第2膨胀卷积层和第3膨胀卷积层组成，此外，乘法层还与第2输入层相连，加法层还与第2输入层相连；
[0016]设置颜色特征注意力模块各层参数如下：第1至3膨胀卷积层的膨胀率分别设置为1、3、5，3个膨胀卷积和第1至3卷积层的卷积核大小均设置为3
×
3，激活层使用Sigmoid函数；
[0017](2b)构建纹理特征注意力模块：
[0018]构建一个用于增强细节纹理特征的纹理特征注意力模块，其结构依次为：第1输入层，池化层组，第1通道拼接层，膨胀卷积层组，第2通道拼接层，第1卷积层，激活层，乘法层，第2卷积层，减法层，第3卷积层以及输出层；
[0019]其中，池化层组由并联的全局最大池化层和全局平均池化层组成，膨胀卷积层组由并联的第1膨胀卷积层、第2膨胀卷积层和第3膨胀卷积层组成，此外，乘法层还与第2输入层相连，减法层还与第2输入层相连；
[0020]设置纹理特征注意力模块各层参数如下：第1至3膨胀卷积层的膨胀率分别设置为1、3、5，第1至3膨胀卷积层和第1至3卷积层的卷积核大小均设置为3
×
3，激活层使用Sigmoid函数；
[0021](2c)构建颜色特征提取子网：
[0022]构建一个用于提取颜色特征的颜色特征提取子网，其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于级联颜色及纹理特征注意力的遥感图像云检测方法，其特征在于，构建并训练基于级联颜色及纹理特征注意力的遥感图像云检测网络；该检测方法的步骤包括如下：步骤1，生成训练集：(1a)选取至少50张含有云的遥感图像，其中每张遥感图像的尺寸为512
×
512，每张遥感图像中至少包含1个云区域；(1b)标注每张遥感图像中的云区域，并生成标注后每个遥感图像对应的标签文件；(1c)将所有遥感图像及其对应的标签文件组成训练集；步骤2，构建基于级联颜色及纹理特征注意力的遥感图像云检测网络：(2a)构建颜色特征注意力模块：构建一个用于增强颜色特征的颜色特征注意力模块，其结构依次为：第1输入层，池化层组，第1通道拼接层，膨胀卷积层组，第2通道拼接层，第1卷积层，激活层，乘法层，第2卷积层，加法层，第3卷积层以及输出层；其中，池化层组由并联的全局最大池化层和全局平均池化层组成，膨胀卷积层组由并联的第1膨胀卷积层、第2膨胀卷积层和第3膨胀卷积层组成，此外，乘法层还与第2输入层相连，加法层还与第2输入层相连；设置颜色特征注意力模块各层参数如下：第1至3膨胀卷积层的膨胀率分别设置为1、3、5，3个膨胀卷积和第1至3卷积层的卷积核大小均设置为3
×
3，激活层使用Sigmoid函数；(2b)构建分别构建：构建一个用于增强细节纹理特征的纹理特征注意力模块，其结构依次为：第1输入层，池化层组，第1通道拼接层，膨胀卷积层组，第2通道拼接层，第1卷积层，激活层，乘法层，第2卷积层，减法层，第3卷积层以及输出层；其中，池化层组由并联的全局最大池化层和全局平均池化层组成，膨胀卷积层组由并联的第1膨胀卷积层、第2膨胀卷积层和第3膨胀卷积层组成，此外，乘法层还与第2输入层相连，减法层还与第2输入层相连；设置纹理特征注意力模块各层参数如下：第1至3膨胀卷积层的膨胀率分别设置为1、3、5，第1至3膨胀卷积层和第1至3卷积层的卷积核大小均设置为3
×
3，激活层使用Sigmoid函数；(2c)构建颜色特征提取子网：构建一个用于提取颜色特征的颜色特征提取子网，其结构依次为：暗通道先验层，第1卷积层，第1下采样层，第2卷积层，第2下采样层，第3卷积层，第3下采样层；设置颜色特征提取子网各层参数如下：第1至3卷积层的卷积核大小均设置为3
×
3，通道数分别设置为2、4、8，第1至3下采样层的下采样核大小均设置为2
×
2；(2d)构建纹理特征提取子网：构建一个用于提取纹理特征的纹理特征提取子网，其结构依次为：NSCT层，第1卷积层，第1下采样层，第2卷积层，第2下采样层，第3卷积层，第3下采样层；设置纹理特征提取子网各层参数如下：将第1至3卷积层的卷积核大小均设置为3
×
3，通道数分别设置为2、4、8；将第1至3下采样层的下采样核大小均设置为2
×
2；(2e)构建编解码子网：
构建一个编解码子网，其结构依次为：输入层，第1尺度变换层，第2尺度变换层，第3尺度变换层，第4尺度变换层，第1卷积层，第1尺度恢复层，第2尺度恢复层，第3尺度恢复层，第4尺度恢复层，第2卷积层，输出层；其中，第1至4尺度变换层的结构均由第1卷积层、通道拼接层、第2...

【专利技术属性】
技术研发人员：张静，吴俊，王慧，王雨晨，李云松，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：