一种基于协同注意力机制的多时相遥感图像云区重建方法技术

一种基于协同注意力机制的多时相遥感图像云区重建方法，涉及遥感图像处理技术领域，针对现有技术中图像修复法大多是基于背景信息进行像素预测生成，无法准确地还原地貌特征和地物信息的问题，本申请设计了一个具有门控卷积的协同注意层，能够提取和融合关键特征。门控卷积考虑了云和干净像素之间的差异。从而可以使得生成的无云图像分辨率更高，更加接近Ground Truth图像。此外，通过U型结构中的跳转连接和L1损失函数对模型进行优化，一方面跳转结构通过共享低级信息减少了模型的运算量，提升了模型训练的速度，另一方面由于L1损失可以更好地捕捉遥感图像中的低频信息，有助于提高云重建模型的准确度。云重建模型的准确度。云重建模型的准确度。

【技术实现步骤摘要】
一种基于协同注意力机制的多时相遥感图像云区重建方法


[0001]本专利技术涉及遥感图像处理
，具体为一种基于协同注意力机制的多时相遥感图像云区重建方法。

技术介绍

[0002]遥感技术作为一种空间探测技术，具有探测范围广、获取资料快和受地理条件限制少等优点，广泛应用于气象观测、资源考察和军事侦察等领域。但是遥感图像在获取中经常存在图像被云覆盖所导致的地物信息缺失问题。在利用航空遥感手段获取地球空间信息的过程中，云不可避免地影响了遥感设备的使用效率和成像质量，并且占用了系统的传输带宽和存储空间，严重浪费了信道和地面资源。因此，遥感图像中云的存在成为了光学遥感技术进一步发展的严重桎梏。
[0003]近年来，基于多时相的云区重建技术得到了迅速发展，但是目前存在的云区重建框架普遍效率较低，无法准确地重建像素点，导致生成的图像精度不够。因此，开展对遥感图像进行云检测以及云区重建技术的研究，不仅是对卫星遥感图像进行准确翻译的基础，也是增强卫星遥感数据可用性、有效性的一个重要途径，具有十分重要的实际意义。
[0004]针对遥感影像中云层覆盖导致地物信息缺失的问题，国内外的学者和研究人员提出了大量的关于云区重建的算法。基于图像修复法是最开始被提出的云区重建算法，也是目前应用最为广泛的方法。然而，图像修复法大多是基于背景信息进行像素预测生成，无法准确地还原地貌特征和地物信息，并且普遍存在着重建精度不够的问题。

技术实现思路

[0005]本专利技术的目的是：针对现有技术中图像修复法大多是基于背景信息进行像素预测生成，无法准确地还原地貌特征和地物信息的问题，提出一种基于协同注意力机制的多时相遥感图像云区重建方法。
[0006]本专利技术为了解决上述技术问题采取的技术方案是：
[0007]一种基于协同注意力机制的多时相遥感图像云区重建方法，包括以下步骤：
[0008]步骤一：获取多时相卫星图像数据，所述多时相卫星图像数据包括四张同一地点图，四张同一地点图中含有一张无云图像以及三张不同时刻的有云图像；
[0009]步骤二：将无云图像和有云图像进行配准，然后将配准后的每张图像分割成大小相同的图像块集合，分别将同一位置的三张有云图像及一张无云图像组成训练样本对；
[0010]步骤三：利用训练样本对训练多时相协同注意力网络，所述多时相协同注意力网络为U型结构，所述多时相协同注意力网络包括五个编码模块和四个解码模块，所述编码模块包括协同注意层和2
×
2MaxPool层，所述协同注意层包括门控卷积层和卷积层，所述解码模块包括反卷积层、连接层、卷积层和激活层，
[0011]所述多时相协同注意力网络具体执行如下步骤：
[0012]输入图像通过第一个编码模块中协同注意层编码后得到门控特征图和融合特征
图，所述门控特征图经过MaxPool层进行线性变换，得到长和宽缩小二分之一的特征图，并将长和宽缩小二分之一的特征图作为第二个编码模块的输入，所述融合特征图通过跳跃连接到第四个解码模块的连接层中，
[0013]第二个编码模块通过协同注意层将输入进行编码，得到门控特征图和融合特征图，所述门控特征图经过MaxPool层进行线性变换，得到长和宽缩小二分之一的特征图，并将长和宽缩小二分之一的特征图作为第三个编码模块的输入，所述融合特征图通过跳跃连接到第三个解码模块的连接层中，
[0014]第三个编码模块通过协同注意层将输入进行编码，得到门控特征图和融合特征图，所述门控特征图经过MaxPool层进行线性变换，得到长和宽缩小二分之一的特征图，并将长和宽缩小二分之一的特征图作为第四个编码模块的输入，所述融合特征图通过跳跃连接到第二个解码模块的连接层中
[0015]第四个编码模块通过协同注意层将输入进行编码，得到门控特征图和融合特征图，所述门控特征图经过MaxPool层进行线性变换，得到长和宽缩小二分之一的特征图，并将长和宽缩小二分之一的特征图作为第五个编码模块的输入，所述融合特征图通过跳跃连接到第一个解码模块的连接层中
[0016]第五个编码模块通过协同注意层将输入进行编码，得到门控特征图，所述门控特征图经过MaxPool层进行线性变换，得到长和宽缩小二分之一的特征图，并将长和宽缩小二分之一的特征图作为第一个解码模块的输入，
[0017]第一个解码模块的输入通过反卷积层将长和宽放大二倍后输入连接层，并与连接层中第四个编码模块的融合特征图连接得到解码特征图，解码特征图经过卷积层和激活层后作为下一个解码模块的输入，
[0018]第二个解码模块的输入通过反卷积层将长和宽放大二倍后输入连接层，并与连接层中第三个编码模块的融合特征图连接得到解码特征图，解码特征图经过卷积层和激活层后作为下一个解码模块的输入，
[0019]第三个解码模块的输入通过反卷积层将长和宽放大二倍后输入连接层，并与连接层中第二个编码模块的融合特征图连接得到解码特征图，解码特征图经过卷积层和激活层后作为下一个解码模块的输入，
[0020]第四个解码模块的输入通过反卷积层将长和宽放大二倍后输入连接层，并与连接层中第一个编码模块的融合特征图连接得到解码特征图，解码特征图经过卷积层和激活层后作为最终输出，即重建图像；
[0021]步骤四：利用训练好的多时相协同注意力网络得到重建图像，即去云图像。
[0022]进一步的，所述步骤一中获取多时相卫星图像的具体步骤为：
[0023]于Landsat8卫星在11个不同波段、多个重访周期采集到的图像中选取四张作为多时相云图像数据，所述多时相云图像数据中包含四张同一地点图，其中含有一张无云图像，以及三张不同时刻的有云图像，三张不同时刻的有云图像时间间隔在三个月以内，所述Landsat8卫星在多个重访周期采集到的图像的图像大小为7630
×
7750。
[0024]进一步的，所述步骤二中将配准后的每张图像分割成512*512大小的图像块集合。
[0025]进一步的，所述协同注意层具体执行如下步骤：
[0026]步骤1：首先将三张多时相图像通过1*1门控卷积层对图像有效特征进行提取，得
到三张多时相图像特征图，之后通过卷积层使得三张多时相图像特征图的通道数变为1，最后在通道数变为1的三张多时相图像特征图上对应像素点进行SoftMax操作，得到三张图像的融合特征权重；
[0027]步骤2：将三张多时相图片输入3*3门控卷积层，得到门控特征图；
[0028]步骤3：将步骤1中得到的融合特征权重，与步骤2中的门控特征图进行线性计算，得到融合特征图。
[0029]进一步的，所述融合特征权重表示为：
[0030][0031]其中其中表示第i个有云图在位置(x,y)的特征权重，x∈{1,
…
,H}，y∈{1,
…
,W}，H、W、D分别代表图像的高、宽和通道数，n表示多时相图像的个数，表示第i个有云图在位置(x,y)的门控卷积层输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于协同注意力机制的多时相遥感图像云区重建方法，其特征在于包括以下步骤：步骤一：获取多时相卫星图像数据，所述多时相卫星图像数据包括四张同一地点图，四张同一地点图中含有一张无云图像以及三张不同时刻的有云图像；步骤二：将无云图像和有云图像进行配准，然后将配准后的每张图像分割成大小相同的图像块集合，分别将同一位置的三张有云图像及一张无云图像组成训练样本对；步骤三：利用训练样本对训练多时相协同注意力网络，所述多时相协同注意力网络为U型结构，所述多时相协同注意力网络包括五个编码模块和四个解码模块，所述编码模块包括协同注意层和2
×
2MaxPool层，所述协同注意层包括门控卷积层和卷积层，所述解码模块包括反卷积层、连接层、卷积层和激活层，所述多时相协同注意力网络具体执行如下步骤：输入图像通过第一个编码模块中协同注意层编码后得到门控特征图和融合特征图，所述门控特征图经过MaxPool层进行线性变换，得到长和宽缩小二分之一的特征图，并将长和宽缩小二分之一的特征图作为第二个编码模块的输入，所述融合特征图通过跳跃连接到第四个解码模块的连接层中，第二个编码模块通过协同注意层将输入进行编码，得到门控特征图和融合特征图，所述门控特征图经过MaxPool层进行线性变换，得到长和宽缩小二分之一的特征图，并将长和宽缩小二分之一的特征图作为第三个编码模块的输入，所述融合特征图通过跳跃连接到第三个解码模块的连接层中，第三个编码模块通过协同注意层将输入进行编码，得到门控特征图和融合特征图，所述门控特征图经过MaxPool层进行线性变换，得到长和宽缩小二分之一的特征图，并将长和宽缩小二分之一的特征图作为第四个编码模块的输入，所述融合特征图通过跳跃连接到第二个解码模块的连接层中第四个编码模块通过协同注意层将输入进行编码，得到门控特征图和融合特征图，所述门控特征图经过MaxPool层进行线性变换，得到长和宽缩小二分之一的特征图，并将长和宽缩小二分之一的特征图作为第五个编码模块的输入，所述融合特征图通过跳跃连接到第一个解码模块的连接层中第五个编码模块通过协同注意层将输入进行编码，得到门控特征图，所述门控特征图经过MaxPool层进行线性变换，得到长和宽缩小二分之一的特征图，并将长和宽缩小二分之一的特征图作为第一个解码模块的输入，第一个解码模块的输入通过反卷积层将长和宽放大二倍后输入连接层，并与连接层中第四个编码模块的融合特征图连接得到解码特征图，解码特征图经过卷积层和激活层后作为下一个解码模块的输入，第二个解码模块的输入通过反卷积层将长和宽放大二倍后输入连接层，并与连接层中第三个编码模块的融合特征图连接得到解码特征图，解码特征图经过卷积层和激活层后作为下一个解码模块的输入，第三个解码模块的输入通过反卷积层将长和宽放大二倍后输入连接层，并与连接层中第二个编码模块的融合特征图连接得到解码特征图，解码特征图经过卷积层和激活层后作为下一个解码模块的输入，
第四个解码模块的输入通过反卷积层将长和宽放大二倍后输入连接层，并与连接层中第一个编码模块的融合特征图连接得到解码特征图，解码特征图经过卷积层和激活层后作为最终输出，即重建图像；步骤四：利用训练好的多时相协同注意力网络得到重建图像，即去...

【专利技术属性】
技术研发人员：张立国，田梓琳，龙云飞，印桂生，
申请(专利权)人：哈尔滨工程大学，
类型：发明
国别省市：