本发明专利技术公开了一种基于多尺度和注意力机制的遥感影像降噪方法及系统，该方法包括：获取初始遥感影像并进行噪声添加得到噪声影像；构建遥感影像深度降噪模型，并利用初始遥感影像及其对应的噪声影像进行模型训练；模型为U型结构，其至少包括编码结构、解码结构以及跳跃连接结构，编码结构和解码结构中均设有基于多头自注意力模块的局部窗口增强模块，跳跃连接结构将编码结构中每一层局部窗口增强模块的输出连接到解码结构中对应一层的局部窗口增强模块；将待降噪的遥感影像输入训练后的遥感影像深度降噪模型，将输出结果与待降噪的遥感影像进行像素级别的相加，得到降噪后的遥感影像。本发明专利技术所述方法能够有效提高遥感影像的降噪效果。降噪效果。降噪效果。
【技术实现步骤摘要】
一种基于多尺度和注意力机制的遥感影像降噪方法及系统
[0001]本专利技术属于遥感影像
，具体涉及一种基于多尺度和注意力机制的遥感影像降噪方法及系统。
技术介绍
[0002]高质量(High quality,HQ)光学遥感影像具有高分辨率(High resolution,HR)、低噪声的特点，意味着影像在单位面积上存储的信息量是高质量的(无用信息尽可能少，有用信息尽可能多)，因此提升光学遥感影像质量的方法具有很高的研究价值与应用前景。如何经济、方便和高效地提升光学遥感影像质量成为遥感领域的一个重大挑战。
[0003]在遥感影像获取和传输的过程中，难免会遭受到很多条件的限制及多类因素干扰，如传感器固有的特性以及周围气候环境对传输设备的干扰，使图像边缘纹理等细节模糊，质量降低。为获得清晰的、高质量的遥感影像，必须进行降噪预处理。图像降噪技术本质上都是让图像在单位面积上可以存储更多的信息量，因此图像降噪技术不但能够改善图像的显示效果，还可以帮助图像的进一步分析和处理。进而图像降噪技术引来了众多学者的关注和研究。但传统滤波算法不能实时灵活处理，导致降噪处理效果通常不理想，无法适应工程实际应用，达不到遥感图像降噪的实时精确性需求。
[0004]近些年来，深度学习快速发展并在图像降噪任务中表现优异，越来越多的深度学习模型被用来解决自然图像降噪问题。与传统图像降噪方法相比，基于深度学习的算法能够处理更多数量的图像数据，具有更强大的特征提取和学习能力，能够更好的降噪。比较流行的深度学习算法大多是基于卷积神经网络模型(Convolutional Neural Networks,CNN)。2008年CNN首次用于降噪问题上，证明卷积神经网络可以通过学习端到端的非线性映射实现降噪。后来随着网络学习能力不断增强，算法性能随着层数的增加而大大提升。
[0005]CNN通过卷积滤波器检测得到一些由关键点、物体的边界等构成的视觉要素，当使用CNN检测到一些基本的视觉要素后，高层的视觉语义信息往往更关注这些要素之间如何关联在一起进而构成一个整体，以及整体之间的空间位置关系如何构成一个场景。但卷积神经网络模型对长依赖特征的捕获能力较弱，且靠近输出层的全连接结构过于冗余且低效，近两年兴起的Transformer结构有效的解决了这些问题。Transformer是一个用来弥补卷积神经网络缺点的新型结构，它能够直接获取全局的信息，不像CNN仅能获取局部信息，Transformer能够进行并行运算，要比传统方法快上很多倍。Transformer完全用注意力机制代替了原有的序列特征提取的算法，并没有用任何CNN或者循环神经网络的结构，这就好像人对可视化信息的响应度要好于文本，大脑处理图片的速度比处理文字快，这可以降低学习和记忆难度，兼顾了并行性和解释性，对长序列也不会损失过早时刻信息，此后为了不同任务发展了不同的特征提取算法。
[0006]针对这些情况，本申请提出了一种基于多尺度和注意力机制的遥感影像降噪方法，该方法利用U型网络结构，提取遥感影像的多尺度特征，再利用这些特征进行噪声影像的降噪任务。
技术实现思路
[0007]本专利技术的目的是针对遥感影像的传统滤波算法存在的至少部分技术问题，如不能实时灵活处理，导致降噪处理效果通常不理想，无法适应工程实际应用，达不到遥感图像降噪的实时精确性需求的问题，提供一种基于多尺度和注意力机制的遥感影像降噪方法，其利用深度学习的特点以及优势构建了基于多尺度和注意力机制的遥感影像深度降噪模型，能更好的进行潜在表示的学习和噪声图的重构。
[0008]一方面，本专利技术提供一种基于多尺度和注意力机制的遥感影像降噪方法，其包括以下步骤：
[0009]步骤1：获取初始遥感影像，并将其作为样本；
[0010]步骤2：对所述初始遥感影像进行预处理，所述预处理至少包括噪声添加，其中，在所述初始遥感影像上添加噪声后得到噪声影像；
[0011]步骤3：构建基于多尺度和注意力机制的遥感影像深度降噪模型，并利用所述初始遥感影像及其对应的噪声影像进行模型训练；
[0012]其中，所述遥感影像深度降噪模型为U型结构，其至少包括编码结构、解码结构以及跳跃连接结构，所述编码结构和所述解码结构中均设有基于多头自注意力模块的局部窗口增强模块，所述跳跃连接结构将所述编码结构中每一层局部窗口增强模块的输出连接到所述解码结构中对应一层的局部窗口增强模块；
[0013]步骤4：将待降噪的遥感影像输入训练后的所述遥感影像深度降噪模型，将输出结果与所述待降噪的遥感影像进行像素级别的相加，得到降噪后的遥感影像。
[0014]进一步可选地，第l层的所述局部窗口增强模块中基于窗口的所述多头自注意力模块的数据处理表示为：
[0015]X'
l
＝WMSA(LN(X
l
‑1))+X
l
‑1[0016]式中，X'
l
为多头自注意力模块的输出，WMSA为基于窗口的多头自注意力模块算法表达，LN表示层归一化，X
l
‑1表示第l
‑
1层的输出作为第l层的所述局部窗口增强模块的输入；
[0017]其中，针对任一层次，所述多头自注意力模块的数据处理过程为：
[0018]首先，将输入当前层次的二维特征图X∈R
C
×
H
×
W
裁剪成N个窗口大小为M
×
M的非重叠窗口，C、H、W是当前层次的二维特征图X的通道数、高度和宽度；
[0019]X＝{X1,x2,
…
,X
N
},N＝HW/M2[0020]其次，对每个窗口i进行扁平化和转置操作，得到特征R的定义为表示特征图；
[0021]然后将每个特征输入多个自注意力模块；
[0022]其中，若自注意力模块编号为k，自注意力模块的输入维度为d
k
＝C/k，计算非重叠窗口中的第k个自注意力模块可定义为：
[0023][0024][0025][0026]其中，SoftMax是归一化指数函数，B是相对位置偏移，Q、K、V表示Query，Key和Value的映射矩阵，T为矩阵转置符号，分别表示第k个自注意力模块的Query，Key和Value的映射矩阵，是第k个自注意力模块的输出；
[0027]所有自注意力模块{1,2,
…
,k}的输出连接后经过线性映射，再与输入特征X进行残差连接，获得最终结果X
′
。
[0028]进一步可选地，所述局部窗口增强模块由基于窗口的多头自注意力模块和局部增强前馈网络模块构成，所述多头自注意力模块的输出作为所述局部增强前馈网络模块的输入，所述局部增强前馈网络模块的数据处理表示为：
[0029]X
l
＝LeFF(LN(X'
l
))+X'
l
[0030]其中，LN表示层归一化，X...
【技术保护点】
【技术特征摘要】
1.一种基于多尺度和注意力机制的遥感影像降噪方法，其特征在于：包括以下步骤：步骤1：获取初始遥感影像，并将其作为样本；步骤2：对所述初始遥感影像进行预处理，所述预处理至少包括噪声添加，其中，在所述初始遥感影像上添加噪声后得到噪声影像；步骤3：构建基于多尺度和注意力机制的遥感影像深度降噪模型，并利用所述初始遥感影像及其对应的噪声影像进行模型训练；其中，所述遥感影像深度降噪模型为U型结构，其至少包括编码结构、解码结构以及跳跃连接结构，所述编码结构和所述解码结构中均设有基于多头自注意力模块的局部窗口增强模块，所述跳跃连接结构将所述编码结构中每一层局部窗口增强模块的输出连接到所述解码结构中对应一层的局部窗口增强模块；步骤4：将待降噪的遥感影像输入训练后的所述遥感影像深度降噪模型，将输出结果与所述待降噪的遥感影像进行像素级别的相加，得到降噪后的遥感影像。2.根据权利要求1所述的遥感影像降噪方法，其特征在于：第l层的所述局部窗口增强模块中基于窗口的所述多头自注意力模块的数据处理表示为：X
’
l
＝WMSA(LN(X
l
‑1))+X
l
‑1式中，X
’
l
为多头自注意力模块的输出，WMSA为基于窗口的多头自注意力模块算法表达，LN表示层归一化，X
l
‑1表示第l
‑
1层的输出作为第l层的所述局部窗口增强模块的输入；其中，针对任一层次，所述多头自注意力模块的数据处理过程为：首先，将输入当前层次的二维特征图X∈R
C
×
H
×
W
裁剪成N个窗口大小为M
×
M的非重叠窗口，C、H、W是当前层次的二维特征图X的通道数、高度和宽度，N、M为正整数；X＝{X1，X2，...，X
N
}，N＝HW/M2其次，对每个窗口i进行扁平化和转置操作，得到特征R表示特征图；然后将每个特征输入多个自注意力模块；其中，若自注意力模块编号为k，自注意力模块的输入维度为d
k
＝C/k，计算非重叠窗口中的第k个自注意力模块可定义为：中的第k个自注意力模块可定义为：中的第k个自注意力模块可定义为：其中，SoftMax是归一化指数函数，B是相对位置偏移，Q、K、V表示Query，Key和Value的映射矩阵，T为矩阵转置符号，分别表示第k个自注意力模块的Query，Key和Value的映射矩阵，是第k个自注意力模块的输出；所有自注意力模块{1，2，...，k}的输出连接后经过线性映射，再与输入特征X进行残差连接，获得最终结果X
′
。3.根据权利要求1所述的遥感影像降噪方法，其特征在于：所述局部窗口增强模块由基于窗口的多头自注意力模块和局部增强前馈网络模块构成，所述多头自注意力模块的输出作为所述局部增强前馈网络模块的输入，第l层对应的所述局部增强前馈网络模块的数据处理表示为：
X
l
＝LeFF(LN(X
’
【专利技术属性】
技术研发人员：王建新，马雷，成建宏，
申请(专利权)人：中南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。