基于模糊核分类与注意力机制的遥感图像超分辨重建方法技术

本发明专利技术公开了一种基于模糊核分类与注意力机制的遥感图像超分辨重建方法，首先给定某一地区对应的高、低分辨率光学遥感图像并划分测试样本和训练样本，其次对数据中所有低分辨率图像进行模糊核估计，接着使用训练集所有样本的模糊核进行K均值聚类，再利用聚类的模型对测试集高、低分辨率图像对进行分类，然后构建基于注意力机制的神经网络模型，并设定高、低分辨率图像的绝对值误差作为损失函数，根据测试集重建结果得到最优模型，最后根据该模型对输入图像进行重建，输出最终的结果图。本发明专利技术能够提升重建图像的峰值信噪比，鲁棒性强，且图像边缘细节清晰度有改善。

Super resolution reconstruction of remote sensing image based on fuzzy kernel classification and attention mechanism

【技术实现步骤摘要】
基于模糊核分类与注意力机制的遥感图像超分辨重建方法
本专利技术属于图像处理
，具体涉及一种基于模糊核分类与注意力机制的遥感图像超分辨重建方法，能够获取一幅光学遥感场景下的高分辨率图像。
技术介绍
图像的超分辨率重建方法，旨在通过对单幅或者一系列输入图像进行处理，通过硬件或软件的方法得到输入低分辨率图像的高分辨率重建结果图。目前通过软件方法对输入低分辨率图像进行重建的方法大致可以分为三类，第一类是基于插值的图像重建方法，例如：最近邻插值、双线性插值、双三次插值法等；第二类是基于图像重建的方法，例如：迭代反投影、最大后验概率、凸集投影法等；以上两类方法不能较好地处理输入图像的样本集较大的情况。目前，较多使用的是第三类的基于学习的图像重建方法，例如高斯过程回归、基于邻域嵌入、字典学习、深度学习等，这类方法利用已有的高、低分辨率图像样本对，进行高低分辨率图像间的学习映射，能够取得较好的结果，但图像的超分辨率重建结果仍有待进一步提升。图像的模糊核估计是一类利用输入图像的结构信息估计出图像退化过程中的模糊过程的方法，例如有的方法通过利用输入图像中各图像块不同尺度的自相似性，寻找最小均方差的图像块对，利用最大后验概率迭代估计出最终的模糊核，估计出的模糊核可作为图像的先验信息，用于重构出单幅高分辨率图像。由于每幅图像的结构信息与经历的退化过程不同，因此对于不同的输入图像通常估计出的模糊核也不相同，该类方法通常适用于单样本的图像超分辨率重建。在遥感场景中，由于各图像的降质过程通常不同，虽然样本较多，但得到的模糊核仍可作为图像重建过程中的先验信息。基于注意力机制的深度学习的图像重建方法是目前该领域研究的热点，与一般的深度神经网络模型相比，注意力机制中的全局平均池化能够很好的帮助神经网络关注图像的某些特征信息，而减少对其他信息的过多关注。例如，现有的基于通道注意力机制的深度神经网络模型已应用于图像超分辨率重建任务，该方法能够充分利用卷积网络与残差结构的特性，并采用通道注意力机制模型，较为有效地提取图像中的高频特征，并将该特征应用于重建结果中。但是，该方法主要应用在自然场景的图像中，在遥感图像的超分辨率重建过程中仍然存在有一定的不足之处：首先，该方法用于超分辨率重建问题中，虽然引入了通道注意力机制，但是没有考虑到图像的空间位置特征，而不同大小的空间位置特征能够对图像的超分辨率重建结果起到关键的估计作用，其次，该方法在利用通道注意力机制时，主要考虑自然场景中的图像，而在遥感场景中由于传感器的参数、系统成像角度不同，遥感图像的退化模型也不同，而该方法没有较多的考虑到不同输入图像之间可能存在不同的退化过程。因此以上两点在一定程度上限值了遥感图像的重建结果，导致重建出的遥感图像峰值信噪比偏低，其重建质量有待提高。
技术实现思路
本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于模糊核分类与注意力机制的遥感图像超分辨重建方法，旨在提高图像的重建质量提升其峰值信噪比指标。本专利技术采用以下技术方案：基于模糊核分类与注意力机制的遥感图像超分辨重建方法，包括以下步骤：S1、给定某一地区的高分辨率光学遥感图像和对应的低分辨率光学遥感图像，其中包含不同类别的地物；S2、对给定的图像进行划分构建训练样本和测试样本；S3、对所有的训练集与测试集中的低分辨率图像寻找图像块间的递归相似关系，通过最大后验概率估计出低分辨率图像的模糊核；S4、根据低分辨率图像的模糊核对训练集进行聚类；S5、使用聚类模型对测试集图像进行分类；S6、基于卷积神经网络进行网络结构设计，选择残差块连接方式作为基本结构，并在其中加入可选择卷积核与通道的注意力机制，可选择卷积核部分包含通道的分离、融合与特征选择操作，构建基于注意力机制的神经网络模型；S7、将不同的低分辨率图像与其对应的高分辨率图像组成图像对按照划分的类别分别进行训练，损失函数设定为高、低分辨率图像对的均方误差，并在测试集中按照不同类别的图像分别进行测试，得到不同类别的模型；S8、对输入的低分辨率图像进行模糊核的估计、分类，并重建出高分辨率图像作为输出。具体的，步骤S2中，将给定的高分辨率图像划分为M个大小为N×N的图像块，并将对应的低分辨率图像按照各自的分辨率大小进行划分，并从M个高分辨率图像块中随机选取80％以上的图像块与对应的低分辨率图像块作为训练样本，其余的作为测试样本，M≥10000，N≥500。具体的，步骤S3中，图像的模糊核为：其中，矩阵C为约束矩阵，用于限制估计出的模糊核过于尖锐，CT为矩阵C的转置矩阵，σ表示方差值，wij为低分辨率图像块与输入图像中原有的小尺寸低分辨率图像块qi间的均方根误差，qi以向量形式表示图像块，Rj为高分辨率图像块矩阵，为矩阵Rj的转置矩阵，qi为输入图像中原有的小尺寸低分辨率图像块的向量表示。具体的，步骤S4中，将所有训练集的模糊核作为样本输入，使用K均值聚类算法将不同图像的模糊核划分为K个类，划分依据使用最小欧式距离进行衡量，聚类完成后得到K个聚类中心，并将模糊核对应的输入图像划分为K个类别。进一步的，不同模糊核间的距离采用最小欧氏距离，最终聚类结果使用损失函数J进行迭代优化，经过迭代得到聚类中心{uk|k＝1,2,…,K}，损失函数J为：其中，n为样本容量，xi为输入图像的模糊核。具体的，步骤S5中，计算每个测试集中低分辨率图像的模糊核与聚类中心距离，对测试集的模糊核进行划分如下：其中，xi为输入图像的模糊核，uk表示聚类中心，Label(i)表示输出的类别。具体的，步骤S6中，将跳跃连接作为残差块的基本结构，并添加通道注意力机制以及可选择卷积核的注意力机制，在通道注意力机制中使用通道的压缩、扩增以及全局平均池化操作；在可选择的卷积核注意力机制中，使用不同卷积核间的分离、融合与特征选择部分，分离部分使用多个不同尺寸的卷积核进行卷积，在融合部分采用全连接操作加入了通道的压缩与扩增操作，并在特征通道中加入softmax层，在特征的选择部分，通过选择操作对其中的不同特征层进行加权求和。具体的，步骤S7中，神经网络模型的损失函数Loss为：其中，W为步骤S6设定的网络结构，Θ为网络参数，n表示样本容量，表示第i幅低分辨率图像，表示第i幅高分辨率图像。进一步的，训练过程通过训练样本和残差结构神经网络的损失函数，对K个类别的训练集分别使用神经网络进行训练，得到K个包含模型参数的残差结构神经网络；并在训练过程中对测试集的图像进行重建，并计算其峰值信噪比的数值，在训练过程完成后，依据数值大小输出训练过程中重建效果最好的模型。具体的，步骤S8中，对待重建的图像首先使用最大后验概率估计的方法得到其模糊核，使用步骤S4中得到的聚类中心对图像进行分类，根据分类结果使用步骤S7中所对应的残差结构神经网络模型对图像进行超分辨率重建，最终得到高分辨率的遥感图像作为输出。与现有技本文档来自技高网...

【技术保护点】
1.基于模糊核分类与注意力机制的遥感图像超分辨重建方法，其特征在于，包括以下步骤：/nS1、给定某一地区的高分辨率光学遥感图像和对应的低分辨率光学遥感图像，其中包含不同类别的地物；/nS2、对给定的图像进行划分构建训练样本和测试样本；/nS3、对所有的训练集与测试集中的低分辨率图像寻找图像块间的递归相似关系，通过最大后验概率估计出低分辨率图像的模糊核；/nS4、根据低分辨率图像的模糊核对训练集进行聚类；/nS5、使用聚类模型对测试集图像进行分类；/nS6、基于卷积神经网络进行网络结构设计，选择残差块连接方式作为基本结构，并在其中加入可选择卷积核与通道的注意力机制，可选择卷积核部分包含通道的分离、融合与特征选择操作，构建基于注意力机制的神经网络模型；/nS7、将不同的低分辨率图像与其对应的高分辨率图像组成图像对按照划分的类别分别进行训练，损失函数设定为高、低分辨率图像对的均方误差，并在测试集中按照不同类别的图像分别进行测试，得到不同类别的模型；/nS8、对输入的低分辨率图像进行模糊核的估计、分类，并重建出高分辨率图像作为输出。/n

【技术特征摘要】
1.基于模糊核分类与注意力机制的遥感图像超分辨重建方法，其特征在于，包括以下步骤：
S1、给定某一地区的高分辨率光学遥感图像和对应的低分辨率光学遥感图像，其中包含不同类别的地物；
S2、对给定的图像进行划分构建训练样本和测试样本；
S3、对所有的训练集与测试集中的低分辨率图像寻找图像块间的递归相似关系，通过最大后验概率估计出低分辨率图像的模糊核；
S4、根据低分辨率图像的模糊核对训练集进行聚类；
S5、使用聚类模型对测试集图像进行分类；
S6、基于卷积神经网络进行网络结构设计，选择残差块连接方式作为基本结构，并在其中加入可选择卷积核与通道的注意力机制，可选择卷积核部分包含通道的分离、融合与特征选择操作，构建基于注意力机制的神经网络模型；
S7、将不同的低分辨率图像与其对应的高分辨率图像组成图像对按照划分的类别分别进行训练，损失函数设定为高、低分辨率图像对的均方误差，并在测试集中按照不同类别的图像分别进行测试，得到不同类别的模型；
S8、对输入的低分辨率图像进行模糊核的估计、分类，并重建出高分辨率图像作为输出。


2.根据权利要求1所述的基于模糊核分类与注意力机制的遥感图像超分辨重建方法，其特征在于，步骤S2中，将给定的高分辨率图像划分为M个大小为N×N的图像块，并将对应的低分辨率图像按照各自的分辨率大小进行划分，并从M个高分辨率图像块中随机选取80％以上的图像块与对应的低分辨率图像块作为训练样本，其余的作为测试样本，M≥10000，N≥500。


3.根据权利要求1所述的基于模糊核分类与注意力机制的遥感图像超分辨重建方法，其特征在于，步骤S3中，图像的模糊核为：



其中，矩阵C为约束矩阵，用于限制估计出的模糊核过于尖锐，CT为矩阵C的转置矩阵，σ表示方差值，wij为低分辨率图像块与输入图像中原有的小尺寸低分辨率图像块qi间的均方根误差，qi以向量形式表示图像块，Rj为高分辨率图像块矩阵，为矩阵Rj的转置矩阵，qi为输入图像中原有的小尺寸低分辨率图像块的向量表示。


4.根据权利要求1所述的基于模糊核分类与注意力机制的遥感图像超分辨重建方法，其特征在于，步骤S4中，将所有训练集的模糊核作为样本输入，使用K均值聚类算法将不同图像的模糊核划分为K个类，划分依据使用最小欧式距离进行衡量，聚类完成后得到K个聚类中心，并将模糊核对应的输入高、低分辨率图像对划分为K个类别。


5.根据权...

【专利技术属性】
技术研发人员：张向荣，焦李成，刘风昇，唐旭，李辰，陈璞花，侯彪，周挥宇，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61