【技术实现步骤摘要】
本专利技术属于设计遥感图像融合领域，具体涉及一种图像分辨率融合增强的隐式融合方法。
技术介绍
1、高光谱图像（hsi）携带着大量的光谱波段具有丰富的光谱信息，有利于我们更全面地掌握物质在不同波长下的特性，可以有效地描述每个场景点的光谱分布，并提供场景的内在和鉴别性的光谱信息。采集到的密集光谱波段数据能够应用于众多领域，包括物体识别和分割、异常检测、医学图像分析和遥感等，所以在现实生活中的应用越来越多。但由于如今物理成像的内在机制影响，获得的高光谱图像通常空间分辨率较低。而多光谱图像（msi）的空间分辨率较高，但同时带来的是光谱分辨率的降低。因此，将多光谱图像与高光谱图形进行融合，期望同时获得高光谱图像的高光谱分辨率和多光谱图像的高空间分辨率，越来越受到人们的关注。
2、高光谱图像融合是一种增强高光谱图像（hsi）空间分辨率的有效且经济的方法，该方法将高光谱图像（hsi）与相同场景的更高空间分辨率多光谱图像（msi）相结合。多光谱图像提供有限波段的信息，而高光谱图像在更多波段采集光谱信息，融合可以提高信息的丰富度。多光谱图像通常具有较高的空间分辨率，而高光谱图像提供更详细的光谱信息。融合可以实现在高分辨率下获得更丰富的光谱细节。在农业、环境监测等领域，融合任务有助于更准确地识别地物、监测植被、检测环境变化等。对于遥感领域，融合任务有助于更全面地理解地表特征，提高遥感数据在资源管理和环境监测中的应用价值。
3、尽管现有技术研究在高光谱融合超分辨任务方面取得了显著成果，但不可避免地存在一些问题和缺陷。当前研究已
技术实现思路
1、本专利技术的目的是提供一种高效、精确的多光谱与高光谱图像融合超分辨方法，提出了基于隐式融合函数的高光谱图像融合超分辨方法，提供更加创新的图像融合任务的解决方案，为该领域应用提供更强大、更合理的技术支持。
2、为了实现上述目的，本专利技术的技术方案是：基于隐式融合函数的高光谱图像融合超分辨方法，包括步骤：
3、步骤1：数据集的获取及处理；获取图像数据集，对数据集里的图像进行预处理，得到低分辨率高光谱图像、高分辨率多光谱图像以及对应的真实像素值图像，并划分训练数据集与测试数据集；
4、步骤2：编码及多模态信息生成；
5、首先低分辨率高光谱图像经过双三次插值得到上采样后的低分辨率高光谱图像；
6、然后将上采样后的低分辨率高光谱图像与高分辨率多光谱图像在通道维度拼接在一起，得到拼接特征；
7、将低分辨率高光谱图像与拼接特征分别输入光谱编码函数和空间编码函数，计算光谱模态特征和空间模态特征；
8、将像素的中心位置表示为像素的坐标点，并将坐标图缩放成大小为2×2的正方形网格，得到高分辨域的归一化二维坐标图，进而获得查询坐标和最临近坐标的相对位置，得到坐标模态信息；
9、步骤3： 隐式神经图像插值进行第一阶段的融合；将步骤2得到的光谱模态特征、空间模态特征和坐标模态特征在通道维度进行拼接，利用隐式特征融合函数求得像素的插值像素值及相似性权重，然后进行相似性特征集成，获得融合特征图；
10、步骤4：解码阶段；将由高分辨率多光谱图像经过一个傅里叶单元获得的频谱响应信息与编码输出融合特征图同时输入双分支解码器decoder进行融合，上支以融合特征为输入，下支以频谱特征为输入，融合过程中上支使用relu激活函数激活非线性，下支使用complex gabor 小波激活函数激活非线性，得到解码阶段的输出；
11、步骤5：得到输出；采用长跳线连接的方式将步骤4得到的输出与上采样后的低分辨率高光谱图像逐元素相加，得到融合结果；经过训练与测试后，得到最终的融合结果。
12、本专利技术的有益效果如下：本专利技术提出的方法是一种高效的多光谱和高光谱图像融合方法，设计了编码器-解码器的网络结构进行了两阶段的融合，通过隐式神经融合函数在第一阶段融合了坐标信息、空间信息和光谱信息，设计了傅里叶单元提取频谱信息，利用双分支编码器实现第二阶段的频谱信息和融合信息的交互。通过多次融合坐标、空间和频谱数据等多模态信息，验证了该框架对频域信息的有效利用。相对于其他神经网络方法，本专利技术能够对图像进行连续地表示，实现空间坐标到像素信息的连续映射，并且在融合过程中利用了多种模态信息，以得到更好的融合效果，且隐式图像插值给mhif任务带来了更合理的解释性。实验证明，本专利技术方法在两个不同的数据集上达到了最先进的性能，为其他多模态融合任务提供了一个通用的范例。
本文档来自技高网...【技术保护点】
1.一种图像分辨率融合增强的隐式融合方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种图像分辨率融合增强的隐式融合方法，其特征在于，在训练过程中，通过最小化标准L1 loss绝对差的方式对融合结果进行优化：；
3.根据权利要求2所述的一种图像分辨率融合增强的隐式融合方法，其特征在于，对数据集里的图像进行预处理的步骤具体如下：
4.根据权利要求3所述的一种图像分辨率融合增强的隐式融合方法，其特征在于，生成光谱模态特征Spe、空间模态特征Spa的过程具体如下：
5.根据权利要求4所述的一种图像分辨率融合增强的隐式融合方法，其特征在于，所述坐标模态信息的生成具体过程如下：
6.根据权利要求5所述的一种图像分辨率融合增强的隐式融合方法，其特征在于，所述步骤3具体如下：
7.根据权利要求6所述的一种图像分辨率融合增强的隐式融合方法，其特征在于，所述经过一个傅里叶单元的过程具体为：先将高分辨率多光谱图像作傅里叶变换转换到傅里叶域，利用卷积层在频域捕获频谱特征，再作傅里叶逆变换将频谱特征转换到空间域，获得频谱特
8.根据权利要求7所述的一种图像分辨率融合增强的隐式融合方法，其特征在于，所述双分支解码器Decoder由四层的卷积模块，卷积中间穿插ReLU激活函数和ComplexGabor小波激活函数的结构构成，是一个双分支的交互融合解码器；该解码器上支以融合特征为输入，下支以频谱特征为输入，频谱特征与融合特征首先分别进入1×1的卷积层，然后得到的两个特征图进行矩阵乘法作为新的频谱特征，该特征与输入解码器的融合特征在通道维度拼接后作为新的融合特征，得到新的频谱特征和融合特征之后，上支使用ReLU激活函数激活非线性，下支使用complex Gabor 小波激活函数，新的两个特征则进入下一轮的卷积层，进行如上述操作4次后，双分支特征相乘后经过最后一个卷积层得到输出特征，表示如下：；
9.根据权利要求8所述的一种图像分辨率融合增强的隐式融合方法，其特征在于，所述光谱编码函数和所述空间编码函数都以EDSR编码器网络实现。
10.根据权利要求8所述的一种图像分辨率融合增强的隐式融合方法，其特征在于，所述隐式特征融合函数为2层全连接层的多层感知机。
...【技术特征摘要】
1.一种图像分辨率融合增强的隐式融合方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种图像分辨率融合增强的隐式融合方法，其特征在于，在训练过程中，通过最小化标准l1 loss绝对差的方式对融合结果进行优化：；
3.根据权利要求2所述的一种图像分辨率融合增强的隐式融合方法，其特征在于，对数据集里的图像进行预处理的步骤具体如下：
4.根据权利要求3所述的一种图像分辨率融合增强的隐式融合方法，其特征在于，生成光谱模态特征spe、空间模态特征spa的过程具体如下：
5.根据权利要求4所述的一种图像分辨率融合增强的隐式融合方法，其特征在于，所述坐标模态信息的生成具体过程如下：
6.根据权利要求5所述的一种图像分辨率融合增强的隐式融合方法，其特征在于，所述步骤3具体如下：
7.根据权利要求6所述的一种图像分辨率融合增强的隐式融合方法，其特征在于，所述经过一个傅里叶单元的过程具体为：先将高分辨率多光谱图像作傅里叶变换转换到傅里叶域，利用卷积层在频域捕获频谱特征，再作傅里叶逆变换将频谱特征转换到空间域，获得频谱特征；上述过程...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。