一种基于多视角和多尺度的遥感图像时空融合方法技术

本发明专利技术涉及一种基于多视角和多尺度的遥感图像时空融合方法，包括对t0和t1时刻的高时间、低空间分辨率图像进行上采样后与t0时刻的低时间、高空间分辨率图像进行拼接，利用编码器分别对t0时刻的低时间、高空间分辨率图像和拼接图像进行编码、将两个编码后的图像在特征维度上相加得到第三中间特征图，利用第一多视角多尺度特征提取模型和第二多视角多尺度特征提取模型分别对第三中间特征图进行多个尺度和多个视角的特征提取，将提取的特征相加后输入注意力机制进行加权后与t0时刻低时间、高空间分辨率图像编码后的特征图进行拼接，将拼接后的特征图输入解码器进行解码得到融合了时空信息的高时间、高空间分辨率图像，提高了图像融合质量。图像融合质量。图像融合质量。

【技术实现步骤摘要】
一种基于多视角和多尺度的遥感图像时空融合方法


[0001]本专利技术涉及计算机视觉
，具体涉及一种基于多视角和多尺度的遥感图像时空融合方法。

技术介绍

[0002]近年来，遥感图像时空融合技术在很多领域具有广泛应用，例如在土地利用与图例覆盖分类、自然灾害监测、城市规划和建设、农业管理、环境检测方面，对于实现资源管理、环境保护、经济发展具有重要的意义，因此高空间分辨率的高密集时间序列遥感图像(HSHT)对于及时地、精确地检测生态和环境来说至关重要。
[0003]时空融合算法就是指使用两个或两个以上的具有相似光谱范围的数据通过特定的算法融合比单个数据源更加丰富数据的技术，换句话讲，时空融合技术就是通过从高时间、低空间分辨率图像中检索时间地面变化并从低时间、高空间分辨率图像中提取详细的地面纹理来组合这种不同的信息，以同时融合成同时具有高空间和高时间分辨率的图像。
[0004]现有的时空融合算法大致可以分为四类：基于加权函数的、基于分解的、基于贝叶斯的、基于学习的。基于加权函数的时空融合算法主要是通过HSLT图像计算图像信息的变化，并根据权重将其分配给HSLT图像，以获得HSHT图像。其中最为经典的算法是空间和时间自适应反射融合模型(STARM)，基于加权函数的缺点是基于假设经验，对于数据集的要求不够敏感。基于分解的方法的主要步骤是：端元提取，丰度估计，滑动窗口内分解，高分辨率图像重建。基于贝叶斯的方法是建立在贝叶斯统计的基础上，通过假定时空融合问题视作一个最大后验问题，试图将空间
‑
时间
‑
光谱融合集成到一个统一的框架中，其缺点是不确定性，会因图像的地理区域和土地类型变化而会受到较大影响。基于学习的方法是采用机器学习的低时间、高空间分辨率图像和高时间、低空间分辨率图像的关系进行建模，然后预测时间的高分辨率图像。例如AMNet直接利用两次成像减去MODIS图像得到的残差图像对网络进行训练，并采用多尺度机制和注意机制两种特殊结构提高融合精度。但是，即使当前的遥感图像时空融合方法很多，但是它们没有充分关注通道间关系和光谱质量，这意味着它们无法进行特征提取，极大地限制了它们的图像融合精度。

技术实现思路

[0005]为了解决
技术介绍
中存在的问题，本专利技术提供一种基于多视角和多尺度的遥感图像时空融合方法，在更大程度上减少了光谱失真，在保留结构纹理信息方面更加充分，使图像融合质量更好，包括：
[0006]S1：获取t1和t0时刻的高时间、低空间分辨率图像、t0时刻的低时间、高空间分辨率图像和t1时刻的低时间、高空间分辨率参考图像；
[0007]S2：分别对t0和t1时刻的高时间、低空间分辨率图像进行上采样使其与t0时刻的低时间、高空间分辨率图像的尺寸一致，得到两个第一中间图像；
[0008]S3：将两个第一中间图像与t0时刻的低时间、高空间分辨率图像进行拼接，得到第
二中间图像；并利用第一编码器对t0时刻的低时间、高空间分辨率图像进行编码生成第一中间特征图；
[0009]S4：利用第二编码器对第二中间图像进行编码生成第二中间特征图；将第一中间特征图和第二中间特征图在特征维度上进行相加得到第三中间特征图；
[0010]S5：将第三中间特征图分别输入第一多视角多尺度特征提取模型和第二多视角多尺度特征提取模型，分别对第三中间特征图进行多个尺度和多个视角的特征提取得到第四中间特征图和第五中间特征图；
[0011]S6：将第四中间特征图和第五中间特征图在特征维度相加得到第六中间特征图；将第六中间特征图输入注意力机制模型对第六中间特征图进行加权得到第七中间特征图；将第一中间特征图和第七中间特征图进行拼接得到第八中间特征图；
[0012]S7：将第八中间特征图输入解码器进行解码得到t1时刻融合了时空信息的高时间、高空间分辨率图像，并根据融合了时空信息的高时间、高空间分辨率图像和参考图像之间的误差利用Adam算法对模型进行监督训练。
[0013]本专利技术构建多视角多尺度特征提取模型提取不同视角和不同尺度的特征信息并将其融合，提高了网络的特征提取能力，采用边缘注意机制获得边缘信息的关联关系，并给予边缘细节不同权重，使得在融合边缘特征时候能够加强纹理细节的恢复，同时通过融合图像解码模块解码提取到的深层特征和结构信息，使用自身内卷积的方式获取自身相关的特征信息，使图像融合质量更好，在更大程度上减少了光谱失真，在保留结构纹理信息方面更加充分，使图像融合质量更好。融合效果的提升对于土地利用与图例覆盖分类、自然灾害监测、城市规划和建设、农业管理、环境检测方面，以及对于实现资源管理、环境保护、经济发展具有重要的意义。
附图说明
[0014]图1是本专利技术的方法流程图；
[0015]图2是本专利技术的方法流程结构示意图图；
[0016]图3是多视角多尺度特征提取模型的结构示意图；
[0017]图4是ZBlock层的结构示意图；
[0018]图5是ResZNet残差网络沿图像的高、宽和通道进行特征提取的示意图；
[0019]图6是实验效果对比图。
具体实施方式
[0020]以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0021]其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利技术的限制；为了更好地说明本专利技术的实施例，附图某些部件会有省略、放大或缩小，并不
代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0022]本专利技术实施例的附图中相同或相似的标号对应相同或相似的部件；在本专利技术的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利技术的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0023]请参阅图1和图2，本专利技术提供了一种基于多视角和多尺度的遥感图像时空融合方法，包括：
[0024]S1：获取t1和t0时刻的高时间、低空间分辨率图像、t0时刻的低时间、高空间分辨率图像和t1时刻的低时间、高空间分辨率参考图像；
[0025]优选地，一种获取高时间、低空间分辨率图像的实施方式包括：通过MODIS卫星传感器实时获取高时间、低空间分辨率图像，中分辨率成像光谱仪(Moder本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多视角和多尺度的遥感图像时空融合方法，其特征在于，包括：S1：获取t1和t0时刻的高时间、低空间分辨率图像、t0时刻的低时间、高空间分辨率图像和t1时刻的低时间、高空间分辨率参考图像；S2：分别对t0和t1时刻的高时间、低空间分辨率图像进行上采样使其与t0时刻的低时间、高空间分辨率图像的尺寸一致，得到两个第一中间图像；S3：将两个第一中间图像与t0时刻的低时间、高空间分辨率图像进行拼接，得到第二中间图像；并利用第一编码器对t0时刻的低时间、高空间分辨率图像进行编码生成第一中间特征图；S4：利用第二编码器对第二中间图像进行编码生成第二中间特征图；将第一中间特征图和第二中间特征图在特征维度上进行相加得到第三中间特征图；S5：将第三中间特征图分别输入第一多视角多尺度特征提取模型和第二多视角多尺度特征提取模型，分别对第三中间特征图进行多个尺度和多个视角的特征提取得到第四中间特征图和第五中间特征图；S6：将第四中间特征图和第五中间特征图在特征维度相加得到第六中间特征图；将第六中间特征图输入注意力机制模型对第六中间特征图进行加权得到第七中间特征图；将第一中间特征图和第七中间特征图进行拼接得到第八中间特征图；S7：将第八中间特征图输入解码器进行解码得到t1时刻融合了时空信息的高时间、高空间分辨率图像，并根据融合了时空信息的高时间、高空间分辨率图像和参考图像之间的误差利用Adam算法对模型进行监督训练。2.根据权利要求1所述的一种基于多视角和多尺度的遥感图像时空融合方法，其特征在于，所述第一编码器包括：依次连接的第一卷积层、第一ReLU激活函数、第二卷积层、第二ReLU激活函数、第三卷积层、内卷积层和第三ReLU激活函数；其中，所述第一卷积层、第二卷积层和第三卷积层为3
×
3的卷积层。3.根据权利要求1所述的一种基于多视角和多尺度的遥感图像时空融合方法，其特征在于，所述第二编码器包括：依次连接的第一卷积层、内卷积层和第二卷积层；其中，第一卷积层和第二卷积层为3
×
3的卷积层。4.根据权利要求1所述的一种基于多视角和多尺度的遥感图像时空融合方法，其特征在于，所述第一多视角多尺度特征提取模型和第二多视角多尺度特征提取模型均包括：两个ZBlock模块和边缘注意力机制模块；ZBlock模块由多个ResZNet残差网络组成，分别从图像的长、宽和通道对第三中间特征图进行多个视角和多个尺度的特征提取，边缘注意力机制模块用于对提取的特征进行加权；其中，第一多视角多尺度特征提取模型中第一个ZBlock模块按通道尺度由小变大、第二个ZBlock模块按通道尺度由大变小的对第三中间特征图进行特征提取；第二多视角多尺度特征提取模型中第一个ZBlock模块按通道尺度由大变小、第二个ZBlock模块按通道尺度由小变大的对第三中间特征图进行特征提取。5.根据权利要求4所述的一种基于多视角和多尺度的遥感图像时空融合方法，其特征在于，ZBlock模块包括三个并列的第一ZBlock层、第二ZBlock层和第三ZBlock层；第一ZBlock层包括：ResZNetC1残差网络、ResZNetH1残差网络和ResZNetW1残差网络...

【专利技术属性】
技术研发人员：雷大江，周翔辉，李雨珈，张莉萍，李伟生，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：