一种融合时间和空间信息的遥感图像变化检测方法技术

本发明专利技术涉及一种融合时间和空间信息的遥感图像变化检测方法，属于遥感图像变化检测技术领域。将同一区域不同时期的遥感影像分别输入同一特征提取网络进行特征提取，得到不同时期的原始高阶语义特征，再生成高阶语义特征的描述子，将描述子的信息融合，描述子与原始高阶语义特征的进一步信息融合，最后将不同时期的融合了时间与空间信息的高阶语义特征输入变化检测器进行变化检测。本发明专利技术不仅能降低计算量，而且确保了遥感地物在不同区域与不同时间的特征表达的一致性，进一步提高变化检测的效率，为河湖管理提供更有利的技术支撑。为河湖管理提供更有利的技术支撑。为河湖管理提供更有利的技术支撑。

【技术实现步骤摘要】
一种融合时间和空间信息的遥感图像变化检测方法


[0001]本专利技术涉及一种融合时间和空间信息的遥感图像变化检测方法，属于遥感图像变化检测


技术介绍

[0002]河湖管理是影响社会经济发展的重要因素，同时，利用遥感影像分析技术辅助河湖管理已成业界共识，随着遥感卫星、无人机等对地观测技术的进步以及深度学习的发展，基于深度学习的遥感影像分析技术已经被广泛应用到河湖管理领域。
[0003]变化检测是河湖管理领域的主流深度学习技术，变化检测的目标是对在同一区域不同时间拍摄的遥感图像赋予二值标签，即变化与无变化。在不同场景下，变化检测的实质含义会有不同，例如在城市建设场景下，新增建筑会被认定为变化，其余改变被认定为无变化；在森林砍伐场景下，被砍伐的树木会被认定为变化，其余改变被认定为无变化。
[0004]随着深度学习的发展，基于深度卷积网络进行特征提取以及基于注意力机制进行特征增强的方法已经被成功应用到遥感影像变化检测领域，并且展现出良好的性能。但由于高分辨率遥感图像中的复杂场景，以及无法预料的成像条件，使得同一类物体在不同时间与空间位置上产生了较大的光谱差异，这种光谱差异现象严重影响着变化检测的精度；同时基于注意力机制的特征增强方法计算效率很低，而且具有很高的计算复杂度，随着图像尺寸的扩大计算复杂度会进一步增长，不利于变化检测的效率的提升。目前在遥感影像变化检测领域仍然很难获得时间与空间的长距离依赖，因为很多方法要么将注意力机制分别应用于每个时间图像以增强其特征，要么简单地使用注意力机制在通道或空间维度上对特诊进行加权，而同时在时间和空间维度利用注意力机制的方法又需要很高的计算复杂度，并且计算效率很低。

技术实现思路

[0005]本专利技术的目的是克服上述不足而提供一种融合时间和空间信息的遥感图像变化检测方法，通过自注意力机制融合不同时期遥感地物的特征信息，随后利用交叉注意力机制进一步增强不同时间与空间的遥感地物特征，从而确保不同位置与不同时间的同一地物的特征表达更为一致，进一步提高变化检测的效率，为河湖管理提供更有利的技术支撑。
[0006]本专利技术采取的技术方案为：一种融合时间和空间信息的遥感图像变化检测方法，包括步骤如下：S1. 原始高阶语义特征的提取：将同一区域不同时期的遥感影像分别输入同一特征提取网络进行特征提取，得到不同时期的原始高阶语义特征；S2. 生成高阶语义特征的描述子：用相同的方式处理不同时期的原始高阶语义特征，模拟注意力机制的计算方式生成不同时期的高阶语义特征的描述子，降低参与计算的特征维度；S3.描述子的信息融合：合并不同时期的高阶语义特征的描述子，将合并后的描述
子输入自注意力机制进行特征增强，得到融合了时间与空间信息特征的描述子；S4. 描述子与原始高阶语义特征的进一步信息融合：将融合了时间与空间信息特征的描述子拆分，分别还原为合并前不同时期的高阶语义特征的描述子的维度，将相同时期的原始高阶语义特征与拆分出来的融合了时空信息特征的描述子输入交叉注意力机制，得到融合了时间与空间信息的高阶语义特征；S5.将不同时期的融合了时间与空间信息的高阶语义特征输入变化检测器进行变化检测。
[0007]上述方法中步骤S1所述的特征提取网络选择残差网络ResNet
‑
50，ResNet
‑
50在输入与输出间构建了残差结构，分成四个阶段，分别生成四个尺度的特征信息。
[0008]步骤S2中描述子的生成步骤如下：1）将原始高阶语义特征利用1
×
1卷积学习生成一组维度为L
×
H
×
W的空间注意力映射，其中L小于C；2）将生成的L
×
H
×
W维空间注意力映射，在空间维度上展平，展开成L
×
HW；将C
×
H
×
W维的原始高阶语义特征在空间维度上展平，展开成C
×
HW，然后再将展平后的高阶语义特征转置为HW
×
C；3）将展平并转置后的高阶语义特征HW
×
C与展平后的空间注意力映射L
×
HW进行矩阵乘，得到高阶语义特征的描述子，维度为L
×
C。
[0009]步骤S3所述的合并不同时期的高阶语义特征的描述子合并方式为将两个维度为L
×
C的描述子展开为一维特征，并拼接在一起得到2LC长度的合并后的描述子。
[0010]步骤S3所述的自注意力机制与步骤S4所述的交叉注意力机制，遵循以下计算公式：，其中，为待计算的矩阵，分别对应查询矩阵(Query)、键矩阵(Key)以及值矩阵(Value)，为缩放因子，的值根据计算结果确定，为softmax函数；如果均由同一变量转换而来，则该种计算方式为步骤S3所述的自注意力机制，若由不同变量转换而来，则该种计算方式为步骤S4所述的交叉注意力机制。
[0011]步骤S5所述的变化检测器，是以不同时期的融合了时间与空间信息的高阶语义特征信息作为输入，将两者作差并取绝对值，以求得同一区域的变化；将作差结果送入卷积层，经过此卷积层作差结果的通道数变为2，利用softmax函数将卷积结果归一化到0至1后，通道一代表变化的概率，通道二代表未变化的概率；对于每个像素点，本专利技术取概率更大的作为变化检测的经过，最终得到整幅图像变化检测的结果。
[0012]本专利技术的另一目的是提供一种存储设备，其为计算机可读存储设备，所述的计算机可读存储设备上存储有计算机程序用于实现如上所述的一种融合时间和空间信息的遥感图像变化检测方法中的步骤。
[0013]本专利技术还有一个目的是提供一种融合时间和空间信息的遥感图像变化检测设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的一种融合时间和空间信息的遥感图像变化检测方法。
[0014]本专利技术的有益效果是：本专利技术充分挖掘变换检测中的成对图像所蕴含的信息，能够有效地提取遥感地物特征，并且能够对遥感地物的空间信息与时间信息进行高效建模；本专利技术通过生成高阶语义特征对应的描述子，该描述子简洁高效地规避了普通注意力计算过程中的运算量，并保证了多元信息的提取与利用，同时本专利技术中描述子的生成框架具有普适性，可以高效地迁移至其他注意力机制计算当中，降低算法整体的运算量；本专利技术通过自注意力机制以及交叉注意力机制融合不同空间与不同时间的遥感地物特征信息，并对原始特征进行了增强，确保了遥感地物在不同区域与不同时间的特征表达的一致性，进一步提高变化检测的效率，为河湖管理提供更有利的技术支撑。
附图说明
[0015]图1为本专利技术方法的流程图；图2为本专利技术方法模型网络结构示意图；图3为本专利技术自注意力机制结构示意图；图4为本专利技术交叉注意力机制结构示意图。
具体实施方式
[0016]为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术进一步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合时间和空间信息的遥感图像变化检测方法，其特征是，包括步骤如下：S1. 原始高阶语义特征的提取：将同一区域不同时期的遥感影像分别输入同一特征提取网络进行特征提取，得到不同时期的原始高阶语义特征；S2. 生成高阶语义特征的描述子：用相同的方式处理不同时期的原始高阶语义特征，模拟注意力机制的计算方式生成不同时期的高阶语义特征的描述子，降低参与计算的特征维度；S3.描述子的信息融合：合并不同时期的高阶语义特征的描述子，将合并后的描述子输入自注意力机制进行特征增强，得到融合了时间与空间信息特征的描述子；S4. 描述子与原始高阶语义特征的进一步信息融合：将融合了时间与空间信息特征的描述子拆分，分别还原为合并前不同时期的高阶语义特征的描述子的维度，将相同时期的原始高阶语义特征与拆分出来的融合了时空信息特征的描述子输入交叉注意力机制，得到融合了时间与空间信息的高阶语义特征；S5.将不同时期的融合了时间与空间信息的高阶语义特征输入变化检测器进行变化检测。2.根据权利要求1所述的一种融合时间和空间信息的遥感图像变化检测方法，其特征是，步骤S1所述的特征提取网络选择残差网络ResNet
‑
50。3.根据权利要求1所述的一种融合时间和空间信息的遥感图像变化检测方法，其特征是，步骤S2中描述子的生成步骤如下：1）将原始高阶语义特征利用1
×
1卷积学习生成一组维度为L
×
H
×
W的空间注意力映射，其中L小于C；2）将生成的L
×
H
×
W维空间注意力映射，在空间维度上展平，展开成L
×
HW；将C
×
H
×
W维的原始高阶语义特征在空间维度上展平，展开成C
×
HW，然后再将展平后的高阶语义特征转置为HW
×
C；3）将展平并转...

【专利技术属性】
技术研发人员：孙启玉，刘玉峰，孙平，杨公平，
申请(专利权)人：山东锋士信息技术有限公司，
类型：发明
国别省市：