一种基于时空交互制造技术

本发明专利技术公开了一种基于时空交互

【技术实现步骤摘要】
一种基于时空交互Transformer模型的遥感图像变化检测方法


[0001]本专利技术应用深度学习和计算机视觉领域相关方面技术，具体专利技术和应用一种基于时空交互
Transformer
模型的遥感图像变化检测方法
。

技术介绍

[0002]随着对地观测技术的发展，遥感图像急剧增长，促使地球科学和遥感界采用深度学习技术完成相关任务
。
遥感图像变化检测侧重于比较同一区域不同时间拍摄的两幅或多幅图像，用于定量和定性评估地理实体和环境因素的变化，通常是在多尺度和多时相背景下进行的
。
它服务于环境监测
、
城市规划
、
灾害评估
、
土地利用等广泛的目标，具有较高的科学意义和实用价值
。
[0003]遥感图像变化检测任务可以看作是一个二值语义分割问题，它为每个像素分配一个二值标签，表示相应区域中感兴趣的对象是否发生了变化
。
在实际应用中，由于季节性光照变化
、
不相关的运动，甚至传感器和成像条件的差异导致的频繁的非感兴趣变化，给遥感图像变化检测任务带来了重大挑战
。
此外，在一定的时间跨度内，变化区域的大小可能远小于目标区域的大小，需要丰富的空间细节来检测
。
[0004]传统的遥感图像变化检测方法大多基于代数和变换
。
尽管这些方法实现简单，但依赖手工设计的特征，计算复杂度和噪声敏感性较高
。
最近兴起的深度学习技术，特别是卷积神经网络，由于其突出的非线性拟合能力，可以提取高质量的判别性特征，极大地促进了遥感图像变化检测任务的发展
。
一些方法将
Siamese
神经网络引入遥感图像变化检测任务，利用拼接或求和的方式提取双时态特征，然后使用变化检测头
。
该范式可以进一步实现以权重共享的串联分类网络为骨干，提高变化检测头性能
。
例如，基于空间注意力和通道注意力增强特征表示的方法优化了拼接或相位减法来细化时序特征交互
。
然而，通过串联分类网络得到的多级特征在语义信息和空间细节上仍存在较大差距，同时在深度特征通道中较大的冗余度导致巨大的计算成本
。
此外，
U
型结构可以将不同层次的特征进行叠加和融合，提高方法区分变化区域和未变化区域的能力，但包含的密集连通性也会导致上述计算问题
。
冗余度较大
。
[0005]最近的研究采用
Transformer
模型
(
可译为转换器模型
)
进行遥感图像变化检测，以绕过卷积神经网络在固定知觉场和弱捕获长程依赖方面的局限性
。
例如，利用
SwinTransformer
提出了一种纯
Transformer
模型的遥感图像变化检测网络；通过构建一对具有分层
Transformer
模型编码器的孪生神经网络，从双时相图像中提取粗粒度和细粒度特征；使用
Transformer
模型编码器在紧凑的基于令牌的时空中对上下文进行建模，其中学习到的上下文丰富的令牌被送入像素空间，由解码器对原始特征进行精炼
。
然而，这些方法同样遵循分类网络的串联设计，注意力机制的计算量要求较高
。

技术实现思路

[0006]本专利技术要解决的技术问题是如何在遵循非交互式孪生神经网络和变化检测头范式的基础上，同时考虑遥感图像的特征，通过在特征提取的过程中融合特征的跨时间和跨空间交互提高特征表达能力，并提供一种基于时空交互
Transformer
模型的遥感图像变化检测方法
。
本专利技术通过引入跨时间交互模块和跨空间交互模块，提取
、
整合每个阶段特征的空间特征和时间特征，同时通过加入频域信息丰富特征表示，实现了线性复杂度
、
轻量级模型，同时提升了模型的精度和鲁棒性
。
[0007]本专利技术所采用的具体技术方案如下：
[0008]一种基于时空交互
Transformer
模型的遥感图像变化检测方法，其具体做法为：将待检测的两个时刻的双时态遥感图像输入到经过训练的时空交互
Transformer
模型网络中，获得最终的变化检测结果；
[0009]所述时空交互
Transformer
模型网络以时空交互模块作为编码器，以多层感知机构建解码器；
[0010]所述时空交互模块包含4个级联的阶段，每个阶段具有相同的网络结构，均由两个补丁嵌入模块
、
两个跨时间交互模块和跨空间交互模块组成；在时空交互模块中，首先将输入的双时态遥感图像中两张遥感图像作为第一个阶段的输入生成双时态特征，上一个阶段输出的双时态特征作为下一个阶段的输入；在每个阶段中，初始的输入先各自通过一个补丁嵌入模块转换为嵌入式令牌，然后分别馈送到各自的跨空间交互模块提取多尺度特征，每个跨空间交互模块提取到的最深层特征作为编码阶段特征传递到跨时间交互模块中，与另一个跨空间交互模块提取到的最深层特征进行跨时间交互并产生增强时间差异后的增强特征，每个最深层特征对应的增强特征重新返回到产生这个最深层特征的跨空间交互模块中，再经过多级上采样和跳跃连接后恢复空间细节形成输出特征，实现在每个阶段对双时相特征进行跨时间和跨空间交互；两个跨空间交互模块的输出特征作为最终输出的双时态特征；
[0011]所述编码器中，四个阶段各自输出的双时态特征输入到多层感知机解码器中进行解码，从四个阶段中的每一个阶段输出的双时态特征分别沿通道维度拼接成一个变化表示，然后通过双线性插值将所有四个变化表示上采样到相同的分辨率并进行通道维度的拼接，对拼接后的变化表示进行
1*1
卷积后通过上采样恢复至原始遥感图像的尺寸，生成最终的遥感图像变化检测结果
。
[0012]作为优选，所述跨时间交互模块的输入是两个跨空间交互模块各自提取到的最深层特征，每个最深层特征均与另一个最深层特征采用元素级减法来获得粗略变化表示，然后将每个最深层特征分别与粗略变化表示进行拼接形成拼接特征，接着使用深度可分离卷积和
Sigmoid
激活函数对每个拼接特征进行处理，获得增强差异权重图，最后将每个输入的最深层特征与对应的增强差异权重图进行加权和，从而得到每个最深层特征对应的增强时间差异后的增强特征
。
[0013]作为优选，所述跨空间交互模块采用由收缩路径和扩张路径组成的
U
型网络架构，两条路径中共采用四个基础块进行特征提取；跨空间交互模块的原始输入特征首先输入收缩路径中，经过第一基础块进行特征提取，然后下采样后经过第二基础块进行特征提取，再下采样后作为最深层特征传递到跨时间交互模块中；跨时间交本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于时空交互
Transformer
模型的遥感图像变化检测方法，其特征在于：将待检测的两个时刻的双时态遥感图像输入到经过训练的时空交互
Transformer
模型网络中，获得最终的变化检测结果；所述时空交互
Transformer
模型网络以时空交互模块作为编码器，以多层感知机构建解码器；所述时空交互模块包含4个级联的阶段，每个阶段具有相同的网络结构，均由两个补丁嵌入模块
、
两个跨时间交互模块和跨空间交互模块组成；在时空交互模块中，首先将输入的双时态遥感图像中两张遥感图像作为第一个阶段的输入生成双时态特征，上一个阶段输出的双时态特征作为下一个阶段的输入；在每个阶段中，初始的输入先各自通过一个补丁嵌入模块转换为嵌入式令牌，然后分别馈送到各自的跨空间交互模块提取多尺度特征，每个跨空间交互模块提取到的最深层特征作为编码阶段特征传递到跨时间交互模块中，与另一个跨空间交互模块提取到的最深层特征进行跨时间交互并产生增强时间差异后的增强特征，每个最深层特征对应的增强特征重新返回到产生这个最深层特征的跨空间交互模块中，再经过多级上采样和跳跃连接后恢复空间细节形成输出特征，实现在每个阶段对双时相特征进行跨时间和跨空间交互；两个跨空间交互模块的输出特征作为最终输出的双时态特征；所述编码器中，四个阶段各自输出的双时态特征输入到多层感知机解码器中进行解码，从四个阶段中的每一个阶段输出的双时态特征分别沿通道维度拼接成一个变化表示，然后通过双线性插值将所有四个变化表示上采样到相同的分辨率并进行通道维度的拼接，对拼接后的变化表示进行
1*1
卷积后通过上采样恢复至原始遥感图像的尺寸，生成最终的遥感图像变化检测结果
。2.
如权利要求1所述的基于时空交互
Transformer
模型的遥感图像变化检测方法，其特征在于，所述跨时间交互模块的输入是两个跨空间交互模块各自提取到的最深层特征，每个最深层特征均与另一个最深层特征采用元素级减法来获得粗略变化表示，然后将每个最深层特征分别与粗略变化表示进行拼接形成拼接特征，接着使用深度可分离卷积和
Sigmoid
激活函数对每个拼接特征进行处理，获得增强差异权重图，最后将每个输入的最深层特征与对应的增强差异权重图进行加权和，从而得到每个最深层特征对应的增强时间差异后的增强特征
。3.
如权利要求1所述的基于时空交互
Transformer
模型的遥感图像变化检测方法，其特征在于，所述跨空间交互模块采用由收缩路径和扩张路径组成的
U
型网络架构，两条路径中共采用四个基础块进行特征提取；跨空间交互模块的原始输入特征首先输入收缩路径中，经过第一基础块进行特征提取，然后下采样后经过第二基础块进行特征提取，再下采样后作为最深层特征传递到跨时间交互模块中；跨时间交互模块回传的增强特征输入扩张路径中，经过上采样后与第二基础块提取的特征进行跳跃连接，然后输入第三基础块中进行特征提取，再经过上采样后与第一基础块提取的特征进行跳跃连接，继续输入第四基础块中进行特征提取，最终得到双时态特征中的一个时态特...

【专利技术属性】
技术研发人员：冯天，张微，车瑞，周必群，洪廷锋，马笑文，
申请(专利权)人：浙江大学，
类型：发明
国别省市：