一种基于空时建模的多尺度变化目标检索方法技术

一种基于空时建模的多尺度变化目标检索方法，包括：获取具有空间

【技术实现步骤摘要】
一种基于空时建模的多尺度变化目标检索方法


[0001]本专利技术属于图像处理
，具体涉及一种基于空时建模的多尺度变化目标检索方法。

技术介绍

[0002]多尺度变化目标检索是指从不同时序中辨别同一空间位置上是否发生变化的过程。作为监测区域状况的关键技术，变化目标检索在城市建设制图、自然灾害评估、环境变化监测等众多任务发挥着显著作用。由于不同时间拍摄，时序数据之间可能存在大量任务无关的干扰，例如季节变换、曝光程度不同、建筑翻新等，这种情况下，需要快速、稳定、鲁棒的方法来处理不同时间获取的空间
‑
时序多维度的数据。
[0003]基于手工提取特征的传统变化目标检索方法，表征效果并不理想。而深度学习网络可以通过非线性操作捕获抽象特征，从而更具表征性。例如，卷积神经网络CNN能够从数据中以滑动窗口的机制提取局部特征，而Transformer可以依赖于自注意力机制动态计算全局上下文。然而，CNN仅关注局部而忽略了全局依赖，Transformer在各层均捕获相似的全局特征而造成冗余。因此，在本方明中，我们提出在卷积特征图上执行改进的自注意力机制，来捕获具有不同表示。

技术实现思路

[0004]本专利技术的目的在于针对上述问题，提出一种基于空时建模的多尺度变化目标检索方法，针对具有空间
‑
时序多维度数据中检索多尺度变化目标，通过跨时态的联合全局注意力机制抑制无关差异，并构建联合逐像素减法和参数化学习的双分支学习差异，最后通过轻量的全局空间注意力机制完成多水平特征融合，有助于提高多尺度变化目标检索的精度和泛化性能。
[0005]为实现上述目的，本专利技术所采取的技术方案为：
[0006]本专利技术提出的一种基于空时建模的多尺度变化目标检索方法，包括如下步骤：
[0007]S1、将遥感图像对X1和X2分割为若干相同空间大小的图像块；
[0008]S2、利用预训练网络ResNet18模型对各子图提取抽象特征图F1和F2，ResNet18模型各阶段输出尺寸包括4W
×
4H
×
d、2W
×
2H
×
d和W
×
H
×
d，其中，W、H和d分别为宽度、高度和通道深度；
[0009]S3、通过跨时态的联合全局注意力机制对F1和F2一起建模，所述跨时态的联合全局注意力机制操作具体如下：
[0010]S31、将相同尺寸的特征图F1和F2线性展开获得(查询Q向量，键K向量，值V向量)形式的向量组(Q1,K1,V1)和(Q2,K2,V2)，以W
×
H
×
d为例，Q、K和V的尺寸均为N
×
d，N＝W
×
H；
[0011]S32、将Q1和Q2通过线性函数将其压缩为(N/2)
×
d，然后再将其拼接成为一个新的查询向量Q
joint
，尺寸为N
×
d；
[0012]S33、基于交换后的查询向量Q
joint
与S31步骤中的键
‑
值对向量组(K1,V1)和(K2,V2)
分别计算全局注意力输出F
joint
‑1和F
joint
‑2，尺寸均为W
×
H
×
d；
[0013]S4、对相同尺寸的特征图F
joint
‑1和F
joint
‑2执行联合逐像素减法和参数化学习的双分支差异捕获操作获取差异特征图F
sub
和F
cat
；
[0014]所述双分支差异捕获操作具体如下：
[0015]S41、在逐像素减法分支中，计算相同尺寸的特征图F
joint
‑1和F
joint
‑2之间逐像素的差值，获得差异特征图F
sub
；
[0016]S42、在参数化学习的分支中，先通过沿着通道方向堆叠相同尺寸的特征图F
joint
‑1和F
joint
‑2，然后再使用多个保持尺寸不变的卷积层进行非线性特征捕获，获得差异特征图F
cat
；
[0017]S5、针对多尺寸的差异特征图F
sub
和F
cat
，使用轻量的全局空间注意力进行多尺寸的特征图融合，以尺寸包括W
×
H
×
d、2W
×
2H
×
d和4W
×
4H
×
d的多尺寸的差异特征图F
sub
为例，特征图融合操作具体如下：
[0018]S51、将尺寸为W
×
H
×
d的特征图F
sub
‑1插值上采样，并与尺寸为2W
×
2H
×
d的特征图F
sub
‑2沿着通道方向进行堆叠，然后通过轻量的全局空间注意力完成初步融合；
[0019]S52、将S51步骤中中初步融合的特征图插值上采样，并与尺寸为4W
×
4H
×
d的特征图F
sub
‑3沿着通道方向进行堆叠，然后通过轻量的全局空间注意力完成进一步融合；
[0020]S6、最后将特征融合后的特征图进行插值上采样到S1步骤中图像块的尺寸，并通过卷积变换和Sigmoid函数将变化目标像素变为1，非变化区域像素为0，完成变化目标检测。
[0021]优选地，步骤S1中，所述图像块的尺寸为256
×
256。
[0022]优选地，步骤S2中，ResNet18模型各阶段输出尺寸为64
×
64
×
64、32
×
32
×
128和16
×
16
×
256。
[0023]优选地，步骤32中，所述将Q1和Q2通过线性函数将其压缩为(N/2)
×
d，然后再将其拼接成为一个新的查询向量Q
joint
，计算公式如下：
[0024]Q
joint
＝Concat(Linear(Q1),Linear(Q2))(1)
[0025]其中，Linear(
·
)为线性函数，Concat(
·
)为沿着通道方向进行拼接操作。
[0026]优选地，步骤33中，所述基于交换后的查询向量Q
joint
与S31步骤中的键
‑
值对向量组(K1,V1)和(K2,V2)分别计算全局注意力输出F
joint
‑1和F
joint
‑2，计算公式如下：
[0027][0028]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于空时建模的多尺度变化目标检索方法，其特征在于：所述基于空时建模的多尺度变化目标检索方法包括如下步骤：S1、将遥感图像对X1和X2分割为若干相同空间大小的图像块；S2、利用预训练网络ResNet18模型对各子图提取抽象特征图F1和F2，ResNet18模型各阶段输出尺寸包括4W
×
4H
×
d、2W
×
2H
×
d和W
×
H
×
d，其中，W、H和d分别为宽度、高度和通道深度；S3、通过跨时态的联合全局注意力机制对F1和F2一起建模，所述跨时态的联合全局注意力机制操作具体如下：S31、将相同尺寸的特征图F1和F2线性展开获得(查询Q向量，键K向量，值V向量)形式的向量组(Q1,K1,V1)和(Q2,K2,V2)，以W
×
H
×
d为例，Q、K和V的尺寸均为N
×
d，N＝W
×
H；S32、将Q1和Q2通过线性函数将其压缩为(N/2)
×
d，然后再将其拼接成为一个新的查询向量Q
joint
，尺寸为N
×
d；S33、基于交换后的查询向量Q
joint
与S31步骤中的键
‑
值对向量组(K1,V1)和(K2,V2)分别计算全局注意力输出F
joint
‑1和F
joint
‑2，尺寸均为W
×
H
×
d；S4、对相同尺寸的特征图F
joint
‑1和F
joint
‑2执行联合逐像素减法和参数化学习的双分支差异捕获操作获取差异特征图F
sub
和F
cat
；所述双分支差异捕获操作具体如下：S41、在逐像素减法分支中，计算相同尺寸的特征图F
joint
‑1和F
joint
‑2之间逐像素的差值，获得差异特征图F
sub
；S42、在参数化学习的分支中，先通过沿着通道方向堆叠相同尺寸的特征图F
joint
‑1和F
joint
‑2，然后再使用多个保持尺寸不变的卷积层进行非线性特征捕获，获得差异特征图F
cat
；S5、针对多尺寸的差异特征图F
sub
和F
cat
，使用轻量的全局空间注意力进行多尺寸的特征图融合，以尺寸包括W
×
H
×
d、2W
×
2H
×
d和4W
×
4H
×
d的多尺寸的差异特征图F
sub
为例，特征图融合操作具体如下：S51、将尺寸为W
×
H
×
d的特征图F
sub
‑1插值上采样，并与尺寸为2W
×
2H
×
d的特征图F
sub
‑2沿着通道方向进行堆叠，然后通过轻量的全局空间注意力完成初步融合；S52、将S51步骤中中初步融合的特征图插值上采样，并与尺寸为4W
×
4H
×
...

【专利技术属性】
技术研发人员：郑建炜，冯宇超，吴彭江，蒋嘉伟，徐宏辉，
申请(专利权)人：绍兴市能源检测院，
类型：发明
国别省市：