本发明专利技术提供一种基于孪生网络与SwinTransformer的遥感影像变化检测方法，将下采样后融合的特征分别经过两个孪生网络的上采样子网进行上采样，则可以利用两个孪生网络下采样时丢失的空间信息，提高孪生网络模型的有效性；同时，第一特征图像和第二特征图像以加和的方式进行特征融合，并没有将特征进行拼接，若将特征进行拼接，影像的通道数将会变成原来的2倍，后续进行上采样时便需要更多的参数，计算量大大增加；本发明专利技术直接将两张特征图对应像素点的数值进行加和操作，没有增加通道数，在保证孪生网络模型效果不会下降时，使得后续上采样的模型参数大大减少，计算量也少。少。少。
【技术实现步骤摘要】
一种基于孪生网络与Swin Transformer的遥感影像变化检测方法
[0001]本专利技术属于图像处理
，尤其涉及一种基于孪生网络与Swin Transformer的遥感影像变化检测方法。
技术介绍
[0002]随着国家每年卫星发射规模的不断增长，卫星遥感数据已经进入一个快速增长的阶段。从这些庞大的遥感图像里提取信息，是遥感应用和遥感产业的基本生产方式。因此，如何从这些遥感图像中检测出变化信息已成为遥感应用领域中的一个重要研究方向，即遥感图像变化检测技术，它是指从不同时期的遥感图像中，定量地分析和确定地物变化的特征和过程的技术。现有的遥感图像变化检测通常采用孪生网络分别提取双时遥感影像的特征，再用拼接的方法融合双时遥感影像的特征，并将融合的特征用上采样恢复影像分辨率。
[0003]例如，CN14842351A公开了一种基于孪生Transformers的遥感图像语义变化检测方法，如图1所示，使用权值共享的两个Swin Transformers作为模型的编码器，直接对图像全局语义关系进行建模，并在解码阶段利用3D卷积模块和带有轴向注意力的反卷积模块将级联后的双时相特征生成多类别变化图；冯炜明等人在融合Transformer结构的高分辨率遥感影像变化检测网络中，提出了如图2所示的TSU
‑
Net，TSU
‑
Net融合具有自注意力机制的Transformer结构、跳跃连接结构及孪生结构，模型可从遥感影像中获取全局上下文信息，并通过跳跃连接结构将CNN获取的高分辨率特征图与全局上下文信息相融合，从而得到具有边界轮廓的遥感影像变化检测图。然而，CN14842351A进行上采样时没有融合下采样过程中损失的特征，且特征融合模块使用Conv3D，使得模型参数较多；TSU
‑
Net进行上采样时没有引入注意力机制，并用拼接的方法融合图像特征，增大了后续上采用时模型的参数。
技术实现思路
[0004]为解决上述问题，本专利技术提供一种基于孪生网络与Swin Transformer的遥感影像变化检测方法，可利用更多下采样过程损失的空间特征，上采样的下采样过程均使用Swin
‑
Transformer block，从而引入注意力机制，提高孪生网络模型的有效性，同时特征融合使用加和操作，能够减少孪生网络模型参数。
[0005]一种基于孪生网络与Swin Transformer的遥感影像变化检测方法，所述孪生网络包括下采样子网和上采样子网，所述方法包括以下步骤：
[0006]将两个时刻获取的遥感图像分别输入两个下采样子网进行下采样，分别得到第一下采图像和第二下采图像；
[0007]第一下采图像和第二下采图像分别进行Swin Transformer block操作，得到第一特征图像和第二特征图像；
[0008]第一特征图像和第二特征图像以加和的方式进行特征融合，得到第一融合图像；
[0009]将第一融合图像分别输入两个上采样子网进行上采样，分别得到第一上采图像和
第二上采图像；
[0010]第一上采图像和第二上采图像以相乘的方式进行特征融合，得到表征两个时刻获取的遥感图像之间的相对变化的变化图像。
[0011]进一步地，遥感影像的尺寸为(W,H,3)，且下采样子网对遥感图像进行下采样的方法为：
[0012]对遥感图像进行patch partition操作，得到大小变为(W/4,H/4,48)的遥感图像；
[0013]将大小为(W/4,H/4,48)的遥感图像进行Embeding操作，得到大小变为(W/4,H/4,96)的遥感图像；
[0014]将大小为(W/4,H/4,96)的遥感图像进行第一次Swin Transformer block操作，得到特征初提取后且大小仍为(W/4,H/4,96)的一阶下采样特征图像；
[0015]将大小为(W/4,H/4,96)一阶下采样特征图像进行第一次Patch Merging操作，得到大小变为(W/8,H/8,192)的一阶下采样特征图像；
[0016]将大小为(W/8,H/8,192)的一阶下采样特征图像进行第二次Swin Transformer block操作，得到特征二次提取后且大小仍为(W/8,H/8,192)的二阶下采样特征图像；
[0017]将大小为(W/8,H/8,192)二阶下采样特征图像进行第二次Patch Merging操作，得到大小变为(W/16,H/16,394)的二阶下采样特征图像，并将大小为(W/16,H/16,394)的二阶下采样特征图像作为下采样子网最终输出的下采图像。
[0018]进一步地，上采样子网对第一融合图像进行上采样的方法为：
[0019]将大小为(W/16,H/16,394)的第一融合图像进行第一次Patch Expanding操作，得到大小为(H/8,W/8,192)的第一融合图像；
[0020]将大小为(W/8,H/8,192)的二阶下采样特征图像以跳跃链接的方式与大小为(H/8,W/8,192)的第一融合图像进行拼接，得到大小为(W/8,H/8,192)的第一拼接特征图像；
[0021]将大小为(W/8,H/8,192)的第一拼接特征图像进行第一次Swin Transformer block操作，得到特征初提取后且大小仍为(W/8,H/8,192)的一阶上采样特征图像；
[0022]将大小为(W/8,H/8,192)的一阶上采样特征图像进行第二次Patch Expanding操作，得到大小为(H/4,W/4,96)的一阶上采样特征图像；
[0023]将大小为(W/4,H/4,96)的一阶下采样特征图像以跳跃链接的方式与大小为(H/4,W/4,96)的一阶上采样特征图像进行拼接，得到大小为(W/4,H/4,96)的第二拼接特征图像；
[0024]将大小为(W/4,H/4,96)的第二拼接特征图像进行第二次Swin Transformer block操作，得到特征二次提取后且大小仍为(W/4,H/4,96)的二阶上采样特征图像；
[0025]将大小为(W/4,H/4,96)的二阶上采样特征图像进行第三次Patch Expanding操作，得到大小为(H,W,48)的二阶上采样特征图像；
[0026]将大小为(H,W,48)的二阶上采样特征图像进行Linear Projection操作，得到大小变为(H,W,N)的上采图像，其中，N为遥感图像可能发生的变化情况数目。
[0027]进一步地，当N＝2时，可能发生的变化情况包括：两个时刻获取的遥感图像相对于对方未发生变化、两个时刻获取的遥感图像相对于对方发生了变化；
[0028]当N≥对时，可能发生的变化情况包括：两个时刻获取的遥感图像相对于对方未发生变化、两个时刻获取的遥感图像相对于对方发生了变化且由物体A变成了物体Bi，其中，i＝1,2,
…
本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于孪生网络与Swin Transformer的遥感影像变化检测方法，其特征在于，所述孪生网络包括下采样子网和上采样子网，所述方法包括以下步骤：将两个时刻获取的遥感图像分别输入两个下采样子网进行下采样，分别得到第一下采图像和第二下采图像；第一下采图像和第二下采图像分别进行Swin Transformer block操作，得到第一特征图像和第二特征图像；第一特征图像和第二特征图像以加和的方式进行特征融合，得到第一融合图像；将第一融合图像分别输入两个上采样子网进行上采样，分别得到第一上采图像和第二上采图像；第一上采图像和第二上采图像以相乘的方式进行特征融合，得到表征两个时刻获取的遥感图像之间的相对变化的变化图像。2.如权利要求1所述的一种基于孪生网络与Swin Transformer的遥感影像变化检测方法，其特征在于，遥感影像的尺寸为(W,H,3)，且下采样子网对遥感图像进行下采样的方法为：对遥感图像进行patch partition操作，得到大小变为(W/4,H/4,48)的遥感图像；将大小为(W/4,H/4,48)的遥感图像进行Embeding操作，得到大小变为(W/4,H/4,96)的遥感图像；将大小为(W/4,H/4,96)的遥感图像进行第一次Swin Transformer block操作，得到特征初提取后且大小仍为(W/4,H/4,96)的一阶下采样特征图像；将大小为(W/4,H/4,96)一阶下采样特征图像进行第一次Patch Merging操作，得到大小变为(W/8,H/8,192)的一阶下采样特征图像；将大小为(W/8,H/8,192)的一阶下采样特征图像进行第二次Swin Transformer block操作，得到特征二次提取后且大小仍为(W/8,H/8,192)的二阶下采样特征图像；将大小为(W/8,H/8,192)二阶下采样特征图像进行第二次Patch Merging操作，得到大小变为(W/16,H/16,394)的二阶下采样特征图像，并将大小为(W/16,H/16,394)的二阶下采样特征图像作为下采样子网最终输出的下采图像。3.如权利要求2所述的一种基于孪生网络与Swin Transformer的遥感影像变化检测方法，其特征在于，上采样子网对第一融合图像进行上采样的方法为：将大小为(W/16,H/1...
【专利技术属性】
技术研发人员：唐逸卓，姜明勇，郭宁博，曹政韬，
申请(专利权)人：中国人民解放军战略支援部队航天工程大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。