【技术实现步骤摘要】
本专利技术涉及一种使用多层级差异特征自适应融合的遥感图像变化检测方法，属于遥感图像检测。
技术介绍
0、技术背景
1、遥感图像变化检测是遥感的应用分支之一，遥感图像变化检测可以应用于自然资源管理、灾害监测、城市规划、环境监测、农业管理、建筑物和基础设施监测等场景。传统的遥感变化检测方法经过几十年的发展可以分为后分类方法(pccm)、变换向量分析(cva)方法、直接分类方法(dcm)等。然而传统的变换检测方法大都依赖于手工制作特征的方法，并且随着近些年高分辨率图像和多光谱的图像的出现使得提取到的特征信息和光谱信息更佳复杂。但是传统的变化检测方法由于对其实际场景的描述能力有限从而导致在复杂的环境下检测性能不佳。
2、近些年随着深度学习的兴起，将深度学习应用到遥感图像变换检测任务上已成为一种不可逆的趋势，到目前为止在基于深度学习的遥感图像变换检测任务上已经有了许多研究。zhang等人在融合双时相特征图时通过引入通道注意力和空间注意力来解决双时相特征间的异构性问题，并提出了深度监督方法训练差异识别网络的中间层。fang等人为了使高层特征和低层特征自然聚合,在语义分割网络unet++的基础上设计出了snunet-cd并在深度监督上引入了通道注意力来抑制深度监督带来的语义鸿沟。zheng等人提出了一种新型的暹罗cnn结构，通过在结构中引入了高频注意力块(hfab)让模型有效的识别遥感图像中变化的建筑物。lv等人在变化检测模型中引入了变化幅度图像(cmi)并提出了多尺度扩张卷积模块(mdcm)来帮助模型进行训练，从而提
3、近些年随着遥感图像成像设备的发展，遥感图像的质量越来越高。超高分辨率图像逐渐被用于变换检测任务当中，但是也为当前的研究带来了挑战。由于超高分辨率遥感图像包含丰富的信息使得现有的方法无法充分地对地物信息进行特征提取从而导致变换检测的效果不佳。此外，现有使用cnn进行特征提取的变换检测方法由于cnn局部感受野的限制导致模型对大型地物的检测效果不佳。并且cnn难以处理长程依赖关系，使得其在处理复杂地物图像时的效果不佳。虽然使用transformer来代替cnn来进行特征提取可以缓解上述问题，但是由于其较高的计算成本以及模型的较高的复杂性使其在变换检测的应用上不是很广泛。同时由于transformer没有cnn所具有平移不变性的特点从而在处理图像的边缘和纹理上的效果不及cnn。
技术实现思路
1、针对现有方法中存在的问题，本专利技术的目的在于提供一种多层级差异特征自适应融合的遥感图像变化检测方法包括以下步骤：
2、将变化检测原数据集图片按照指定大小裁切成不重叠的子图，并划分为训练集、验证集、测试集。并且在输入进变化检测网络前进行数据增强；
3、将双时相数据输入进孪生编码器主干网络，通过主干网络不同层级来依次对双时相数据进行特征提取来获得多层级特征；
4、将主干网络在不同层级提取出的双时相特征分别输入到其分支对应的多层感知器进行初次解码后再输入进不同层级对应的增强差异特征提取模块来获取多层级差异特征；
5、将不同层级的差异特征上采样到同一大小后输入多层级特征自适应融合模块进行多层级差异特征融合；
6、将融合之后的差异特征输入进检测头，来进行像素级的遥感图像变化检测并生成检测完成后的变化预测图，迭代训练保存最好结果的模型参数；
7、将测试集的双时相遥感图片输入进遥感图像变化检测模型来得到对变化地物的预测。
8、进一步的，原数据集包括dsifn-cd、levir-cd和sysu-cd，将上述数据集裁切成256×256大小的不重叠图片再将这些图片按照各个数据集相应的比例划分为训练集，验证集，测试集；把训练集进行随机翻转裁切等操作，并使这些图片全部归一化后输入网络。
9、进一步的，所述的孪生编码器主干网络为使用了空洞邻域注意力机制的层次网络，即在指定大小的滑动窗口和空洞率下进行注意力运算；更具体为将输入分辨率大小为256×256的图像进行初始下采样升维操作，即使用两个连续的步长为2填充为1的并且卷积核大小为3的卷积将输入的图像大小变成64×64，通道数从3变成128；利用经过下采样操作后得到的特征图进行层归一化后进行空洞邻域注意力运算，即在窗口大小为7且根据不同的网络层级设置的相应空洞率下进行注意力运算；将运算后得到的特征图与不进行空洞邻域注意力的特征图进行相加后依次进行层归一化和多层感知机；将前面操作迭代n次来完成该层的特征提取，n根据层级的不同而变化，主干网络共有四级，每层的n设置为3，4，18，5，将该层级提取完成后的特征使用卷积核为3的卷积进行2倍下采样并且将通道数增加一倍后传入主干网络的下一层级直至末尾。
10、进一步的，所述的多层级差异特征提取模块，根据上述主干网络提取到的差异特征一共有四个层级，每个层级都是对孪生主干提取到的双时相特征进行通道相连和元素级绝对值相减，再分别通过非对称卷积后进行相加，再经过全局平均池化后输入进多层感知机最后通过sigmoid激活函数进行激活后与前面相乘后得到差异特征。
11、进一步的，所述的多层级自适应融合模块，具体为：将其他三个层级的差异特征上采样到与第一层级相同的分辨率，即64×64，并将这四个层级的差异特征在通道维度上拼接；将拼接后的差异特征进行通道级权重运算，即对输入的特征图分别进行全局最大池化和全局平均池化，再将两种池化操作后得到的不同特征输入进同一个多层感知机，再对通过多层感知机输出的不同特征进行相加，对相加之后的特征使用sigmoid函数进行激活后与进行最大池化前的输入特征进行相乘来得到最后的特征图；将经过注意力运算后的特征图再输入进轻量级多尺度变化融合模块来生成多层级融合特征，即先利用卷积核大小为1的卷积进行降维，将输入的通道维度减少四分之一后同时输入进空洞率为1，6，8，12的深度可分离卷积中，最后将这四个分支输出的特征进行拼接。
12、进一步的，将融合后的多层级差异特征输入进检测头生成预测变化图，所述的检测头具体为，使用反卷积进行上采样将特征图尺度提升到128×128，把上采样后的特征图输入进连续的卷积核大小为3的卷积进行差异特征图解码并且添加进残差连接，再使用反卷积将特征图上采样到256×256的大小后，进行一次3×3卷积和残差连接后使用卷积来生成预测变化图。
13、进一步的，在网络进行监督训练时，对于此类问题我们采用交叉熵损失函数；使用深度监督的方式进行模型训练，包括前面四个层级中对增强差异特征模块输出的差异特征进行监督训练；每个层级占有的权重不同，从第一层到最后融合的输出层，每层的权重依次为0.5，0.5，0.5，0.75，1。
14、与现有的技术相比，本专利技术具有如下有益成果：
15、1、本专利技术使用了一种应用了空洞邻域注意力的孪生主干来对双时相遥感图像特征提取，使用该主干的目的是在对超高分辨率遥感图像进行特征提取时可以细化边缘信息。并且由于空洞机本文档来自技高网...
【技术保护点】
1.一种基于多层级差异特征融合的遥感图像变化检测方法，其特征在于，包括如下步骤：
2.根据权利要求1中所述的数据预处理的过程，其特征在于，所述S1具体为，
3.根据权利要求1中所述的孪生编码器主干网络，其特征在于该主干网络中使用了空洞邻域注意力机制，即在指定大小的滑动窗口下进行注意力运算。所述S2包括：
4.根据权利要求1中所述的多层级差异特征提取，其特征在于，S3提取到的差异特征一共有四个层级，每个层级都是对孪生主干提取到的双时相特征进行通道相连和元素级绝对值相减以获取多元化的差异特征，
5.根据权利要求1中所述的多层级差异特征自适应融合模块，其特征在于，所述S4具体为将其他三个层级的差异特征上采样到同一尺度，并将这四个层级的差异特征在通道维度上拼接；将拼接后的多层级差异特征进行通道级加权运算使模型学习到有用的差异特征；经过注意力运算后再输入轻量级多尺度变化融合模块来进行多层级差异特征融合，具体用公式表述为：
6.根据权利要求1中所述的将多尺度差异特征输入进检测头生成变化预测图，其特征在于，所述的检测头具体为，使用反卷
...【技术特征摘要】
1.一种基于多层级差异特征融合的遥感图像变化检测方法，其特征在于，包括如下步骤：
2.根据权利要求1中所述的数据预处理的过程，其特征在于，所述s1具体为，
3.根据权利要求1中所述的孪生编码器主干网络，其特征在于该主干网络中使用了空洞邻域注意力机制，即在指定大小的滑动窗口下进行注意力运算。所述s2包括：
4.根据权利要求1中所述的多层级差异特征提取，其特征在于，s3提取到的差异特征一共有四个层级，每个层级都是对孪生主干提取到的双时相特征进行通道相连和元素级绝对值相减以获取多元化的差异特征，
5.根据权利要求1中所述的多层级差异特征自适应融合模块，...
【专利技术属性】
技术研发人员：张云佐，甄嘉闻，于璞泽，陈丹，沙金，王双双，刘婷，杨月辉，
申请(专利权)人：石家庄铁道大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。