基于图卷积的遥感图像变化检测方法、装置和计算机设备制造方法及图纸

本申请涉及图像处理技术领域的一种基于图卷积的遥感图像变化检测方法、装置和计算机设备。该方法对获取的双时相遥感图像进行标注得到训练样本，构建遥感图像变化检测网络，采用训练样本进行训练；采用训练好的遥感图像变化检测网络检测待测双时相遥感图像，得到遥感图像变化检测结果。其中该网络包括两条由结构和参数均相同的骨干网络和EF模块组成的特征提取支路、一个图卷积编码模块、两个结构相同的图卷积解码模块和输出网络；特征提取支路用于提取训练样本的图像特征和边界信息，图卷积编码模块用于对双时相图像融合后的特征进行编码，图卷积解码模块用于融合多层次特征差异并预测变化掩码。采用本方法可以精准的预测图片的变化区域。片的变化区域。片的变化区域。

【技术实现步骤摘要】
基于图卷积的遥感图像变化检测方法、装置和计算机设备


[0001]本申请涉及图像处理
，特别是涉及一种基于图卷积的遥感图像变化检测方法、装置和计算机设备。

技术介绍

[0002]变化检测(Change Detection)是遥感图像分析中的一项重要任务，通过比较在不同时间拍摄的同一区域的双时态图像，为区域中的每个像素分配二进制标签(即改变或不变)。遥感图像变化检测基于深度神经网络的强大辨别能力取得了显著的成功，但对于高分辨率的遥感变化检测任务仍然无法很好的聚合上下文信息。

技术实现思路

[0003]基于此，有必要针对上述技术问题，提供一种基于图卷积的遥感图像变化检测方法、装置和计算机设备。
[0004]一种基于图卷积的遥感图像变化检测方法，所述方法包括：
[0005]获取双时相遥感图像，并对所述双时相遥感图像进行标注，得到训练样本。
[0006]构建基于图卷积的遥感图像变化检测网络；所述遥感图像变化检测网络包括两条由结构和参数均相同的骨干网络和边界感知融合模块组成的特征提取支路、一个图卷积编码模块、两个结构相同的图卷积解码模块、以及输出网络；所述特征提取支路用于通过骨干网络提取训练样本的特征，将得到的图像特征进行拼接得到融合特征，采用边界感知融合模块通过浅层骨干网络进行多个尺度的边界信息提取，并将图像特征与边界信息拼接后得到单时相图像特征；所述图卷积编码模块用于采用图卷积对所述融合特征进行编码，得到双时相图像编码特征；所述图卷积解码模块用于采用图卷积对所述单时相图像特征和所述双时相图像编码特征进行解码，得到图像解码特征；所述输出网络用于根据两个图卷积解码模块输出的图像解码特征的差异特征图进行上采样操作，得到变化检测预测结果。
[0007]利用训练样本的标注和将训练样本输入到遥感图像变化检测网络得到的变化检测预测结果对遥感图像变化检测网络进行训练，得到训练好的遥感图像变化检测网络。
[0008]采用训练好的遥感图像变化检测网络对待测双时相遥感图像进行检测，得到遥感图像变化检测结果。
[0009]在其中一个实施例中，训练样本包括第一时相遥感图像训练样本和第二时相遥感图像训练样本。
[0010]利用训练样本的标注和将训练样本输入到遥感图像变化检测网络得到的变化检测预测结果对遥感图像变化检测网络进行训练，得到训练好的遥感图像变化检测网络，包括：
[0011]将所述第一时相遥感图像训练样本和所述第二时相遥感图像训练样本分别输入到两条特征提取支路中，得到融合特征、第一时相遥感图像特征和第二时相遥感图像特征。
[0012]将所述融合特征输入到所述图卷积编码模块中，得到双时相图像编码特征。
[0013]将所述第一时相遥感图像特征和所述双时相图像编码特征输入到第一个所述图卷积解码模块中，得到第一时相图像解码特征。
[0014]将所述第二时相图像特征和所述双时相图像编码特征输入到第二个所述图卷积解码模块中，得到第二时相图像解码特征。
[0015]将所述第一时相图像解码特征和所述第二时相图像解码特征输入到输出网络中，得到变化检测预测结果。
[0016]根据所述变化检测预测结果和训练样本的标注对遥感图像变化检测网络进行反向训练，得到训练好的遥感图像变化检测网络。
[0017]在其中一个实施例中，所述特征提取支路中的骨干网络是将Resnet50网络去掉分类头得到的。
[0018]将所述第一时相遥感图像训练样本和所述第二时相遥感图像训练样本分别输入到两条特征提取支路中，得到融合特征、第一时相遥感图像特征和第二时相遥感图像特征，包括：
[0019]将所述第一时相遥感图像训练样本输入到第一条特征提取支路的骨干网络中，得到第一时相遥感图像特征。
[0020]将所述骨干网络的第一至三层的特征输入到第一条特征提取支路的边界感知融合模块中，得到第一时相遥感图像边界信息。
[0021]将所述第一时相遥感图像特征与第一时相遥感图像边界信息进行拼接，得到第一时相图像特征。
[0022]将所述第二时相遥感图像训练样本输入到第二条特征提取支路中，得到第二时相遥感图像特征和第二时相图像特征。
[0023]将所述第一时相遥感图像特征和所述第二时相遥感图像特征进行拼接，得到融合特征。
[0024]在其中一个实施例中，将所述骨干网络的第一至三层的特征输入到第一条特征提取支路的边界感知融合模块中，得到第一时相遥感图像边界信息，包括：
[0025]将所述骨干网络的第一至三层的特征输入到第一条特征提取支路的边界感知融合模块中，将骨干网络的第二层的特征进行上采样后与骨干网络的第一层的特征进行通道融合，得到第一中间特征。
[0026]将骨干网络的第三层的特征进行上采样后与骨干网络的第二层的特征进行通道融合，得到第二中间特征。
[0027]将所述第二中间特征上采样后与第一中间特征进行通道融合，将融合结果采用点卷积处理后，得到第一时相遥感图像边界信息。
[0028]在其中一个实施例中，所述图卷积编码模块包括：空间注意力图卷积编码支路和通道注意力图卷积支路；其中，所述空间注意力图卷积编码支路包括：步长卷积层、空间注意力图卷积模块、最近邻插值模块以及点卷积层；所述通道注意力图卷积支路包括两个线性变换函数、通道注意力图卷积模块以及点卷积层。
[0029]所述图卷积编码模块中：
[0030]将所述融合特征经过步长卷积层处理后得到新的特征X
s
。
[0031]将新的特征X
s
输入到所述空间注意力图卷积模块中，得到空间图卷积特征M
s
为：
[0032][0033]其中，μ(
·
)、φ(
·
)均为线性变换，代表邻接矩阵，W
s
为空间注意力图卷积的参数矩阵。
[0034]将所述空间图卷积特征M
s
采用最近邻插值法处理后与所述融合特征相乘，然后采用点卷积层处理，得到空间注意力图卷积编码支路的输出。
[0035]将融合特征分别采用第一个线性变换和第二个线性变换进行处理，将得到的第一线性变换结果和第二线性变换结果相乘，得到新的特征X
f
。
[0036]将新的特征X
f
输入到所述通道卷积注意力图卷积模块中，得到通道图卷积特征M
f
为：
[0037]M
f
＝(I+A
f
)X
f
W
f
其中，I为单位矩阵，I+A
f
为邻接矩阵，W
f
为通道注意力图卷积的参数矩阵。
[0038]将第二线性变换结果与所述通道图卷积特征M
f
相乘后输入到点卷积层，得到通道注意力图卷积支路的输出。
[0039]将所述空间注意力图卷积编码支路的输出和所述通道注意力图卷积编码支路的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图卷积的遥感图像变化检测方法，其特征在于，所述方法包括：获取双时相遥感图像，并对所述双时相遥感图像进行标注，得到训练样本；构建基于图卷积的遥感图像变化检测网络；所述遥感图像变化检测网络包括两条由结构和参数均相同的骨干网络和边界感知融合模块组成的特征提取支路、一个图卷积编码模块、两个结构相同的图卷积解码模块、以及输出网络；所述特征提取支路用于通过骨干网络提取训练样本的特征，将得到的图像特征进行拼接得到融合特征，采用边界感知融合模块通过浅层骨干网络进行多个尺度的边界信息提取，并将图像特征与边界信息拼接后得到单时相图像特征；所述图卷积编码模块用于采用图卷积对所述融合特征进行编码，得到双时相图像编码特征；所述图卷积解码模块用于采用图卷积对所述单时相图像特征和所述双时相图像编码特征进行解码，得到图像解码特征；所述输出网络用于根据两个图卷积解码模块输出的图像解码特征的差异特征图进行上采样操作，得到变化检测预测结果；利用训练样本的标注和将训练样本输入到遥感图像变化检测网络得到的变化检测预测结果对遥感图像变化检测网络进行训练，得到训练好的遥感图像变化检测网络；采用训练好的遥感图像变化检测网络对待测双时相遥感图像进行检测，得到遥感图像变化检测结果。2.根据权利要求1所述的方法，其特征在于，训练样本包括第一时相遥感图像训练样本和第二时相遥感图像训练样本；利用训练样本的标注和将训练样本输入到遥感图像变化检测网络得到的变化检测预测结果对遥感图像变化检测网络进行训练，得到训练好的遥感图像变化检测网络，包括：将所述第一时相遥感图像训练样本和所述第二时相遥感图像训练样本分别输入到两条特征提取支路中，得到融合特征、第一时相遥感图像特征和第二时相遥感图像特征；将所述融合特征输入到所述图卷积编码模块中，得到双时相图像编码特征；将所述第一时相遥感图像特征和所述双时相图像编码特征输入到第一个所述图卷积解码模块中，得到第一时相图像解码特征；将所述第二时相图像特征和所述双时相图像编码特征输入到第二个所述图卷积解码模块中，得到第二时相图像解码特征；将所述第一时相图像解码特征和所述第二时相图像解码特征输入到输出网络中，得到变化检测预测结果；根据所述变化检测预测结果和训练样本的标注对遥感图像变化检测网络进行反向训练，得到训练好的遥感图像变化检测网络。3.根据权利要求2所述的方法，其特征在于，所述特征提取支路中的骨干网络是将Resnet50网络去掉分类头得到的；将所述第一时相遥感图像训练样本和所述第二时相遥感图像训练样本分别输入到两条特征提取支路中，得到融合特征、第一时相遥感图像特征和第二时相遥感图像特征，包括：将所述第一时相遥感图像训练样本输入到第一条特征提取支路的骨干网络中，得到第一时相遥感图像特征；将所述骨干网络的第一至三层的特征输入到第一条特征提取支路的边界感知融合模块中，得到第一时相遥感图像边界信息；
将所述第一时相遥感图像特征与第一时相遥感图像边界信息进行拼接，得到第一时相图像特征；将所述第二时相遥感图像训练样本输入到第二条特征提取支路中，得到第二时相遥感图像特征和第二时相图像特征；将所述第一时相遥感图像特征和所述第二时相遥感图像特征进行拼接，得到融合特征。4.根据权利要求3所述的方法，其特征在于，将所述骨干网络的第一至三层的特征输入到第一条特征提取支路的边界感知融合模块中，得到第一时相遥感图像边界信息，包括：将所述骨干网络的第一至三层的特征输入到第一条特征提取支路的边界感知融合模块中，将骨干网络的第二层的特征进行上采样后与骨干网络的第一层的特征进行通道融合，得到第一中间特征；将骨干网络的第三层的特征进行上采样后与骨干网络的第二层的特征进行通道融合，得到第二中间特征；将所述第二中间特征上采样后与第一中间特征进行通道融合，将融合结果采用点卷积处理后，得到第一时相遥感图像边界信息。5.根据权利要求2所述的方法，其特征在于，所述图卷积编码模块包括：空间注意力图卷积编码支路和通道注意力图卷积支路；其中，所述空间注意力图卷积编码支路包括：步长卷积层、空间注意力图卷积模块、最近邻插值模块以及点卷积层；所述通道注意力图卷积支路包括两个线性变换函数、通道注意力图卷积模块以及点卷积层；所述图卷积编码模块中：将所述融合特征经过步长卷积层处理后得到新的特征X
s
；将新的特征X
s
输入到所述空间注意力图卷积模块中，得到空间图卷积特征M
s
：其中，μ(
·
)、φ(
·
)均为线性变换，代表邻接矩阵，W
s
为空间注意力图卷积的参数矩阵；将所述空间图卷积特征M
s
采用最近邻插值法处理后与所述融合特征相乘，然后采用点卷积层处理，得到空间注意力图卷积编码支路的输出；将融合特征分别采用第一个线性变换和第二个线性变换进行处理，将得到的第一线性变换结果和第二线性变换结果相乘，得到新的特征X
f
；将新的特征X
f
输入到所述通道卷积注意力图卷积模块中，得到通道图卷积特征M
f
为：M
f
＝(I+A
f
)X
...

【专利技术属性】
技术研发人员：王威，刘聪，王新，李骥，张文杰，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：