图像间变化检测的局部和全局深度对比特征学习网络构建方法技术

本发明专利技术公开了一种图像间变化检测的局部和全局深度对比特征学习网络构建方法，包括：对输入图像进行编码获得全局高维表示特征；构造特征域与全局特征相似的正样本数据和不相似的负样本数据；度量全局特征与构建的正负样本数据之间的关联程度；建立特征域层级化输入的带约束先验模型；获得最优的编码表示特征；迭代优化概率模型，求解差异概率图矩阵；输出二值变化结果图。本发明专利技术充分利用特征域层级化输入的结构信息，构建一个基于正负样本的全局特征、局部特征和先验损失三项的网络损失函数，通过优化损失函数更新编码器的参数，使得编码器能有效地学习图像间的局部和全局深度对比特征，体现抽象的语义信息和空间信息的关联性。联性。联性。

【技术实现步骤摘要】
图像间变化检测的局部和全局深度对比特征学习网络构建方法


[0001]本专利技术属于遥感图像处理
，具体涉及一种图像间变化检测的局部和全局深度对比特征学习网络构建方法。

技术介绍

[0002]遥感图像的变化检测是针对同一区域不同时间所获取的多时相遥感影像进行定量地分析和确定地物变化的特征的过程。变化检测的目的是找到变化区域并用二值图进行表示。变化检测任务能及时准确地检测地球表面特征，为更好地理解人与自然现象之间的关系和相互作用提供了基础，从而可以更好地管理和使用资源，具有迫切的科学应用需求和广泛的应用前景。该技术已在森林防火变迁，环境变化，冰川的变化，城市扩张，农田检测，洪水预警，道路分析，地震灾后探测和军事的动态监测领域获得了广泛的应用。
[0003]目前的变化检测方法大多针对同源图像，即同一传感器获取的图像。例如SAR影像变化检测，图像中未变化的区域呈现出相同的特征，可以直接进行比较，相对较为简单。但在实际应用中受到很多限制，因为要检测某一区域某一事件发生后产生的变化情况，不仅要有事件前该区域的图像，还需要事件后该区域同一传感器的图像。如果都采用SAR传感器，虽然SAR图像不受天气和光照影响，可以全天时工作，但又由于雷达回波特性的影响，SAR图像大多受乘性斑点噪声的影响。光学图像几乎覆盖全球，而如果仅采用光学传感器，则图像质量易受光照和天气的影响，如果事件紧急，很难进行快速检测。例如在地震救援中，由于受天气影响，光学传感器很难在第一时间获取受灾区域的高质量图像，SAR传感器可以不受天气干扰，因此大多第一时间获取的是SAR图像。由于SAR图像覆盖范围不广，很难找到受灾区域震前的SAR图像与之比较，但光学图像覆盖范围广，因此很容易得到受灾区域的震前图像。因此，首先考虑结合光学图像和SAR图像的优势进行变化检测分析。故异源图像中的变化检测已经成为研究的重点，但也是一个巨大的挑战，即如何度量异质图像之间的差异信息。一种采用网络的有效方法是基于端到端的方法[Gong M G,Zhao J J,Liu J,et al.Change Detection in Synthetic Aperture Radar Images Based on Deep Neural Networks[J].IEEE Transactions on Neural Networks and Learning Systems,2017,27(1):125
‑
138.]。对输入的两幅图像直接使用经过训练的深度神经网络生成变化检测图。该方法省略生成差异图像的过程，网络输出的结果即为变化检测二值图像。另一种是基于网络生成差异图的方法，如SCNN方法[Liu J,Gong M G,Qin K,et al.A Deep Convolutional Coupling Network for Change Detection Based on Heterogeneous Optical and Radar Images[J].IEEE Transactions on Neural Networks and Learning Systems,2018,29(3):545
‑
559.]。采用无监督学习提取异源图像的局部特征并转换到相同特征空间中以进行比较，优化训练神经网络，最终得到差异图，再对差异图采用聚类的方法进行分析，从而获得二值变化检测图像。上述两种方法都没有最大化特征域中全局特征与局部特征之间和与之相似特征(正样本)之间的关联，最小化与全局特征不相似特征(负样
本)之间的关联，难以有效的建立空间关联。

技术实现思路

[0004]本专利技术的目的是提供一种图像间变化检测的局部和全局深度对比特征学习网络构建方法，该方法通过特征域层级化输入的结构信息，提升样本的信息利用率；利用构建图像的正负样本的对比损失函数来学习模型参数，无需人工手动分析特征，是一种无监督的方法。
[0005]实现本专利技术目的的技术解决方案为：一种图像间变化检测的局部和全局深度对比特征学习网络构建方法，包括如下步骤：
[0006](1)利用网络对输入图像进行编码获得全局高维表示特征和中间层特征；
[0007](2)构造全局正负样本数据和局部正负样本数据；
[0008](3)构造对比损失函数；
[0009](4)求解差异概率图矩阵；
[0010](5)对差异概率图矩阵进行聚类，输出二值变化结果图。
[0011]进一步的，输入不同时期同一场景的一幅图像X1∈R
W
×
H
和一幅图像X2∈R
W
×
H
，W表示图像的宽度，H表示图像的高度。
[0012]进一步的，将原始图像按像素随机取块x
i
,(i＝1,2,...,N)，块x
i
拉成一个一维向量作为编码器E
ψ
(x
i
)的输入图像，获得特征域的全局高维表示特征(高维特征表示最后一层特征)y
ψ
和中间层特征M
ψ
。
[0013]进一步的，构造全局正负样本数据和局部正负样本数据，具体过程为：
[0014](1)全局正负样本数据：中间层特征M
ψ
作为全局正样本数据y
ψ
。将每个批次的第一张图片的中间层特征与该批次的末尾特征合并，构造全局负样本数据M_prime
ψ
；
[0015](2)局部正负样本数据：将中间层特征M
ψ
与全局高维特征y
ψ
拼接，得到局部正样本数据y_M
ψ
。将全局负样本的中间层特征M_prime
ψ
和高维特征y
ψ
拼接，得到局部负样本数据y_M_prime
ψ
。
[0016]进一步的，构造对比损失函数，具体如下：
[0017](1)全局特征损失函数定义为：
[0018][0019]其中，表示全局特征判别器，S
p
表示激活函数，E表示求期望。
[0020](2)局部特征损失函数定义为：
[0021][0022]其中，表示局部特征判别器，S
p
表示激活函数，E表示求期望。
[0023](3)先验损失函数PRIOR
φ，ψ
为：
[0024]PRIOR
φ，ψ
＝
‑
(log(P
φ
(y
rand
)+log(1
‑
P
φ
(y
ψ
)))
[0025]其中，P
φ
表示先验判别器，y
rand
为服从U(0，1)均匀分布的随机向量，与y
ψ
的大小保持一致。
[0026]本专利技术在特征域中构建与全局特征相关的正样本数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像间变化检测的局部和全局深度对比特征学习网络构建方法，其特征在于，包括如下步骤：(1)利用网络对输入图像进行编码获得全局高维表示特征和中间层特征；(2)构造全局正负样本数据和局部正负样本数据；(3)构造对比损失函数；(4)求解差异概率图矩阵；(5)对差异概率图矩阵进行聚类，输出二值变化结果图。2.根据权利要求1所述的图像间变化检测的局部和全局深度对比特征学习网络构建方法，其特征在于，输入不同时期同一场景的两幅图像：X1∈R
W
×
H
和X2∈R
W
×
H
，W表示图像的宽度，H表示图像的高度。3.根据权利要求2所述的图像间变化检测的局部和全局深度对比特征学习网络构建方法，其特征在于，将原始图像按像素随机取块x
i
，i＝1，2，...，N，块x
i
拉成一个一维向量作为编码器E
ψ
(x
i
)的输入，获得特征域的全局高维表示特征y
ψ
和中间层特征M
ψ
，全局高维特征表示最后一层特征。4.根据权利要求3所述的图像间变化检测的局部和全局深度对比特征学习网络构建方法，其特征在于，编码特征表示的具体步骤如下：1)编码器E
ψ
(X)的网络结构一幅图像X作为编码网络的输入，经过卷积层和全连接层获得编码特征表示其中，y
ψ
表示编码特征表示的高维特征表示，M
ψ
表示编码特征表示的中间层特征表示，表示第n
fc
个全连接层，表示第n
cov
个卷积层；2)对一幅输入的图像X1按像素随机取块x
i
，i＝1，2，...，N，N表示X1图像取块的个数，块x
i
拉成一个一维向量作为编码器E
ψ
(x
i
)的输入，获得SAR图像X1在特征域的全局表示特征y
ψ
和全局中间层特征M
ψ
；3)对另一幅输入的图像X2按像素随机取块x
i
，i＝1，2，...，N，N表示X2图像取块的个数，块x
i
拉成一个一维向量作为编码器E
ψ
(x
i
)的输入，获得光学图像X2在特征域的全局表示特征y
ψ
和全局中间层特征M
ψ
。5.根据权利要求1所述的图像间变化检测的局部和全局深度对比特征学习网络构建方法，其特征在于，构造全局正负样本数据和局部正负样本数据，具体过程为：全局正负样本数据：中间层特征M
ψ
作为全局正样本数据；将每个批次的第一张图片的中间层特征与...

【专利技术属性】
技术研发人员：肖亮，张皓程，虎玲，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：