一种基于差异特征迭代增强的高质量变化检测方法及装置制造方法及图纸

本发明专利技术公开了一种基于差异特征迭代增强的高质量变化检测方法及装置，包括：通过噪声模拟干扰，确定特征差异质量对变化检测结果的影响；利用U

【技术实现步骤摘要】
一种基于差异特征迭代增强的高质量变化检测方法及装置


[0001]本专利技术涉及变化检测领域，尤其涉及一种基于差异特征迭代增强的高质量变化检测(iterative difference
‑
enhanced transformers,IDET)方法及装置。

技术介绍

[0002]变化检测(Change Detection，CD)旨在从不同时间拍摄的图片组中检测出由物体变化(例如场景中新出现的物体)引起的变化区域，其在城市发展，灾难预测，资源监控等方面都有广泛的应用。然而由于两张图片可能会在不同的角度及光照条件下拍摄，并且背景中的场景可能会发生未知的变化，导致变化检测仍然十分具有挑战性。
[0003]在文献[1]中，一个简单的想法是计算两幅图像特征之间的差异，并将特征差异映射到最终的变化图，利用特征和特征差异来克服环境变化和位置失调。一个代表性的工作在文献[2]中提出了交叉编码的特征来计算图像对的特征差异，并生成一个变化图。文献[3]中的流体金字塔集成(fluid pyramid integration，FPIN)网络使用复杂的特征提取网络通过提高特征表示能力来提高CD精度。文献[4]中另一项工作提出了位置相关注意、通道相关注意和变化差异模块来捕获两个图像的相关性。上述最新的(state
‑
of
‑
the
‑
art，SOTA)方法专注于设计先进的网络体系结构，将特征差异映射到最终的变更图。这些方法虽然能达到令人印象深刻的检测精度，但忽略了特征差异的质量影响。直观地说，如果特征差异能够清楚地突出主要的变化，同时抑制未改变的区域，就能够更容易地实现高质量的变化图。
[0004]另外，自文献[5]提出以来，该变化网络就因其长期依赖性而被广泛应用于大多数自然语言处理(natural language processing,NLP)任务中。最近，其在计算机视觉任务中表现出了良好的性能，如文献[6]中的图像分类，文献[7]的目标检测，文献[8]中的语义分割等。变化网络模型的优异性能启发了对其在CD中的应用进行研究。到目前为止，将变化方法用于CD任务的工作还很少。
[0005]文献[9]中提出的双时态图像转化方法(bitemporal image transformer,BiT)，变化网络编码器可以对变化对象的语义信息进行建模，以细化解码器预测的粗变化映射。然而，当变化的对象较小且变化多样时，语义标记的学习是很困难的。文献[10]中的ChangeFormer网络由一系列分层结构的变换网络编码器组成，用于提取远程特征以生成变化掩码。由于其编码器的分辨率较低，不能捕捉到边界的详细变化。
[0006]参考文献
[0007][1]Huang,R.；Zhou,M.；Xing,Y.；Zou,Y.；and Fan,W.2021.Change detection with various combinations of fluid pyra
‑
mid integration networks.Neurocomputing,437:84
–
94.
[0008][2]Huang,R.；Zhou,M.；Zhao,Q.；and Zou,Y.2020.Change detection with absolute difference of multiscale deep features.Neurocomputing,418:102
–
113.
[0009][3]Zhao,J.
‑
X.；Cao,Y.；Fan,D.
‑
P.；Cheng,M.
‑
M.；Li,X.
‑
Y.；and Zhang,
L.2019.Contrast prior and fluid pyramid integration for RGBD salient object detection.In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition,3927
–
3936.
[0010][4]Zhang,L.；Hu,X.；Zhang,M.；Shu,Z.；and Zhou,H.2021.Object
‑
level change detection with a dual correlation attention
‑
guided detector.ISPRS Journal of Photogrammetry and Remote Sensing,177:147
–
160.
[0011][5]Vaswani,A.；Shazeer,N.；Parmar,N.；Uszkoreit,J.；Jones,L.；Gomez,A.N.；Kaiser,and Polosukhin,I.2017.Attention is all you need.In Advances in neural information processing systems,5998
–
6008.
[0012][6]Dosovitskiy,A.；Beyer,L.；Kolesnikov,A.；Weissenborn,D.；Zhai,X.；Unterthiner,T.；Dehghani,M.；Minderer,M.；Heigold,G.；Gelly,S.；et al.2020.An image is worth 16x16 words:Transformers for image recognition at scale.arXiv preprint arXiv:2010.11929.
[0013][7]Carion,N.；Massa,F.；Synnaeve,G.；Usunier,N.；Kirillov,A.；and Zagoruyko,S.2020.End
‑
to
‑
end object detection with transformers.In European Conference on Computer Vision,213
–
229.Springer.
[0014][8]Zheng,S.；Lu,J.；Zhao,H.；Zhu,X.；Luo,Z.；Wang,Y.；Fu,Y.；Feng,J.；Xiang,T.；Torr,P.H.；et al.2021.Rethinking semantic segmentation from a sequence
‑
to
‑
sequence perspective with transformers.In Proceedings of the IEEE/CV本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于差异特征迭代增强的高质量变化检测方法，其特征在于，所述方法包括：通过噪声模拟干扰，确定特征差异质量对变化检测结果的影响；利用U
‑
Net提取多尺度卷积特征；构建IDET模块，从两个输入的多尺度卷积特征中生成差异信息，并进行迭代细化，获取各个尺度的高质量特征差异图；将各尺度的高质量特征差异图输入由多个卷积模块构建的从粗到细的策略中生成各尺度变化图，再将各尺度变化图融合生成最终变化图。2.根据权利要求1所述的一种基于差异特征迭代增强的高质量变化检测方法，其特征在于，所述构建IDET模块为：τ
*
(R
*
)＝MLP(Norm(Z))+Z,Z＝MSA(Norm(R
*
))+R
*
其中，τ
*
代指τ
ref
(
·
)、τ
que
(
·
)网络，R
*
代指多尺度特征R
x
、R
y
，输入的多尺度特征先经由Norm和MSA组成的残差单元，结果记为Z，再输入由Norm和MLP组成的残差单元，获得R
x
、R
y
中的长距离信息，MLP为多层感知器，Norm为归一化层，MSA为多头自注意力机制；通过MLP和Norm生成两个长距离特征的差异信息过程函数如下：其中，τ
ref
(R
x
)为输入x的多尺度特征R
x
经参考变化网络所得到的长距离信息，τ
que
(R
y
)为输入y的多尺度特征R
y
经查询变化...

【专利技术属性】
技术研发人员：黄睿，邢艳，赵晴宜，汪若飞，
申请(专利权)人：中国民航大学，
类型：发明
国别省市：