一种基于高质量特征选择的变化检测方法及装置制造方法及图纸

本发明专利技术公开了一种基于高质量特征选择的变化检测方法及装置，方法包括：通过孪生U型网络对输入图像对进行特征提取，获取不同尺度的图像特征，将图像特征作为输入特征构建特征池；所述孪生U型网络具有全注意力增强特性，且基于VGG16bn网络；根据特征池中不同的变化相关特征的贡献程度进行特征选择，获得高质量的变化特征；对不同尺度的变化特征结合注意力进行金字塔式的特征融合；对金字塔特征融合输出的每层特征增加卷积操作，每一层都生成一个变化掩码，对五个预测变化掩码进行拼接和卷积操作得到最终的预测变化掩码；基于注意力金字塔融合与最终的预测变化掩码构建损失函数，通过损失函数对变化的图像区域进行检测。装置包括：处理器和存储器。处理器和存储器。处理器和存储器。

【技术实现步骤摘要】
silhouette
‑
based semantic scene change detection."2020IEEE International conference on robotics and automation(ICRA).IEEE,2020.
[0012][7]Chen,Hao,Zipeng Qi,and Zhenwei Shi."Remote sensing image change detection with transformers."IEEE Transactions on Geoscience and Remote Sensing 60(2021):1
‑
14.
[0013][8]Huang,Rui,et al."Change detection with absolute difference of multiscale deep features."Neurocomputing 418(2020):102
‑
113.
[0014][9]Xu,Jialang,et al."An Adaptive Multi
‑
Scale and Multi
‑
Level Features Fusion Network with Perceptual Loss for Change Detection."ICASSP 2021
‑
2021IEEE International Conference on Acoustics,Speech and Signal Processing(ICASSP).IEEE,2021.
[0015][10]Long,Jonathan,Evan Shelhamer,and Trevor Darrell."Fully convolutional networks for semantic segmentation."Proceedings of the IEEE conference on computer vision and pattern recognition.2015.

技术实现思路

[0016]本专利技术提供了一种基于高质量特征选择的变化检测方法及装置，本专利技术使用带有全注意力增强的基于VGG16bn的孪生U型网络分别提取出输入图像对的五个不同尺度特征；再将其作为输入特征构建特征池，并依据特征池中不同的变化相关特征的贡献程度进行特征选择获得高质量的变化特征；然后对不同尺度的变化特征结合注意力进行金字塔式的特征融合，以解决变化区域残缺或者不突出的问题，详见下文描述：
[0017]一种基于高质量特征选择的变化检测方法，所述方法包括：
[0018]通过孪生U型网络对输入图像对进行特征提取，获取不同尺度的图像特征，将图像特征作为输入特征构建特征池；所述孪生U型网络具有全注意力增强特性，且基于VGG16bn网络；
[0019]根据特征池中不同的变化相关特征的贡献程度进行特征选择，获得高质量的变化特征；对不同尺度的变化特征结合注意力进行金字塔式的特征融合；
[0020]对金字塔特征融合输出的每层特征增加卷积操作，每一层都生成一个变化掩码，对五个预测变化掩码进行拼接和卷积操作得到最终的预测变化掩码；
[0021]基于注意力金字塔融合与最终的预测变化掩码构建损失函数，通过损失函数对变化的图像区域进行检测。
[0022]其中，所述将图像特征作为输入特征构建特征池具体为：
[0023]将由孪生网络得到的成对特征作为输入，经过拼接和卷积操作得到拼接特征，经过特征相减求绝对值和卷积操作得到绝对差值特征，利用提取的成对特征、拼接特征、绝对差值特征构建特征池。
[0024]进一步地，所述根据输入特征的贡献程度进行特征选择，获得高质量的变化特征具体为：将这三种不同类型的特征视为专家特征，并随机初始化一个可更新的权重矩阵，对特征池里的特征进行特征选择，依据其重要性进行权重求和，得到高质量的变化特征。
[0025]其中，所述高质量的变化特征为：
[0026][0027][0028]其中，E
k
(,:,:,j)表示第k个专家的第j个通道的特征，W是一个可学习的参数，表示第j个通道中第k个专家特征进行归一化操作后的权重值，表示第j个通道中第k个专家特征的权重转换后的值，m表示k个专家特征中的第m个特征，表示对第j个通道上k个专家特征的权重转换值进行求和。
[0029]进一步地，所述变化掩码为：
[0030][0031][0032]其中，M
i
表示每层预测的变化掩码，表示利用每层预测前的特征引导经过注意力金字塔融合模块处理后的特征生成本层的特征用于预测本层变化掩码，Conv1(
·
,1)表示用一个卷积核为1
×
1的卷积进行处理，表示对经过注意力金字塔融合模块处理后的特征经过卷积处理，生成最深层的特征用于预测变化掩码。
[0033]第二方面、一种基于高质量特征选择的变化检测装置，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行第一方面中的任一项所述的方法步骤。
[0034]第三方面、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行第一方面中的任一项所述的方法步骤。
[0035]本专利技术提供的技术方案的有益效果是：
[0036]1、本专利技术将不同时间获取的图像对作为输入，利用带有全注意力增强的孪生网络提取图像多尺度特征，通过注意力机制的引进使得提取的特征更加完整和专注于前景目标，减少了无效背景信息对检测结果带来的干扰，使得预测结果更加贴近真实变化结果；
[0037]2、本专利技术构建的高质量特征选择网络，以孪生U型网络提取的特征对作为输入构建变化相关特征的特征池，再依据特征池中不同变化相关特征的贡献程度进行特征选择和结合，以获得高质量的变化特征，解决了以往仅依靠单一特征导致的边缘残缺或变化区域不突出的问题；
[0038]3、本专利技术根据变化图像含有更丰富的特征信息这一特点，进行多尺度特征融合时采用注意力金字塔融合方式，不仅可以有效地解决不同层级特征融合时存在的信息差异，还能使得融合特征中的变化区域得到更多的关注；同时在多个层级生成初步的预测图，并将它们进行融合以生成最终的预测图，有助于利用高级语义特征和低级纹理特征相互补充和促进，解决预测图中变化区域残缺的问题；
[0039]4、根据在VL
‑
CMU(视觉定位CMU数据集)、PCD(全景变化检测数据集)、CDnet2014(变化检测视频序列数据集)数据集上的实验结果显示，本方法增益效果明显。
附图说明
[0040]图1为本专利技术提出的变化检测网络的结构示意图；
[0041]图2为本专利技术提出的高质量特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于高质量特征选择的变化检测方法，其特征在于，所述方法包括：通过孪生U型网络对输入图像对进行特征提取，获取不同尺度的图像特征，将图像特征作为输入特征构建特征池；所述孪生U型网络具有全注意力增强特性，且基于VGG16bn网络；根据特征池中不同的变化相关特征的贡献程度进行特征选择，获得高质量的变化特征；对不同尺度的变化特征结合注意力进行金字塔式的特征融合；对金字塔特征融合输出的每层特征增加卷积操作，每一层都生成一个变化掩码，对五个预测变化掩码进行拼接和卷积操作得到最终的预测变化掩码；基于注意力金字塔融合与最终的预测变化掩码构建损失函数，通过损失函数对变化的图像区域进行检测。2.根据权利要求1所述的一种基于高质量特征选择的变化检测方法，其特征在于，所述将图像特征作为输入特征构建特征池具体为：将由孪生网络得到的成对特征作为输入，经过拼接和卷积操作得到拼接特征，经过特征相减求绝对值和卷积操作得到绝对差值特征，利用提取的成对特征、拼接特征、绝对差值特征构建特征池。3.根据权利要求1所述的一种基于高质量特征选择的变化检测方法，其特征在于，所述根据输入特征的贡献程度进行特征选择，获得高质量的变化特征具体为：将这三种不同类型的特征视为专家特征，并随机初始化一个可更新的权重矩阵，对特征池里的特征进行特征选择，依据其重要性进行权重求和，得到高质量的变化特征。4.根据权利要求3所述的一种基于高质量特征选择的变化检测方法，其特征在于，所述高质量的变化特...

【专利技术属性】
技术研发人员：邢艳，黄睿，徐启奥，
申请(专利权)人：中国民航大学，
类型：发明
国别省市：