基于背景混合数据扩展技术的弱监督变化检测方法及装置制造方法及图纸

本发明专利技术公开了一种基于背景混合数据扩展技术的弱监督变化检测方法及装置，方法包括：构建弱监督训练集、背景引导集和增广数据集；通过背景察觉增强操作使用掩码、背景来增强输入图像对，以获得新的图像对再通过增强策略来获得扩展后的最终输出；使用学习算法不断更新变化检测模型参数，最终得到最优的模型；最后使用训练好的模型进行测试。装置包括：处理器和存储器。本发明专利技术使用背景引导集来丰富训练示例中的潜在背景变化；通过background

【技术实现步骤摘要】
RiskMinimization[C]//International Conference on Learning Representations.2018.

技术实现思路

[0011]本专利技术提供了一种基于背景混合数据扩展技术(BGMix)的弱监督变化检测方法及装置，提供了一种新的一致性损失函数(Augmented&Real Data Consistency Loss)，并构建了背景引导集；使用背景混合技术，以弱监督的方式来训练变化检测的深度模型；使用背景引导集来丰富训练示例中的潜在背景变化；通过background
‑
aware(背景察觉)增强操作，帮助变化检测模型看到不同的背景变化；通过一致性损失函数来增强泛化能力，详见下文描述：
[0012]一种基于背景混合数据扩展技术的弱监督变化检测方法，所述方法包括：
[0013]构建弱监督训练集、背景引导集和增广数据集；
[0014]通过背景察觉增强操作使用掩码、背景来增强输入图像对，以获得新的图像对再通过增强策略来获得扩展后的最终输出；
[0015]使用学习算法不断更新变化检测模型参数，最终得到最优的模型；最后使用训练好的模型进行测试。
[0016]其中，所述通过背景察觉增强操作使用掩码、背景来增强输入图像对，以获得新的图像对具体为：
[0017]随机从背景引导集采样一个背景对＜B1,B2＞，使用增广数据集中的增广操作对输入图像对＜I1,I2＞进行处理。
[0018]进一步地，所述再通过增强策略来获得扩展后的最终输出具体为：
[0019]对每条增广路径，从增广数据集中采样三个操作，并堆叠以构建新的操作；从新构造的操作中随机采样一个操作，该采样操作用于对掩码C、背景B和图像对I1,I2进行三者的混合，以获得新的图像对；
[0020]重复上述步骤，当执行了K次增强后，获取到K个新的图像对，将K个新的图像对与随机采样的权重混合。
[0021]其中，所述使用学习算法不断更新变化检测模型参数，最终得到最优的模型具体为：
[0022]最终的损失函数为：
[0023]其中，
[0024][0025]其中，[
·
]是连接操作，ψ(
·
)是指用于感知特征提取的预训练VGG16网络，Cos(
·
)是三角函数，为增强后的图像对；
[0026][0027]一种基于背景混合数据扩展技术的弱监督变化检测装置，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行任一项所述的方法步骤。
[0028]本专利技术提供的技术方案的有益效果是：
[0029]1、本专利技术提供了一种数据扩展方法，用于提高变化检测模型的性能，本专利技术构建了背景引导集B，用于丰富输入图像的潜在背景；
[0030]2、本专利技术使用background
‑
aware增强操作，帮助变化检测模型看到不同的背景变化；本专利技术通过构建增广运算集来使原始图像对<I1,I2>转化为一个新的图像对
[0031]3、本专利技术使用Augmented&Real Data Consistency Loss评估具有不同背景的已增强的图像对和原始图像对<I1,I2>之间的相似性，以减少因图像背景变化而产生的误差，增强变化检测模型的泛化能力。
附图说明
[0032]图1为基于背景混合数据扩展技术的弱监督变化检测方法的流程图；
[0033]图2为本专利技术提出的BGMix函数流程图；
[0034]图3为本专利技术提出的BGMix的结构示意图；
[0035]图4为本专利技术提出方法的生成结果示意图。
具体实施方式
[0036]为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。
[0037]本专利技术实施例针对遥感图像的变化检测在性能上不足的问题提出了一种专门为变化检测而设计的背景混合增强技术，可以对原始输入图像对进行混合，使变化检测模型能够很好地检测出变化区域。
[0038]一种专门为变化检测而设计的背景混合增强技术，该技术包括以下几个步骤：
[0039]一、构建弱监督训练集T、背景引导集B和增广运算集O
[0040]该步骤具体为：准备好具有图像级标签的图像来构建弱监督训练集T，例如：AICD(航空影像中的变化检测基准)和BCD(建筑变化检测)数据集；收集N个图像对来构建背景引导集B，每个图像对仅仅包括背景改变而不包括目标改变；设置包括M个增强操作的增广运
算集O，例如：posterize、rotate、equalize等。
[0041]二、进行BGMix增强操作
[0042]将BGMix增强操作细分为两个操作：Background
‑
aware augmentation operation(背景察觉增强操作)和Augmentation strategy(增强策略)。
[0043]Background
‑
aware augmentation operation：首先，随机从背景引导集采样一个背景对<B1,B2＞。然后通过使用增广数据集中的增广操作对输入图像对<I1,I2>进行处理。
[0044]其操作函数具体为：
[0045][0046]其中，o
j
为转变图像对<I1,I2>操作，α
j
为改变原图像对的背景操作，C为变化掩码，为改变原图像对的背景操作，C为变化掩码，为经过o
j
操作后得到的图像对。
[0047]该式可以被进一步的描述为：
[0048][0049][0050]其中，
⊙
是两个矩阵的对应元素进行乘积，Rep为替换原图背景像函数。
[0051]Augmentation strategy的操作步骤具体为：设置K条增广路径，对于每条增广路径，首先从增广运算集O中采样三个操作，并将它们堆叠以构建新的操作。然后，从新构造的操作中随机采样一个操作，该采样操作用于对掩码C、背景B和图像对I1,I2进行三者的混合，以获得新的图像对，并达到增强的目的。重复上述步骤，当执行了K次增强后，获取到K个新的图像对，将K个新的图像对与随机采样的权重混合。最后，将混合后的图像对与原始输入图像进一步混合，并获得最终的输出图像。
[0052]三、执行学习算法
[0053]在训练期间的t次迭代中，从训练数据集Τ
train
中采样一个图像对，并通过φ
θ
(
·
)执行变化检测。然后，通过BGMix函数得到增强的图像对。之后，计算定义的损失函数并更新模型参数。
[0054]其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于背景混合数据扩展技术的弱监督变化检测方法，其特征在于，所述方法包括：构建弱监督训练集、背景引导集和增广数据集；通过背景察觉增强操作使用掩码、背景来增强输入图像对，以获得新的图像对再通过增强策略来获得扩展后的最终输出；使用学习算法不断更新变化检测模型参数，最终得到最优的模型；最后使用训练好的模型进行测试。2.根据权利要求1所述的一种基于背景混合数据扩展技术的弱监督变化检测方法，其特征在于，所述通过背景察觉增强操作使用掩码、背景来增强输入图像对，以获得新的图像对具体为：随机从背景引导集采样一个背景对<B1,B2>，使用增广数据集中的增广操作对输入图像对<I1,I2>进行处理。3.根据权利要求1所述的一种基于背景混合数据扩展技术的弱监督变化检测方法，其特征在于，所述再通过增强策略来获得扩展后的最终输出具体为：对每条增广路径，从增广数据集中采样三个操作，并堆叠以构建新的...

【专利技术属性】
技术研发人员：邢艳，黄睿，魏接达，
申请(专利权)人：中国民航大学，
类型：发明
国别省市：