【技术实现步骤摘要】
本申请涉及机器学习，更具体地，涉及一种变化检测模型的训练方法、变化检测方法、装置及设备。
技术介绍
1、相关技术中，变化检测方法主要是依赖于设计卷积神经网络（cnn）通过网络结构进行学习和优化来提高预测准确性。在对卷积神经网络进行学习和优化得到变化检测网络时，通常分为有监督学习和无监督学习两类。有监督学习通常依赖于使用大规模高质量的标记双时序图像对进行训练，这需要耗费大量时间和成本。无监督学习可以进一步分为自监督学习范式和预训练范式，虽然无监督学习方法不依赖于标记的图像对，但它们往往通过简单的图像变换（如亮度增强）来缺乏不同类别对象之间的变化，从而可能使它们对变化检测中的噪声过于敏感。此外，经研究相关技术中所采用的有监督和无监督方法都存在域泛化能力差，也即，在某个特定数据集上训练的变化检测模型，只在该数据集中有不错的效果，在其他数据集上的表现却较差的问题，因此在实际应用中，通常需要针对每个应用场景，单独训练一个特定的模型，并对每个模型单独进行维护，训练和维护成本较高。
技术实现思路
1、有鉴于此，本申请实施例提出了一种变化检测模型的训练方法、变化检测方法、装置及设备，可以提升变化检测模型的泛化性能和准确性，从避免需要针对每个应用场景训练特定的模型。
2、第一方面，本申请实施例提供了一种变化检测模型的训练方法，所述方法包括：获取图像对和所述图像对的标签信息，所述图像对包括第一图像和第二图像，所述标签信息包括所述第一图像中各像素所属的语义类别和第二图像中各像素所属的语义类别
3、第二方面，本申请实施例提供了一种变化检测方法，所述方法包括：获取模板图像和待检测图像；利用变化检测模型根据所述模板图像和所述待检测图像进行变化检测，得到所述待检测图像相对于所述模板图像的变化检测结果，所述变化检测模型是按照如前述实施例中的变化检测模型的训练方法训练得到的。
4、第三方面，本申请实施例提供了一种变化检测模型的训练装置，所述装置包括第一获取模块、特征提取模块、特征融合模块、第一变化检测模块、损失确定模块以及模型调整模块。
5、第一获取模块，用于获取图像对和所述图像对的标签信息，所述图像对包括第一图像和第二图像，所述标签信息包括所述第一图像中各像素所属的语义类别和第二图像中各像素所属的语义类别；特征提取模块，用于利用所述变化检测模型提取所述第一图像的第一图像特征，以及提取所述第二图像的第二图像特征；特征融合模块，用于利用所述变化检测模型将目标文本的文本特征与所述第一图像特征进行融合，得到第一融合特征；所述目标文本包括n个语义类别，n为语义类别的总数，且n为大于1的整数；所述特征融合模块，还用于利用所述变化检测模型将所述文本特征与所述第二图像特征进行融合，得到第二融合特征；第一变化检测模块，用于利用所述变化检测模型基于所述第一融合特征和第二融合特征进行变化检测，得到所述第二图像相对于所述第一图像的变化检测结果；损失确定模块，用于基于所述变化检测结果以及所述图像对的标签信息，确定模型损失；模型调整模块，用于基于所述模型损失调整所述变化检测模型的参数。
6、在一种可实施方式中，所述第一图像特征包括所述第一图像中各像素的像素特征；特征融合模块包括第一融合子模块、第一映射子模块、第二映射子模块以及第二融合子模块。第一融合子模块，用于基于多头注意力机制将所述第一图像特征中各像素特征与所述文本特征进行融合，得到第一图文特征；第一映射子模块，用于将所述第一图文特征映射到目标特征空间，得到第二图文特征；第二映射子模块，用于将所述文本特征映射到所述目标特征空间，得到第一文本特征；第二融合子模块，用于基于融合权重将所述第二图文特征和所述第一文本特征进行融合，得到第一融合特征；所述变化检测模型的参数包括所述融合权重。
7、在一种可实施方式中，所述变化检测结果指示了所述第二图像中相对于所述第一图像发生变化的第一差异像素，所述损失确定模块，包括：差异像素确定子模块、检测损失确定子模块以及模型损失确定子模块。差异像素确定子模块用于基于所述标签信息中第一图像中各像素所属的语义类别和所述第二图像中各像素所属的语义类别，确定所述第二图像相对于所述第一图像语义类别不同的第二差异像素；检测损失确定子模块，用于基于所述第一差异像素和所述第二差异像素，确定变化检测损失；模型损失确定子模块，用于根据所述变化检测损失，确定所述模型损失。
8、在一种可实施方式中，变化检测模型的训练装置还包括第一类别预测模块、第二类别预测模块、第一语义损失确定模块以及第二语义损失确定模块；所述第一类别预测模块，用于根据所述第一图像特征进行语义类别预测，得到针对所述第一图像中各像素预测的语义类别；第二类别预测模块，用于根据所述第二图像特征进行语义类别预测，得到针对所述第二图像中各像素预测的语义类别；第一语义损失确定模块，用于根据所述第一图像中各像素所属的语义类别和针对所述第一图像中各像素预测的语义类别，确定第一语义分类损失；第二语义损失确定模块，用于根据所述第二图像中各像素所属的语义类别和针对所述第二图像中各像素预测的语义类别，确定第二语义分类损失；模型损失确定子模块，还用于将所述第一语义分类损失、所述第二语义分类损失和所述变化检测损失进行加权处理，得到所述模型损失。
9、在一种可实施方式中，所述变化检测模型包括图像编码器；所述第一图像特征包括所述图像编码器针对所述第一图像输出的第一编码特征；所述第一编码特征包括所述第一图像中各图像块的特征；所述第二图像特征包括所述图像编码器针对所述第二图像输出的第二编码特征；所述第二编码特征包括所述第二图像中各图像块的特征；变化检测模型的训练装置还包括对齐模块，所述对齐模块用于根据所述第一图像中各图像块的特征与所述第二图像中各图像块的特征进行局部视觉对齐，得到局部视觉对齐信息，所述局部视觉对齐信息指示了所述第二图像中与所述第一图像中的第一图像块相对齐的第二图像块；差异像素确定子模块，还用于基于所述局部视觉对齐信息所指示相对齐的第一图像块的位置信息和第二图像块的位置信息，确定所述第一图像中图像块相对于所述第二图像中对齐的图像块的偏移信息；根据所述第二图像中各像素的像素位置信息、以及所述第一图像中图像块相对于所述第二图像中对齐的图像块的偏移信息，确定所述第二图像中各像素在第一图像中所对齐的像素；针对第二图像中的各像素，若该像素所属的语义类别和该像素本文档来自技高网...
【技术保护点】
1.一种变化检测模型的训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述第一图像特征包括所述第一图像中各像素的像素特征；
3.根据权利要求1所述的方法，其特征在于，所述变化检测结果指示了所述第二图像中相对于所述第一图像发生变化的第一差异像素；
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述变化检测模型包括图像编码器；所述第一图像特征包括所述图像编码器针对所述第一图像输出的第一编码特征；所述第一编码特征包括所述第一图像中各图像块的特征；
6.根据权利要求5所述的方法，其特征在于，所述变化检测模型还包括特征上采样网络，所述第一图像特征还包括所述特征上采样网络根据所述第一编码特征输出的第一上采样特征；所述第二图像特征还包括所述特征上采样网络根据所述第二编码特征输出的第二上采样特征；
7.根据权利要求6所述的方法，其特征在于，所述基于所述第一融合特征和第二融合特征进行变化检测，得到所述第二图像相对于所述第一图像的变化检测结果
8.根据权利要求1至7中任一项所述的方法，其特征在于，所述获取图像对和所述图像对的标签信息之前，所述方法还包括：
9.根据权利要求8所述的方法，其特征在于，所述由图像生成模型根据所述第一图像、所述掩码图像和提示文本，对所述第一图像中的第一区域按照所述提示文本进行图像重建，得到第二图像之前，所述方法还包括：
10.根据权利要求9所述的方法，其特征在于，所述基于所述参考图像和所述参考重建图像计算，得到重建损失，包括：
11.根据权利要求1至7中任一项所述的方法，其特征在于，所述获取图像对和所述图像对的标签信息之前，所述方法还包括：
12.一种变化检测方法，其特征在于，所述方法包括：
13.一种变化检测模型的训练装置，其特征在于，所述装置包括：
14.一种变化检测装置，其特征在于，所述装置包括：
15.一种电子设备，其特征在于，包括：
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-11或12中任意一项所述的方法。
17.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1-11或12中任意一项所述方法的步骤。
...【技术特征摘要】
1.一种变化检测模型的训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述第一图像特征包括所述第一图像中各像素的像素特征；
3.根据权利要求1所述的方法，其特征在于，所述变化检测结果指示了所述第二图像中相对于所述第一图像发生变化的第一差异像素；
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述变化检测模型包括图像编码器；所述第一图像特征包括所述图像编码器针对所述第一图像输出的第一编码特征；所述第一编码特征包括所述第一图像中各图像块的特征；
6.根据权利要求5所述的方法，其特征在于，所述变化检测模型还包括特征上采样网络，所述第一图像特征还包括所述特征上采样网络根据所述第一编码特征输出的第一上采样特征；所述第二图像特征还包括所述特征上采样网络根据所述第二编码特征输出的第二上采样特征；
7.根据权利要求6所述的方法，其特征在于，所述基于所述第一融合特征和第二融合特征进行变化检测，得到所述第二图像相对于所述第一图像的变化检测结果，包括：
8.根据权利要求1至7中任一项所述的方法，其特征在于，所述获取图像对...
【专利技术属性】
技术研发人员：彭瑾龙，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。