基于渐进式信息解耦的跨域模型训练方法技术

本发明专利技术涉及目标检测技术领域，具体公开了一种基于渐进式信息解耦的跨域模型训练方法，包括：构建源域数据集和目标域数据集；将源域数据集和目标域数据集均输入至视觉目标检测器进行训练，挖掘与配准组件能够分别对源域数据集和目标域数据集提取到的浅层特征进行相似性特征挖掘与配准；语义校正组件能够分别对源域数据集和目标数据集提取到的中层特征进行上下文感知的语义校正；聚合分散组件能够根据源域数据集和目标域数据集的边界框、置信度和分类类别实现不同类别前景目标的聚合和分散。本发明专利技术提供的基于渐进式信息解耦的跨域模型训练方法能够有效解决跨域目标检测中前景目标特征和背景环境特征的耦合。目标特征和背景环境特征的耦合。目标特征和背景环境特征的耦合。

【技术实现步骤摘要】
基于渐进式信息解耦的跨域模型训练方法


[0001]本专利技术涉及目标检测
，尤其涉及一种基于渐进式信息解耦的跨域模型训练方法。

技术介绍

[0002]现实场景中的感兴趣目标以或大或小的尺度、或近或远的距离出现在摄像头周围。在摄像头采集得到的图像中，背景环境像素不规则地环绕在前景目标像素区域的外缘，两种不同属性的像素之间近似存在连续的边界。由于卷积神经网络深层特征图的像素以特定比例的感受野与原始图像的像素块相对应，前景目标像素与背景环境像素的区分边界将会随着网络层数加深而离散化，因此前景目标特征与背景环境特征之间的耦合性在维度越来越高的特征空间中逐渐得到增强。
[0003]近年来，无监督域自适应视觉目标检测在应用Faster R
‑
CNN之外，还陆续出现了使用FCOS、YOLO等作为视觉目标检测器的方法。一些方法对检测器多尺度图像级和实例级特征进行对抗对齐，并对位于相同尺度上的图像级和实例级域分类器进行一致性正则化。另一些方法则先使用CycleGAN将源域图像转变为具有目标域风格的图像，实现源域到辅助域的训练样本扩充；接着在多尺度图像级和实例级特征对抗对齐框架中引入了“图像级类别正则化”和“类别一致性正则化”组件，从而对关键区域和重要实例进行更加充分的对齐。
[0004]然而，无论是CycleGAN图像翻译，还是图像级特征对抗对齐，它们只能从整体角度缩小两域全局特征的差异，而忽视了前景目标特征和背景环境特征之间的耦合性。此外，用于对抗对齐的实例级特征是由最终预测框中特征经过感兴趣区域池化得到的，所得特征向量很大程度上混入了背景环境噪声，这种方式仍然没有从本质上解决前景目标特征和背景环境特征的耦合问题。
[0005]由此可见，在无监督域自适应视觉目标检测研究中，如果想要降低前景目标特征和背景环境特征之间的耦合性，进而着重对齐源域和目标域的前景目标特征，这将存在较大的困难。
[0006]因此，如何能够解决目标检测中前景目标特征和背景环境特征的耦合成为本领域技术人员亟待解决的技术问题。

技术实现思路

[0007]本专利技术提供了一种基于渐进式信息解耦的跨域模型训练方法，解决相关技术中存在的无法解决目标检测中前景目标和背景环境特征的耦合问题。
[0008]作为本专利技术的一个方面，提供一种基于渐进式信息解耦的跨域模型训练方法，其中，包括：
[0009]构建源域数据集和目标域数据集，其中所述源域数据集包括带有标签的数据集，所述目标域数据集包括无标签数据集；
[0010]将所述源域数据集和目标域数据集均输入至视觉目标检测器进行训练，获得跨域
模型，所述视觉目标检测器包括特征提取网络、特征融合网络和检测头网络，所述特征提取网络能够对所述源域数据集和目标域数据集分别进行特征提取，所述特征融合网络能够对源域数据集在特征提取网络提取到的特征进行特征融合获得源域融合特征，以及能够对目标域数据集在特征提取网络提取到的特征进行特征融合获得目标域融合特征，所述检测头网络能够分别对源域融合特征和目标域融合特征进行边界框、置信度和分类类别进行预测；
[0011]其中，所述特征提取网络包括挖掘与配准组件，所述挖掘与配准组件能够分别对源域数据集和目标域数据集提取到的浅层特征进行相似性特征挖掘与配准；
[0012]所述特征融合网络包括语义校正组件，所述语义校正组件能够分别对源域数据集和目标数据集提取到的中层特征进行上下文感知的语义校正；
[0013]所述检测头网络包括聚合分散组件，所述聚合分散组件能够根据源域数据集和目标域数据集的边界框、置信度和分类类别实现不同类别前景目标的聚合和分散。
[0014]进一步地，所述挖掘与配准组件能够分别对源域数据集和目标域数据集提取到的浅层特征进行相似性特征挖掘与配准，包括：
[0015]根据所述源域数据集提取到的浅层特征确定源域数据集提取到的浅层特征对应的第一迁移权重掩码；
[0016]将所述第一迁移权重掩码与所述源域数据集提取到的浅层特征进行融合获得第一迁移模式特征图；
[0017]根据所述目标域数据集提取到的浅层特征确定目标域数据集提取到的浅层特征对应的第二迁移权重掩码；
[0018]将所述第二迁移权重掩码与所述目标域数据集提取到的浅层特征进行融合获得第二迁移模式特征图；
[0019]根据预设迁移模式配准损失函数对所述第一迁移模式特征图和所述第二迁移模式特征图进行匹配优化，获得优化后的迁移模式配准损失函数。
[0020]进一步地，根据所述源域数据集提取到的浅层特征确定源域数据集提取到的浅层特征对应的第一迁移权重掩码，包括：
[0021]将所述源域数据集提取到的浅层特征输入至像素级域分类器，获得被预测为源域的概率分数；
[0022]根据被预测为源域的概率分数计算源域数据集提取到的浅层特征对应的第一迁移不确定度；
[0023]根据所述第一迁移不确定度进行空间平均处理和归一化处理获得第一迁移权重掩码；
[0024]根据所述目标域数据集提取到的浅层特征确定目标域数据集提取到的浅层特征对应的第二迁移权重掩码，包括：
[0025]将所述目标域数据集提取到的浅层特征输入至像素级域分类器，获得被预测为目标域的概率分数；
[0026]根据被预测为目标域的概率分数计算目标域数据集提取到的浅层特征对应的第二迁移不确定度；
[0027]根据所述第二迁移不确定度进行空间平均处理和归一化处理获得第二迁移权重
掩码。
[0028]进一步地，还包括：
[0029]确定像素级域分类器的损失函数，根据所述像素级域分类器的损失函数对所述像素级域分类器进行优化训练，以实现对输入的源域数据集提取到的浅层特征或目标域数据集提取到的浅层特征进行概率分数预测。
[0030]进一步地，所述语义校正组件能够分别对源域数据集和目标数据集提取到的中层特征进行上下文感知的语义校正，包括：
[0031]根据所述源域数据集提取到的中层特征确定所述源域数据集中多种类别前景目标的第一预测分数，以及根据所述目标域数据集提取到的中层特征确定所述目标域数据集中多种类别前景目标的第二预测分数；
[0032]根据所述第一预测分数对所述源域数据集中不同类别的前景目标的概率分布进行编码以获得第一编码，根据所述第二预测分数对所述目标域数据集中不同类别的前景目标的概率分布进行编码以获得第二编码；
[0033]根据预设分布一致性损失函数对所述第一编码和所述第二编码进行约束优化，获得优化后的分布一致性损失函数。
[0034]进一步地，根据所述源域数据集提取到的中层特征确定所述源域数据集中多种类别前景目标的第一预测分数，以及根据所述目标域数据集提取到的中层特征确定所述目标域数据集中多种类别前景目标的第二预测分数，包括：
[0035]将所述源域数据集提取到的中层特征和所述目标域数据集提取到的中层特征均输入至第一图像级域分类器和第二图像级域分类器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于渐进式信息解耦的跨域模型训练方法，其特征在于，包括：构建源域数据集和目标域数据集，其中所述源域数据集包括带有标签的数据集，所述目标域数据集包括无标签数据集；将所述源域数据集和目标域数据集均输入至视觉目标检测器进行训练，获得跨域模型，所述视觉目标检测器包括特征提取网络、特征融合网络和检测头网络，所述特征提取网络能够对所述源域数据集和目标域数据集分别进行特征提取，所述特征融合网络能够对源域数据集在特征提取网络提取到的特征进行特征融合获得源域融合特征，以及能够对目标域数据集在特征提取网络提取到的特征进行特征融合获得目标域融合特征，所述检测头网络能够分别对源域融合特征和目标域融合特征进行边界框、置信度和分类类别进行预测；其中，所述特征提取网络包括挖掘与配准组件，所述挖掘与配准组件能够分别对源域数据集和目标域数据集提取到的浅层特征进行相似性特征挖掘与配准；所述特征融合网络包括语义校正组件，所述语义校正组件能够分别对源域数据集和目标数据集提取到的中层特征进行上下文感知的语义校正；所述检测头网络包括聚合分散组件，所述聚合分散组件能够根据源域数据集和目标域数据集的边界框、置信度和分类类别实现不同类别前景目标的聚合和分散。2.根据权利要求1所述的基于渐进式信息解耦的跨域模型训练方法，其特征在于，所述挖掘与配准组件能够分别对源域数据集和目标域数据集提取到的浅层特征进行相似性特征挖掘与配准，包括：根据所述源域数据集提取到的浅层特征确定源域数据集提取到的浅层特征对应的第一迁移权重掩码；将所述第一迁移权重掩码与所述源域数据集提取到的浅层特征进行融合获得第一迁移模式特征图；根据所述目标域数据集提取到的浅层特征确定目标域数据集提取到的浅层特征对应的第二迁移权重掩码；将所述第二迁移权重掩码与所述目标域数据集提取到的浅层特征进行融合获得第二迁移模式特征图；根据预设迁移模式配准损失函数对所述第一迁移模式特征图和所述第二迁移模式特征图进行匹配优化，获得优化后的迁移模式配准损失函数。3.根据权利要求2所述的基于渐进式信息解耦的跨域模型训练方法，其特征在于，根据所述源域数据集提取到的浅层特征确定源域数据集提取到的浅层特征对应的第一迁移权重掩码，包括：将所述源域数据集提取到的浅层特征输入至像素级域分类器，获得被预测为源域的概率分数；根据被预测为源域的概率分数计算源域数据集提取到的浅层特征对应的第一迁移不确定度；根据所述第一迁移不确定度进行空间平均处理和归一化处理获得第一迁移权重掩码；根据所述目标域数据集提取到的浅层特征确定目标域数据集提取到的浅层特征对应的第二迁移权重掩码，包括：将所述目标域数据集提取到的浅层特征输入至像素级域分类器，获得被预测为目标域
的概率分数；根据被预测为目标域的概率分数计算目标域数据集提取到的浅层特征对应的第二迁移不确定度；根据所述第二迁移不确定度进行空间平均处理和归一化处理获得第二迁移权重掩码。4.根据权利要求3所述的基于渐进式信息解耦的跨域模型训练方法，其特征在于，还包括：确定像素级域分类器的损失函数，根据所述像素级域分类器的损失函数对所述像素级域分类器进行优化训练，以实现对输入的源域数据集提取到的浅层特征或目标域数据集提取到的浅层特征进行概率分数预测。5.根据权利要求1所述的基于渐进式信息解耦的跨域模型训练方法，其特征在于，所述语义校正组件能够分别对源域数据集和目标数据集提取到的中层特征进行上下文感知的语义校正，包括：根据所述源域数据集提取到的中层特征确定所述源域数据集中多种类别前景目标的第一预测分数，以及根据所述目标域数据集提取到的中层特征确定所述目标域数据集中多种类别前景目标的第二预测分数；根据所述第一预测分数对所述源域数据集中不同类别的前景目标的概率分布进行编码以获得第一编码，根据所述第二预测分数对所述目标域数据集中不同类别的前景目标的概率分布进行编码以获得第二编码；根据预设分布一致性损失函数对所述第一编码和所述第二编码进行约束优化，获得优化后的分布一致性损失函数。6.根据权利要求5所述的基于渐进式信息解耦的跨域模型训练方法，其特征在于，根据所述源域数据集提取到的中层特征确定所述源域数据集中多种类别前景目标的第一预测分数，以及根据所述目标域数据集提取到的中层特征确定所述目标域数据集中多种类别...

【专利技术属性】
技术研发人员：王晓伟，蒋沛文，谢国涛，秦洪懋，秦晓辉，徐彪，秦兆博，丁荣军，
申请(专利权)人：湖南大学无锡智能控制研究院，
类型：发明
国别省市：