一种考虑类别语义匹配的域自适应目标检测方法及系统技术方案

本发明专利技术公开了一种考虑类别语义匹配的域自适应目标检测方法及系统。该方法包括：步骤1，获取源域带标签图像和目标域无标签图像；步骤2，使用源域带标签图像训练得到经过预训练的基础目标检测器；步骤3，在经过预训练的基础目标检测器上增加域自适应组件，使用源域带标签图像和目标域无标签图像训练得到经过训练的域自适应目标检测模型；步骤4，移除增加的域自适应组件，使用经过训练的域自适应目标检测模型对目标域场景进行目标检测。本发明专利技术考虑了跨域目标检测中两域特定类别语义匹配的问题，避免源域和目标域的目标类别在共享类别空间中出现错误对齐的问题，从而促使目标检测模型在目标域上的检测性能得到进一步提高。在目标域上的检测性能得到进一步提高。在目标域上的检测性能得到进一步提高。

【技术实现步骤摘要】
一种考虑类别语义匹配的域自适应目标检测方法及系统


[0001]本专利技术属于计算机视觉目标检测领域，尤其涉及一种考虑类别语义匹配的域自适应目标检测方法及系统。

技术介绍

[0002]在数据规模剧增、计算能力进步以及算法创新等诸多因素的共同作用下，深度学习得以迅速崛起并取得长足发展，在计算机视觉领域展现出强大的优势。近年来，基于深度学习的目标检测方法借助大规模、带标签的数据来训练目标检测模型，已经在多种公开的数据集上取得了卓著的成果。在实际应用中，训练数据集(称为源域)和测试数据集(称为目标域)的分布通常存在着差异，如果将从源域训练得的目标检测模型应用到目标域，那么模型可能会因域漂移问题而出现明显的性能退化，这便对目标检测模型的泛化能力提出了挑战。
[0003]域自适应作为迁移学习的重要分支，为上述问题提供了一种新的解决方案。在目标域缺少可用带标签数据的困境下，域自适应设法将知识从源域迁移到目标域，使得在源域上训练得到的模型能够泛化到目标域。目标检测任务需要同时确定图像中特定实例的位置及其所属类别，与图像分类任务相比，考虑域自适应问题时就本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种考虑类别语义匹配的域自适应目标检测方法，其特征在于，包括如下步骤：步骤1，获取源域带标签图像和目标域无标签图像；步骤2，使用源域带标签图像训练得到经过预训练的基础目标检测器；步骤3，在经过预训练的基础目标检测器上增加域自适应组件，使用源域带标签图像和目标域无标签图像训练得到经过训练的域自适应目标检测模型；步骤4，移除增加的域自适应组件，使用经过训练的域自适应目标检测模型对目标域场景进行目标检测。2.如权利要求1所述的考虑类别语义匹配的域自适应目标检测方法，其特征在于，所述步骤1包括如下步骤：步骤1.1，获取目标域无标签图像：根据实际应用需求，采集待检测场景的图像，使用采集得到的图像创建数据集作为无标签的目标域，无标签的目标域中的图像即目标域无标签图像；步骤1.2，获取源域带标签图像：针对目标域待检测目标的类别，选取与目标检测任务相关的公开数据集作为源域，源域中的图像即源域带标签图像；源域记为其中表示第i张源域带标签图像，表示第i张源域带标签图像对应的标签，包括边界框标签b以及对应的类别标签c；N
s
表示源域带标签图像的数量；目标域记为其中表示第j张目标域无标签图像，N
t
表示目标域无标签图像的数量；源域和目标域共享K个目标类别即c∈{1，2,
…
,K}。3.如权利要求1所述的考虑类别语义匹配的域自适应目标检测方法，其特征在于，所述步骤2包括如下步骤：步骤2.1，主干网络G提取源域带标签图像的特征：选用Faster R
‑
CNN作为基础目标检测器，选用VGG16作为FasterR
‑
CNN的主干网络G，输入图像依次经过随机水平翻转、特征归一化和等比例缩放的预处理操作，通过主干网络G的系列卷积块对预处理后的图像进行特征提取，得到源域带标签图像的特征图步骤2.2，区域生成网络(RPN)生成候选区域：先使用3
×
3滑动窗口对特征图进行卷积运算，再经过两个1
×
1卷积层分别预测特征图在当前窗口位置上的前景概率和边界框回归参数；通过先验框模板生成特征图对应源域带标签图像上的所有先验框；将预测的边界框回归参数应用到先验框上以获得候选框，移除小于指定尺寸的候选框后，再经过非极大值抑制处理，最后根据预测的前景概率保留前2000个概率最大的候选框，区域生成网络的损失包括分类损失项和回归损失项步骤2.3，通过兴趣区域头部网络(RoI Head)预测最终的分类结果和边界框回归结果：不同尺寸大小候选框内的候选区域经过兴趣区域头部网络的兴趣区域对齐(RoI Align)后都转变成维度固定的特征向量，随后经过两个全连接层分别进行目标类别概率预测和边界
框回归参数预测；兴趣区域头部网络的损失包括分类损失项和回归损失项步骤2.4，通过优化器获取基础目标检测器的损失并对基础目标检测器进行优化：基础目标检测器的损失为区域生成网络损失和兴趣区域头部网络损失之和，如公式(1)所示：使用随机梯度下降算法对基础目标检测器损失进行优化，优化过程多次遍历数据集，参与训练的每一批次图像都重复经过步骤2.1、步骤2.2、步骤2.3，直至达到设定的总遍历次数，并完成损失的收敛，最终获得经过预训练的基础目标检测器。4.如权利要求1所述的考虑类别语义匹配的域自适应目标检测方法，其特征在于，所述步骤3包括如下步骤：步骤3.1，在经过预训练的基础目标检测器增加域自适应组件；步骤3.2，使用源域带标签图像和目标域无标签图像训练得到域自适应目标检测模型；所述步骤3.1，包括如下步骤：步骤3.1.1，增加全局特征判别组件：在主干网络G的输出位置构建域判别器D，域判别器D用于区分主干网络G输出的特征图来自源域还是目标域；在主干网络G和域判别器D之间引入梯度反转层，梯度反转层用于在反向传播时对梯度符号取反，实现主干网络G和域判别器D的对抗训练，从而对齐源域和目标域的全局特征；采用焦点损失计算域判别器D的损失：采用焦点损失计算域判别器D的损失：采用焦点损失计算域判别器D的损失：其中，为使用焦点损失计算域判别器D对源域样本的分类损失，为使用焦点损失计算域判别器D对目标域样本的分类损失，为域判别器D对源域和目标域样本的总分类损失，即全局特征判别损失；κ为聚焦参数，用来控制对难分类样本施加的权重；D()表示域分类器D预测样本属于源域的概率；步骤3.1.2，增加伪标签动态选取组件：基于源域带标签图像边界框标签b以及对应的类别标签c，根据公式(5)，使用所有属于类别c的源域目标类别样本计算对应类别的中心点特征表示得到源域所有目标类别在嵌入空间中的中心点特征表示
其中，S
c
表示属于类别c的所有源域目标类别样本集合；表示第i个源域目标类别样本；R表示嵌入函数，具体为兴趣区域对齐以及随后的两个串联全连接层；|S
c
|表示属于类别c的源域目标类别样本的数量；使用步骤2中预训练的基础目标检测器为目标域所有无标签图像赋予伪标签，伪标签包括边界框伪标签以及对应的类别伪标签；根据公式(6)，计算伪标签下第j个目标域目标类别样本在嵌入空间中与所有源域目标类别中心点特征表示之间的相似性分数将保存到属于类别c'的所有目标域目标类别样本集合T
c
’
中，其中中，其中其中，cos()为余弦相似度；根据公式(7)在训练过程中对阈值τ进行动态调整；对于中的每个目标域类别样本如果相似性分数σ大于或等于当前的阈值τ，那么就选取该目标类别样本，并保存到经过选取的属于类别c'的所有目标域目标类别样本集合中，否则不选取；其中，α和β为常数；n为当前遍历次数，n＝{1,2,
…
,max_epoch}；表示各个类别的目标域目标类别样本集合的集合，表示经过选取的属于类别c'的所有目标域目标类别样本集合；max_epoch表示设定的最大遍历次数；步骤3.1.3，增加类别语义匹配组件：在选取具有正确伪标签的目标类别样本后，在类别空间中对齐源域和目标域目标类别的分布，从而增强目标类别特征的可判别性：基于选取后的目标域目标类别样本，根据公式(8)...

【专利技术属性】
技术研发人员：王晓伟，蒋沛文，王惠，秦晓辉，边有钢，秦洪懋，徐彪，谢国涛，秦兆博，胡满江，丁荣军，
申请(专利权)人：湖南大学，
类型：发明
国别省市：