基于多级伪标签增强的半监督目标检测方法及系统技术方案

本发明专利技术属于目标检测领域，提供了一种基于多级伪标签增强的半监督目标检测方法及系统，获取原始图像并进行预处理，得到预处理图像；基于预处理图像，利用预先训练好的半监督目标检测网络模型进行目标检测，得到最终的目标检测结果；本发明专利技术采用多级伪标签增强技术的方法，给出了不同级别下伪标签增强的统一公式；还提出了一种基于平均置信度得分的自适应加权方法作为新的度量标准来选择正负样本；旨在解决目标检测任务中标记数据稀缺

【技术实现步骤摘要】
基于多级伪标签增强的半监督目标检测方法及系统


[0001]本专利技术属于目标检测
，具体涉及一种基于多级伪标签增强的半监督目标检测方法及系统
。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术
。
[0003]目标检测是计算机视觉中的一个重要任务，其目的是在图像或视频中定位并识别出特定的物体
。
与简单的图像分类任务不同，目标检测要求不仅识别出物体，还要确定其位置和大小
。
传统的目标检测方法大致可以分为基于人工设计特征和分类器的方法和基于深度学习的方法
。
对于早期的基于人工设计特征和分类器的方法，由于无法处理大量变化的背景和目标形状，难以实现端到端的训练，从而导致检测的准确率受限
。
相较于人工设计特征和分类器的方法，深度学习方法通过神经网络自动学习特征和分类器，将目标提取和分类合并在一起，目前已成为目标检测的主流方法
。
[0004]尽管基于深度学习的目标检测方法已经取得了显著的进展，但是它们通常需要大量且多样性的标注数据来支撑其训练过程
。
在一些特殊领域，例如医学图像领域，图像的获取和标注难度较大，因此标记数据是相对较少且存在局限性的
。
此外，在半监督目标检测任务中，由于检测算法的不准确性可能会产生一定的误差，因此生成的伪标签可能会带有一定的噪声，带噪伪标签的准确度对正负样本的划分产生较大的影响，这对目标检测算法的设计和优化提出了更为严峻的挑战
。
[0005]当前目标检测技术面临一系列挑战和难点，其中标记数据量较少且数据存在较大的局限性是检测精度较低的一个主要问题，带噪伪标签的准确度进一步影响目标检测的精度
。
因此，迫切需要一种基于多级伪标签增强和自适应加权的半监督目标检测方法，以克服当前技术中存在的局限性，并为该领域的发展提供新的思路和解决方案
。

技术实现思路

[0006]为了解决上述问题，本专利技术提出了一种基于多级伪标签增强的半监督目标检测方法及系统，本专利技术旨在解决目标检测任务中标记数据稀缺
、
数据存在较大局限性以及带噪伪标签的准确度对正负样本划分的影响，来提升目标检测模型的准确度和鲁棒性
。
[0007]根据一些实施例，本专利技术的第一方案提供了一种基于多级伪标签增强的半监督目标检测方法，采用如下技术方案：基于多级伪标签增强的半监督目标检测方法，包括：获取原始图像并进行预处理，得到预处理图像；基于预处理图像，利用预先训练好的半监督目标检测网络模型进行目标检测，得到最终的目标检测结果；其中，所述半监督目标检测网络模型的训练过程，具体为：
获取原始图像并进行预处理，得到标记数据集和未标记数据集；对标记数据集中的部分图像采用盒级伪标签增强后，再对未标记数据集中的图像和盒级增强标记数据集中的图像利用交叉的前景背景混合信息进行图像级伪标签增强，得到图像级伪标签增强图像，生成增强后的标记数据集；将增强后的标记数据集以及标记数据集输入到学生网络进行特征提取，将未标记数据集输入到教师网络生成伪标签数据，并选择正负样本；将增强后的标记数据的分类损失和边界框回归损失以及未标记数据的分类损失相加构成网络模型的总损失，重复进行前向传播和反向传播过程，直到达到收敛条件，保存其最小损失值时的半监督目标检测网络模型作为最终的训练结果
。
[0008]进一步地，所述获取原始图像并进行预处理，得到预处理图像，具体为：获取原始图像；对原始图像进行数据清洗，过滤掉不合格的数据；对过滤后的数据进行尺寸统一，得到预处理图像
。
[0009]进一步地，基于预处理图像，采用盒级伪标签增强，具体为：选取两张带标记图像，并分别从两张带标记图像中选取一个边界框；调整两幅图像上边界框，使得两个边界框的高和宽互换，得到调整后的边界框；将调整后的边界框分别从带标记图像的背景中分离出来并互换，得到两张盒级伪标签数据图像
。
[0010]进一步地，对未标记数据集中的图像和盒级增强标记数据集中的图像利用交叉的前景背景混合信息进行图像级伪标签增强，得到图像级伪标签增强图像，具体为：基于盒级增强标记数据集中随机选择两张盒级伪标签数据标记图像，同时基于未标记数据集中随机选择两张未标记图像；对两张盒级伪标签数据标记图像和两张未标记图像进行随机裁剪后，并将裁剪后的图像进行混合，得到一张图像级伪标签增强图像
。
[0011]进一步地，所述将增强后的标记数据集以及标记数据集输入到学生网络进行特征提取，具体为：将增强后的标记数据集中的图像级伪标签增强图像输入到学生主干网络中，通过一组卷积层，激活函数层以及池化层提取图像级伪标签增强图像的特征图；再将特征图输入到目标检测网络中进行目标识别训练
。
[0012]进一步地，将未标记数据集输入到教师网络生成伪标签数据，并选择正负样本，具体为：将未标记数据集进行弱增强后输入到教师网路中获得预测标签；经过非极大值抑制后，如果该未标记数据的分类得分大于预先设定的阈值则把该未标记数据作为伪标签数据；将未标记数据集进行强增强后输入到学生网络进行训练；综合考虑教师网络的分类得分
s、
教师网络生成的候选框和真实值的
IoU
值
u
以及带噪伪标签的准确度
w
的影响，计算教师网络提供给学生网络的所有候选框的得分，即候选框的质量
q
；，
其中，
α
是控制
s
和
u
对结果的贡献程度；
q
是候选框的质量，通过上面的公式得分表示候选框的质量好坏
;
通过
OTA
中的动态选择方式选择
top
‑
N
个为正样本，将
top
‑
N
的框看做正样本，其余为负样本
。
[0013]进一步地，所述基于预处理图像，利用预先训练好的半监督目标检测网络模型进行目标检测，得到最终的目标检测结果，具体为：利用训练好的学生网络对预处理图像进行前向传递，生成检测框和对应的类别置信度；将生成的检测框和类别置信度输入到后处理模块中，进行非极大值抑制和置信度筛选，得到最终的目标检测结果
。
[0014]根据一些实施例，本专利技术的第二方案提供了一种基于多级伪标签增强的半监督目标检测系统，采用如下技术方案：基于多级伪标签增强的半监督目标检测系统，包括：图像获取模块，被配置为获取原始图像并进行预处理，得到预处理图像；目标检测模块，被配置为基于预处理图像，利用预先训练好的半监督目标检测网络模型进行目标检测，得到最终的目标检测结果；其中，所述半监督目标检测网络模型的训练过程，具体为：获取原始图像并进行预处理，得到标记数据集和未标记数据集；对标记数据集中的部分图像采用盒级伪标签增强后，再本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于多级伪标签增强的半监督目标检测方法，其特征在于，包括：获取原始图像并进行预处理，得到预处理图像；基于预处理图像，利用预先训练好的半监督目标检测网络模型进行目标检测，得到最终的目标检测结果；其中，所述半监督目标检测网络模型的训练过程，具体为：获取原始图像并进行预处理，得到标记数据集和未标记数据集；对标记数据集中的部分图像采用盒级伪标签增强后，再对未标记数据集中的图像和盒级增强标记数据集中的图像利用交叉的前景背景混合信息进行图像级伪标签增强，得到图像级伪标签增强图像，生成增强后的标记数据集；将增强后的标记数据集以及标记数据集输入到学生网络进行特征提取，将未标记数据集输入到教师网络生成伪标签数据，并选择正负样本；将增强后的标记数据的分类损失和边界框回归损失以及未标记数据的分类损失相加构成网络模型的总损失，重复进行前向传播和反向传播过程，直到达到收敛条件，保存其最小损失值时的半监督目标检测网络模型作为最终的训练结果
。2.
如权利要求1所述的基于多级伪标签增强的半监督目标检测方法，其特征在于，所述获取原始图像并进行预处理，得到预处理图像，具体为：获取原始图像；对原始图像进行数据清洗，过滤掉不合格的数据；对过滤后的数据进行尺寸统一，得到预处理图像
。3.
如权利要求1所述的基于多级伪标签增强的半监督目标检测方法，其特征在于，基于预处理图像，采用盒级伪标签增强，具体为：选取两张带标记图像，并分别从两张带标记图像中选取一个边界框；调整两幅图像上边界框，使得两个边界框的高和宽互换，得到调整后的边界框；将调整后的边界框分别从带标记图像的背景中分离出来并互换，得到两张盒级伪标签数据图像
。4.
如权利要求1所述的基于多级伪标签增强的半监督目标检测方法，其特征在于，对未标记数据集中的图像和盒级增强标记数据集中的图像利用交叉的前景背景混合信息进行图像级伪标签增强，得到图像级伪标签增强图像，具体为：基于盒级增强标记数据集中随机选择两张盒级伪标签数据标记图像，同时基于未标记数据集中随机选择两张未标记图像；对两张盒级伪标签数据标记图像和两张未标记图像进行随机裁剪后，并将裁剪后的图像进行混合，得到一张图像级伪标签增强图像
。5.
如权利要求1所述的基于多级伪标签增强的半监督目标检测方法，其特征在于，所述将增强后的标记数据集以及标记数据集输入到学生网络进行特征提取，具体为：将增强后的标记数据集中的图像级伪标签增强图像输入到学生主干网络中，通过一组卷积层，激活函数层以及池化层提取图像级伪标签增强图像的特征图；再将特征图输入到目标检测网络中进行目标识别训练
。6.
如权利要求1所述的基于多级伪标签增强的半监督目标检测方法，其特征在于，将未标记数据集输入到教师网络生成伪标签数据，并选择正负样本，具体为：
将未标记数据集进行弱增强后输入到教师网路中获得预测标签；经过非极大值抑制后，如果该未标记数据的分类得分大于预先设定的阈值则把该未标记数据作为伪...

【专利技术属性】
技术研发人员：袭肖明，丁强，王哲，乔立山，陈关忠，刘新锋，郭杰，宁阳，
申请(专利权)人：山东省产品质量检验研究院，
类型：发明
国别省市：