基于半监督训练提升制造技术

本发明专利技术公开了一种基于半监督训练提升

【技术实现步骤摘要】
基于半监督训练提升YOLO检测模型精度方法及系统


[0001]本专利技术涉及计算机
，具体而言，涉及一种基于半监督训练提升
YOLO
检测模型精度方法及系统
。

技术介绍

[0002]目前，由于当前的数据标注困难，且浪费大量的人力物力，在具有一些大量无标注数据的场景或特定领域标注数据不足的场景，可以在线学习新出现的未标注样本
,
使系统在部署后持续改进
,
适合需要频繁升级的产品，硬件性能受限的移动或边缘设备
:
能够利用大量无标注数据提升模型性能
,
适合图像
/
视频数据量大但标注成本高的应用
。
需要增量学习的系统
:
可实现遗忘旧数据
、
适应新数据分布的增量学习
,
适合数据集变化较快的应用场景，难以应用
。
[0003]并且现有的检测模型
YOLOv5
系列都是采用全监督学习，所有数据都需要人工筛选标记，这就造成了巨大的标注成本，同时限制了数据的数量，面对大型复杂的场景，其标注成本将会指数级上升，而且如果新增种类，又要对所有的数据再次标注，费时费力
。
速度相对来说在一些计算资源比较缺乏的环境速度会比较慢
。
标注耗时长
,
需要大量手工标注数据进行训练，费时费力
。
数据都是人工筛选，浪费了大量的可使用数据，特别是视频类数据
。<br/>
技术实现思路

[0004]本专利技术的目的在于提供了一种基于半监督训练提升
YOLO
检测模型精度方法及系统，用以解决现有技术中存在的上述问题
。
[0005]第一方面，本专利技术实施例提供了一种基于半监督训练提升
YOLO
检测模型精度方法，包括：获得无标注数据集和已标注数据集；所述无标注数据集包括多个未标注的数据；所述已标注数据集包括多个已标注的数据；获得教师模型和学生模型；所述教师模型和学生模型的结构相同；根据所述已标注数据集训练教师模型；将所述无标注数据集输入训练好的教师模型，生成伪标签；所述伪标签包括分类分数
、
回归坐标
、
置信度分数；基于伪标签，通过伪标签分配机制，得到可靠伪标签和不确定伪标签；基于伪标签
、
无标注数据集和已标注数据集，训练学生模型，得到训练好的学生模型；基于训练好的学生模型，通过指数移动平均方法，更新教师模型的参数，得到更新的教师模型
。
[0006]可选的，所述基于伪标签，通过伪标签分配机制，得到可靠伪标签和不确定伪标签，包括：若所述伪标签的置信度分数大于阈值，将所述伪标签设为可靠伪标签；
若所述伪标签的置信度分数小于或等于阈值，将所述伪标签设为不确定伪标签
。
[0007]可选的，所述基于伪标签
、
无标注数据集和已标注数据集，训练学生模型，得到训练好的学生模型，包括：基于已标注数据集，进行监督学习，训练学生模型；基于无标注数据集和对应的伪标签，训练已标注数据集训练过的学生模型，得到训练好的学生模型
。
[0008]可选的，所述基于无标注数据集和对应的伪标签，训练已标注数据集训练过的学生模型，得到训练好的学生模型，包括：获得可靠数据集；所述可靠数据集包括多个可靠伪标签对应的数据；将可靠数据集作为正样本输入学生模型
,
得到可靠输出值；将可靠输出值与对应的可靠伪标签计算损失，进行监督学习，训练学生模型；获得不确定数据集；所述不确定数据集包括多个不确定伪标签对应的数据；将不确定数据集输入学生模型，得到不确定输出值；将输出值与对应的不确定伪标签进行置信度分支的软损失训练学生模型
。
[0009]可选的，所述基于训练好的学生模型，通过指数移动平均方法，更新教师模型的参数，得到更新的教师模型，包括：所述教师模型的参数的更新公式如下述所示
:
θ
t2 =
α
*
θ
t1+ (1
ꢀ‑ꢀ
α
)*
θ
s
，其中，
θ
t2
为更新后的教师模型的参数，
θ
t1
为更新前的教师模型的参数，
θ
s
为学生模型的参数，
α
为平滑系数
。
[0010]可选的，根据更新的教师模型生成新的伪标签，重复训练学生模型和教师模型
。
[0011]可选的，所述无标注数据集中的数据的数量除以已标注数据集与无标注数据集中的数据的总数为
0.95
；所述已标注数据集中的数据的数量除以已标注数据集与无标注数据集中的数据的总数为
0.05。
[0012]可选的，通过端到端训练策略，将所述无标注数据集和已标注数据集进行域自适应和分布自适应，训练教师模型和学生模型
。
[0013]可选的，结束更新的教师模型为能够进行部署的教师模型
。
[0014]第二方面，本专利技术实施例提供了一种基于半监督训练提升
YOLO
检测模型精度系统，包括：标注模块：获得无标注数据集和已标注数据集；所述无标注数据集包括多个未标注的数据；所述已标注数据集包括多个已标注的数据；获得教师模型和学生模型；所述教师模型和学生模型的结构相同；教师模型训练模块：根据所述已标注数据集训练教师模型；伪标签生成模块：将所述无标注数据集输入训练好的教师模型，生成伪标签；所述伪标签包括分类分数
、
回归坐标
、
置信度分数；基于伪标签，通过伪标签分配机制，得到可靠伪标签和不确定伪标签；学生模型训练模块：基于伪标签
、
无标注数据集和已标注数据集，训练学生模型，得到训练好的学生模型；
学生模型反向更新教师模型：基于训练好的学生模型，通过指数移动平均方法，更新教师模型的参数，得到更新的教师模型
。
[0015]相较于现有技术，本专利技术实施例达到了以下有益效果：本专利技术实施例还提供了一种基于半监督训练提升
YOLO
检测模型精度方法和系统，所述方法包括：获得无标注数据集和已标注数据集
。
所述无标注数据集包括多个未标注的数据
。
所述已标注数据集包括多个已标注的数据
。
获得教师模型和学生模型
。
所述教师模型和学生模型的结构相同
。
根据所述已标注数据集训练教师模型
。
将所述无标注数据集输入训练好的教师模型，生成伪标签
。
所述伪标签包括分类分数
、
回归坐标
、
置信度分数
。
基于伪标签，通过伪标签分配机制，得到可靠伪标签和不确定伪标签
...

【技术保护点】

【技术特征摘要】
1.
一种基于半监督训练提升
YOLO
检测模型精度方法，其特征在于，包括：获得无标注数据集和已标注数据集；所述无标注数据集包括多个未标注的数据；所述已标注数据集包括多个已标注的数据；获得教师模型和学生模型；所述教师模型和学生模型的结构相同；根据所述已标注数据集训练教师模型；将所述无标注数据集输入训练好的教师模型，生成伪标签；所述伪标签包括分类分数
、
回归坐标
、
置信度分数；基于伪标签，通过伪标签分配机制，得到可靠伪标签和不确定伪标签；基于伪标签
、
无标注数据集和已标注数据集，训练学生模型，得到训练好的学生模型；基于训练好的学生模型，通过指数移动平均方法，更新教师模型的参数，得到更新的教师模型
。2.
根据权利要求1所述的基于半监督训练提升
YOLO
检测模型精度方法，其特征在于，所述基于伪标签，通过伪标签分配机制，得到可靠伪标签和不确定伪标签，包括：若所述伪标签的置信度分数大于阈值，将所述伪标签设为可靠伪标签；若所述伪标签的置信度分数小于或等于阈值，将所述伪标签设为不确定伪标签
。3.
根据权利要求1所述的基于半监督训练提升
YOLO
检测模型精度方法，其特征在于，所述基于伪标签
、
无标注数据集和已标注数据集，训练学生模型，得到训练好的学生模型，包括：基于已标注数据集，进行监督学习，训练学生模型；基于无标注数据集和对应的伪标签，训练已标注数据集训练过的学生模型，得到训练好的学生模型
。4.
根据权利要求3所述的基于半监督训练提升
YOLO
检测模型精度方法，其特征在于，所述基于无标注数据集和对应的伪标签，训练已标注数据集训练过的学生模型，得到训练好的学生模型，包括：获得可靠数据集；所述可靠数据集包括多个可靠伪标签对应的数据；将可靠数据集作为正样本输入学生模型
,
得到可靠输出值；将可靠输出值与对应的可靠伪标签计算损失，进行监督学习，训练学生模型；获得不确定数据集；所述不确定数据集包括多个不确定伪标签对应的数据；将不确定数据集输入学生模型，得到不确定输出值；将输出值与对应的不确定伪标签进行置信度分支的软损失训练学生模型
。5.
根据权利要求1所述的基于半监督训练提升
YOLO
检测模型精度方法，其特征在于，所述基于训练好的学生模型，通过指数移动平均方法，更新教师模型的参数，得到更新的教师模型，包括：所述教师模型的参数的更新公...

【专利技术属性】
技术研发人员：廖浪，薛晓轩，张结斌，
申请(专利权)人：成都合能创越软件有限公司，
类型：发明
国别省市：