一种基于半监督学习的钢板表面缺陷检测方法及系统技术方案

本发明专利技术公开了一种基于半监督学习的钢板表面缺陷检测方法及系统，属于钢板缺陷检测技术领域，包括对缺陷图像采集，构建缺陷图像数据集；将缺陷图像数据库划为标记数据集和未标记数据集；将标记数据集划分为训练集和验证集，对训练集进行数据增强处理；建立改进后的yolov5网络模型ECS

【技术实现步骤摘要】
一种基于半监督学习的钢板表面缺陷检测方法及系统


[0001]本专利技术涉及钢板缺陷检测
，尤其是一种基于半监督学习的钢板表面缺陷检测方法及系统。

技术介绍

[0002]钢铁表面的质量检测是保证钢铁质量的工艺流程中重要环节，据统计，国内板带钢产品用户质量异议事件60％以上都是由表面缺陷造成的。如何提高表面检测系统的检测速度和检测精度一直是该领域的研究热点。目前，机器视觉检测逐渐取代传统的检测手段，中国专利技术专利“一种钢板表面伤损检测装置及方法”(CN116046884A)专利技术一种钢板表面伤损检测装置及方法，该专利技术公开了一种钢板表面伤损检测装置，此装置对钢板表面高速扫描,得到钢板表面三维模型图,计算机根据原来无伤损钢板表面数据及接收到的检测数据对钢板判定伤损信息，并且装置结构简单，检测方法简单易行，能够进行动态、实时、高精度自动化检测和判定；中国专利技术专利“一种基于深度学习语义分割的缺陷检测方法”(CN110473173A)专利技术一种基于深度学习语义分割的缺陷检测方法，该方法基于已训练的深度学习语义分割缺陷检测模型，进行物体表面缺陷检测，然而该专利文献公开的方法中需对表面缺陷图像进行手动标注，费时费力，易受人工主观影响；中国专利技术专利“基于注意力的Faster R
‑
CNN(Fast Region
‑
based Convolutional Network,快速的基于区域的神经网络)网络的钢板表面缺陷检测方法”(CN113160139A)专利技术一种基于注意力的Faster R
‑
CNN网络的钢板表面缺陷检测方法，将带有注意力模块的resnet50骨干网络与FPN特征金字塔结合对钢板表面缺陷图片提取特征，有助于提高钢板表面缺陷检测的分类和回归的精确率；中国专利技术专利“基于嵌入式边缘平台的钢板缺陷实时检测系统”(CN115619718A)专利技术一种基于嵌入式边缘平台的钢板缺陷实时检测系统与方法,包括图像采集模块、嵌入式边缘计算平台、缺陷标定模块和云储存/计算平台，通过选用轻量级模型并配合适当压缩，使得在边缘计算平台轻松高效地部署深度学习算法模型，实现带钢表面缺陷的实时检测。
[0003]然而目前主流的钢板缺陷检测研究主要依赖全监督训练，但这需要大量标注标签，而在实际钢板生产中，各种缺陷样本出现的概率较低，导致难以在短时间内收集到足够多种类的缺陷样本，逐一标记这些样本是非常耗时耗力的。因此，直接应用主流的基于有监督学习的缺陷检测算法并不能很好地解决该问题。当前的半监督目标检测方法大多数是基于Faster R
‑
CNN等算法，它们是一种两阶段目标检测算法，存在着检测速度慢的问题，并且不能进行实时检测。本专利技术提出了一种基于半监督学习的钢板表面缺陷检测方法，采用了YOLOv5作为全监督模型，并结合半监督学习技术进行改进，具有较快的检测速度，能够满足实时性要求。

技术实现思路

[0004]本专利技术需要解决的技术问题是提供一种基于半监督学习的钢板表面缺陷检测方法及系统，能够使得钢板缺陷检测的流程更加方便简单，减少对大量标记样本的依赖，且模
型精度在训练过程中能越来越准确。
[0005]为解决上述技术问题，本专利技术所采用的技术方案是：
[0006]S1、对缺陷图像采集，构建缺陷图像数据集；
[0007]S2、对缺陷图像数据库进行数据划分，划为标记数据集和未标记数据集；
[0008]S3、将标记数据集划分为训练集和验证集，并对训练集进行数据增强处理；
[0009]S4、建立改进后的yolov5网络模型ECS
‑
yolov5；
[0010]S5、用ECS
‑
yolov5作为半监督的检测模型；
[0011]S6、视频采集模块采集实时视频并对其处理，并应用半监督的检测模型，实现实时缺陷检测；
[0012]S7、缺陷数据储存模块将以上检测到的缺陷数据进行存储，并定期使用新的缺陷数据更新半监督的检测模型参数。
[0013]本专利技术技术方案的进一步改进在于：S2中，所述标记数据集包含所有类别缺陷且各类缺陷数据数量相同，所述标记数据集和未标记数据集的比例为1∶5。
[0014]本专利技术技术方案的进一步改进在于：S4中，所述改进后的yolov5网络模型结构包括Backbone、Neck和Head；
[0015]S4具体包括以下步骤：
[0016]S4.1在Backbone中，在C3模块中增加注意力层ECA(Efficient Channel Attention，高效通道注意力)模块，即用新形成的C3ECA模块替换原有的C3模块；
[0017]S4.2在Neck中，引入了轻量级上采样算子CARAFE(Content
‑
Aware ReAssembly of Features)模块替换上采样模块中的nearest双线性上采样算子；
[0018]S4.3将yolov5模型的回归损失函数由CIoU替换为SIoU；SIoU损失函数包含四个部分：角度损失∧、距离损失Δ、形状损失Ω、IOU损失，IOU损失即交并比损失，用公式表示为：
[0019][0020]SIoU损失函数公式如下：
[0021][0022]本专利技术技术方案的进一步改进在于：S5中，具体包括以下步骤：
[0023]S5.1模型的初始化阶段，用ECS
‑
yolov5训练标记数据集，为之后教师模型产生有效的伪标签；
[0024]S5.2师生相互学习阶段，利用ECS
‑
yolov5作为半监督的检测框架中的教师模型和学生模型，教师生成培训学生的伪标签，学生模型通过EMA(ExponentialMoving Average，指数平均移动)逐步更新教师模型的参数，用总损失更新学生模型参数，并比较学生模型结果，选取最好的学生模型作为最终检测的目标模型；
[0025]本专利技术技术方案的进一步改进在于：S5.2具体包括以下步骤：
[0026]S5.2.1学生模型训练；
[0027]将标记数据和未标记数据进强增强，并对增强后的数据送入学生模型训练；
[0028]S5.2.2教师模型训练；
[0029]将为标记数据进行弱增强并送入教师模型进行推理，设置阈值生成的伪标签，设
置阈值方法为动态阈值法，动态阈值法即先设置一个初始阈值后面根据事实情况进行调整；动态阈值法可以根据实际情况动态地调整检测门限，以保证检测结果的准确性和可靠性；
[0030]S5.2.3在师生模型中引入一种伪标签平衡策略；引入为标签平衡策略平衡生成各个种类中伪标签的数目，再将伪标签与已标记数据混合，扩充标记数据集；
[0031]S5.2.4计算优化损失；
[0032]学生模型训练此步骤主要是利用有标记图片与无标记图片共同更新学生模型，有标记图片通过学生模型训练得到预测值并与真实标签比较计算分类损失与边界框回归损失本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于半监督学习的钢板表面缺陷检测方法，其特征在于：包括以下步骤：S1、对缺陷图像采集，构建缺陷图像数据集；S2、对缺陷图像数据库进行数据划分，划为标记数据集和未标记数据集；S3、将标记数据集划分为训练集和验证集，并对训练集进行数据增强处理；S4、建立改进后的yolov5网络模型ECS
‑
yolov5；S5、用ECS
‑
yolov5作为半监督的检测模型；S6、视频采集模块采集实时视频并对其处理，并应用半监督的检测模型，实现实时缺陷检测；S7、缺陷数据储存模块将检测到的缺陷数据进行存储，并定期使用新的缺陷数据更新半监督的检测模型参数。2.根据权利要求1所述的基于半监督学习的钢板表面缺陷检测方法，其特征在于：S2中，所述标记数据集包含所有类别缺陷且各类缺陷数据数量相同，所述标记数据集和未标记数据集的比例为1∶5。3.根据权利要求1所述的基于半监督学习的钢板表面缺陷检测方法，其特征在于：S4中，所述改进后的yolov5网络模型结构包括Backbone、Neck和Head；S4具体包括以下步骤：S4.1在Backbone中，在C3模块中增加注意力层ECA模块，即用新形成的C3ECA模块替换原有的C3模块；S4.2在Neck中，引入了轻量级上采样算子CARAFE模块替换上采样模块中的nearest双线性上采样算子；S4.3将yolov5模型的回归损失函数由CIoU替换为SIoU；SIoU损失函数包含四个部分：角度损失∧、距离损失Δ、形状损失Ω、IOU损失，IOU损失即交并比损失，用公式表示为：SIoU损失函数公式如下：4.根据权利要求1所述的基于半监督学习的钢板表面缺陷检测方法，其特征在于：S5中，具体包括以下步骤：S5.1模型的初始化阶段，用ECS
‑
yolov5训练标记数据集，为之后教师模型产生有效的伪标签；S5.2师生相互学习阶段，利用ECS
‑
yolov5作为半监督的检测框架中的教师模型和学生模型，教师生成培训学生的伪标签，学生模型通过EMA逐步更新教师模型的参数，用总损失更新学生模型参数，并比较学生模型结果，选取最好的学生模型作为最终检测的目标模型。5.根据权利要求4所述的基于半监督学习的钢板表面缺陷检测方法，其特征在于：S5.2具体包括以下步骤：S5.2.1学生模型训练；将标记数据和未标记数据进强增强，并对增强后的数据送入学生模型训练；
S5.2.2教师模型训练；将为标记数据进行弱增强并送入教师模型进行推理，设置阈值生成的伪标签，设置阈值方法为动态阈值法，动态阈值法即先设置一个初始阈值后面根据事实情况进行调整；动态阈值法可以根据实际情况动态地调整检测门限，以保证检测结果的准确性和可靠性；S5.2.3在师生模型中引入一种伪标签平衡策略；引入为标签平衡策略平衡生成各个种类中伪标签的数目，再将伪标签与已标记数据混合，扩充标记数据集；S5.2.4计算优化损失；学生模型训练此步骤主要是利用有标记图片与无标记图片共同...

【专利技术属性】
技术研发人员：陈树宗，蒋圣泉，孙朴，付天添，华长春，孙杰，李旭，丁伟利，
申请(专利权)人：燕山大学，
类型：发明
国别省市：