一种端到端的半监督钢材表面缺陷检测方法及系统技术方案

本发明专利技术公开了一种端到端的半监督钢材表面缺陷检测方法及系统包括：将两个钢材表面缺陷数据集分别作为标记图像和未标记图像，对未标记图像做强增强处理和弱增强处理；将弱增强处理的未标记图像输入Faster RCNN

【技术实现步骤摘要】
一种端到端的半监督钢材表面缺陷检测方法及系统


[0001]本专利技术涉及缺陷检测
，具体为一种端到端的半监督钢材表面缺陷检测方法及系统。

技术介绍

[0002]钢材是现代工业生产的重要原材料，相关产品已广泛应用于各个领域如建筑、车辆、航空等，然而在钢材的生产和使用过程中，表面会不可避免的产生不同种类的缺陷，从而影响产品的外观和质量；不同的缺陷对产品的影响效果不一样，因此正确识别钢材表面缺陷是保证产品外观和质量的重要一环。传统的钢材表面缺陷检测方法主要依靠人工，很大程度依赖于检测人员的经验，漏检和误检几率比较高且需要大量的人力和时间成本。随着硬件水平和软件水平的提高，基于深度学习、机器学习的自动缺陷检测系统被提出并应用到实践中。
[0003]基于深度学习的钢材表面缺陷检测方法可以自动提取图像缺陷特征，实现更快速准确的识别，在钢材表面缺陷检测中具有很大的潜力，但深度学习模型需要大量的标注完全的数据集来训练模型，并且缺陷数据集存在缺陷类别相似和类别内差异问题都影响着模型在实际运用中的检测精度。半监督学习的目标检测方法可以利用少量标记样本与大量未标记样本训练深度学习，很大程度的减小了模型对于完全标记样本的依赖，在实际应用中减少了标记样本所需的时间和人力，并且降低了因错误标记导致影响模型检测效果的可能。1992年Merz等人首次提出半监督学习术语，目前半监督学习主要分为归纳式方法与直推式方法两种，归纳式方法利用标记样本与未标记样本训练检测模型，从而得到识别模型；直推式方法用标记数据来获得未标记数据的标签，准确率较低，因此在实际应用中运用归纳式方法较多。归纳式方法常用的有：直推学习，生成式模型，自训练，共训练等。Dong
‑
Hyun Lee等人提出Pseudo
‑
Label使用伪标签思想为无标签样本生成伪标签并与标签样本共同参与训练模型，伪标签的实质就是自训练方法。Vikas Verma等人提出ICT将Mixup算法运用于无标签样本类间联合，进行插值一致性训练。David Berthelot等整合以往的半监督学习思想联合熵最小化、一致性正则、Mixup等算法，提出Mix Match算法将半监督学习模型的精度提升到一个新的高度。半监督的目标检测方法挖掘无标签样本信息，解决深度学习中依赖大量标记数据的问题，提升了模型的泛化能力。

技术实现思路

[0004]本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
[0005]鉴于上述存在的问题，提出了本专利技术。
[0006]本专利技术实施例的第一方面，提供一种端到端的半监督钢材表面缺陷检测方法，包括：将两个钢材表面缺陷数据集分别作为标记图像和未标记图像，对所述未标记图像做强
增强处理和弱增强处理；将所述弱增强处理的未标记图像输入Faster RCNN
‑
label模型获取候选框，并经过非极大值抑制、前景得分滤波器和框回归滤波器筛选后确定弱增强图像伪标签；将所述标记图像和所述强增强处理的未标记图像输入Faster RCNN
‑
train模型进行监督训练和预测，通过匹配预测结果和所述弱增强图像伪标签计算损失；根据最终损失函数对所述Faster RCNN
‑
train模型的参数进行更新，并通过指数移动平均策略对所述Faster RCNN
‑
label模型的参数进行更新，随着模型的迭代训练，提升对钢材表面缺陷的检测效果。
[0007]作为本专利技术所述的端到端的半监督钢材表面缺陷检测方法的一种优选方案，其中：所述标记图像和未标记图像的获取和处理包括，
[0008]将钢材表面缺陷检测数据集中共1800张图像包含6类缺陷标签的数据集作为标记图像，热轧钢表面缺陷数据集共7226张图像包含9种钢材表面常见缺陷类别，从所述热轧钢表面缺陷数据集中挑选出与所述标记图像对应的6种缺陷样本数据集作为未标记图像；
[0009]对所述未标记图像做强增强处理和弱增强处理，所述弱增强处理包括对图像进行标准的翻转和平移，所述强增强处理包括采用裁剪增强、控制理论增强和随即增强方法对所述无标记图像进行处理。
[0010]作为本专利技术所述的端到端的半监督钢材表面缺陷检测方法的一种优选方案，其中：所述弱增强图像伪标签的确定包括，
[0011]将所述弱增强处理的未标记图像输入Faster RCNN
‑
label模型，获取当前目标类别下所有的候选框以及候选框对应类别的预测分数，根据所述预测分数计算每个候选框的类别分类概率；
[0012]根据所述类别分类概率对每个候选框由高到低排序，通过非极大抑制方法剔除多余的候选框以消除冗余后生成两组伪框；
[0013]其中一组伪框根据前景得分器使用较高的前景分数阈值过滤掉大部分低置信度候选框，对所有样本的可靠性进行评估，并利用样本的可靠性加权分类损失；
[0014]给定和两个框集，其中，表示指定为前景的框，表示指定为背景的框，定义所述弱增强图像伪标签的类别部分的损失函数为:
[0015][0016][0017]其中，表示弱增强图像伪标签的类别部分的损失函数，表示指定为前景框的个数，l
cls
表示伪框分类损失，g
cls
表示用于分类的伪框子集，w
j
表示对负样本的可靠性度量，r
j
表示第j个背景候选框的可靠性评分，表示指定为背景的框的个数，r
k
表示第k个背景候选框的可靠性评分。
[0018]作为本专利技术所述的端到端的半监督钢材表面缺陷检测方法的一种优选方案，其
中：还包括，
[0019]其中另一组伪框根据框回归方差滤波器对伪框进行过滤，通过测量候选伪框回归预测的一致性估计所述候选伪框的定位可靠性；
[0020]选取一个所述Faster RCNN
‑
label模型预测得到的框中前景得分大于0.5的伪框b
i
，在b
i
周围采样一个抖动框，并将所述抖动框输入到所述Faster RCNN
‑
label模型中以获得更细化的伪框，所述更细化的伪框的计算公式为：
[0021]重复多次收集一组更细化的抖动框并计算所述抖动框的回归方差，公式如下：
[0022][0023][0024]其中，表示抖动框的回归方差，σ
k
表示细化后抖动框集的第k个坐标的标准推导，表示标准化后的σ
k
，h(b
i
)表示候选框b
i
的高度，w(b
i
)表示候选框b
i
的宽度。
[0025]作为本专利技术所述的端到端的半监督钢材表面缺陷检测方法的一种优选方案，其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种端到端的半监督钢材表面缺陷检测方法，其特征在于，包括：将两个钢材表面缺陷数据集分别作为标记图像和未标记图像，对所述未标记图像做强增强处理和弱增强处理；将所述弱增强处理的未标记图像输入Faster RCNN
‑
label模型获取候选框，并经过非极大值抑制、前景得分滤波器和框回归滤波器筛选后确定弱增强图像伪标签；将所述标记图像和所述强增强处理的未标记图像输入Faster RCNN
‑
train模型进行监督训练和预测，通过匹配预测结果和所述弱增强图像伪标签计算损失；根据最终损失函数对所述Faster RCNN
‑
train模型的参数进行更新，并通过指数移动平均策略对所述Faster RCNN
‑
label模型的参数进行更新，随着模型的迭代训练，提升对钢材表面缺陷的检测效果。2.如权利要求1所述的端到端的半监督钢材表面缺陷检测方法，其特征在于：所述标记图像和未标记图像的获取和处理包括，将钢材表面缺陷检测数据集中共1800张图像包含6类缺陷标签的数据集作为标记图像，热轧钢表面缺陷数据集共7226张图像包含9种钢材表面常见缺陷类别，从所述热轧钢表面缺陷数据集中挑选出与所述标记图像对应的6种缺陷样本数据集作为未标记图像；对所述未标记图像做强增强处理和弱增强处理，所述弱增强处理包括对图像进行标准的翻转和平移，所述强增强处理包括采用裁剪增强、控制理论增强和随机增强方法对所述无标记图像进行处理。3.如权利要求1或2所述的端到端的半监督钢材表面缺陷检测方法，其特征在于：所述弱增强图像伪标签的确定包括，将所述弱增强处理的未标记图像输入Faster RCNN
‑
label模型，获取当前目标类别下所有的候选框以及候选框对应类别的预测分数，根据所述预测分数计算每个候选框的类别分类概率；根据所述类别分类概率对每个候选框由高到低排序，通过非极大抑制方法剔除多余的候选框以消除冗余后生成两组伪框；其中一组伪框根据前景得分器使用较高的前景分数阈值过滤掉大部分低置信度候选框，对所有样本的可靠性进行评估，并利用样本的可靠性加权分类损失；给定和两个框集，其中，表示指定为前景的框，表示指定为背景的框，定义所述弱增强图像伪标签的类别部分的损失函数为:景的框，定义所述弱增强图像伪标签的类别部分的损失函数为:其中，表示弱增强图像伪标签的类别部分的损失函数，表示指定为前景框的个数，l
cls
表示伪框分类损失，g
cls
表示用于分类的伪框子集，w
j
表示对负样本的可靠性度
量，r
j
表示第j个背景候选框的可靠性评分，表示指定为背景的框的个数，r
k
表示第k个背景候选框的可靠性评分。4.如权利要求3所述的端到端的半监督钢材表面缺陷检测方法，其特征在于：还包括，其中另一组伪框根据框回归方差滤波器对伪框进行过滤，通过测量候选伪框回归预测的一致性估计所述候选伪框的定位可靠性；选取一个所述Faster RCNN
‑
label模型预测得到的框中前景得分大于0.5的伪框b
i
，在b
i
周围采样一个抖动框，并将所述抖动框输入到所述Faster RCNN
‑
label模型中以获得更细化的伪框，所述更细化的伪框的计算公式为：重复多次收集一组更细化的抖动框并计算所述抖动框的回归方差，公式如下：公式如下：其中，表示抖动框的回归方差，σ
k
表示细化后抖动框集的第k个坐标的标准推导，表示标准化后的σ
k
，h(b
i
)表示候选框b
i
...

【专利技术属性】
技术研发人员：朱正伟，颜丙涛，朱晨阳，宋欣杰，诸燕平，孙广辉，
申请(专利权)人：常州大学，
类型：发明
国别省市：