一种基于微小缺陷YOLO网络的钢板表面缺陷检测方法技术

本发明专利技术提供了一种基于针对微小缺陷YOLO网络的钢板表面缺陷检测方法，该方法包括以下步骤：S1建立表面缺陷钢板数据集(包含训练集、测试集、验证集)，S2对所建立的数据集进行数据分类，使用迁移学习对该训练集进行训练，得到训练模型，使用训练后的模型对待检测缺陷进行分类检测，保留数据结果。S3改进YOLO网络，增加小目标检测层并在检测后期采用DIOU_NMS(非极大值抑制)，在保证检测效率同时加强微小缺陷检测。本发明专利技术的一种基于微小缺陷YOLO网络的钢板表面缺陷检测方法与传统检测方法相比较，实验对比得出：改进后检测精度更高，速度更快，网络结构精简，尤其是对微小缺陷检测更准确。尤其是对微小缺陷检测更准确。尤其是对微小缺陷检测更准确。

【技术实现步骤摘要】
一种基于微小缺陷YOLO网络的钢板表面缺陷检测方法


[0001]本专利技术属于数字图像处理
，具体涉及一种基于微小缺陷YOLO网络钢板表面缺陷检测方法。

技术介绍

[0002]金属板材在机械加工领域有着很重要的地位，是机械加工中不可或缺的重要原材料，而金属板材的表面质量是决定其价格的重要的一个标准。由于当前的设备及工艺条件限制等问题，金属板材的表面不可避免的会产生不同形式、不同类别的缺陷，并且所产生的缺陷的大小差异大，数量分布广。常见的缺陷有网纹、夹杂、斑纹、表面麻点、氧化铁皮压入、划伤等。表面缺陷常常成为金属腐蚀的始发处，钢板表面缺陷的存在会极大的降低零件的抗疲劳强度，影响机器、仪器的使用性能和寿命，最终会影响产品的性能和质量。因此对钢板表面微小缺陷及时的检测并对钢板质量进行严重程度进行评价，这对于提高金属钢板表面质量和直接经济效益有着重要意义。
[0003]YOLO网络模型最早在2016年提出，随着不断地改进，其后面的版本YOLOV5不仅检测效率高，而且相对于之前跟适合小目标的检测。YOLO网络主要包含卷积层、最大池化层和全连接层。卷积层用来对图片进行特征提取，最大池化用来降低图片像素，全连接层用来预测待检测图片的类别和位置。但是针对金属钢板面的微小缺陷检测，如果使用常规的YOLO框架进行检测，则会出现对微小缺陷漏检的情况。

技术实现思路

[0004]为解决上述问题，本专利技术提供了一种基于微小缺陷YOLO网络钢板表面缺陷检测方法，与传统未改进前的算法比较，检测效率更高、速度更快、网络结构更精简，尤其是对内含物和划痕等缺陷有较好的检测效果。
[0005]为了实现上述技术问题，本专利技术所采用的技术方案:
[0006]一种基于微小缺陷YOLO网络钢板表面缺陷检测方法,包括以下步骤：S1建立表面缺陷钢板数据集(包含训练集、测试集、验证集)，S2对所建立的数据集进行数据分类，使用迁移学习对该训练集进行训练，得到训练模型，使用训练后的模型对待检测缺陷进行分类检测，保留数据结果。S3改进YOLO网络，增加小目标检测层并在并检测后期采用DIOU_NMS(非极大值抑制)，在保证检测效率同时加强微小缺陷检测。
[0007]进一步地，所述的S10步骤包括：所述钢板标准图库中每张图片中包含一种典型缺陷，利用Hough对所检测的图片进行校正、裁剪等使得所述图像大小为200*200分辨率；以及S12使用Makesense软件对所述图片进行标注，使用使用矩形标注框真实的标注出每张图片中缺陷的位置及类别，并且记录矩形框左上角(xL,yL)和右下角(xR,yR)的坐标信息，在标注过程中采用密集标注法，即对每张图片中的缺陷进行单独标注。
[0008]进一步地，在训练集训练过程中，最佳学习率Lr＝0.01
[0009]进一步地，主干网络backbone包含Focus切片操作，3个CBL和3个CSP1_X操作，每个
CBL操作可以得到所有之前的卷积层的输出作为输入。
[0010]进一步地，S2将钢板表面加工图像输入特征提取网络中提取不同尺度的特征提取图，所述特征提取网络采用全局池化，增大感受野，基于Darknet
‑
53的17层上采样之后继续对特征图进行上采样等处理，使得特征图继续扩大，以此获得更大的特征图。
[0011]进一步地，S3在Darknet
‑
53第20层时，将S2获取到的特征图与主网络中第2层特征图进行concat融合,获得融合特征图。
[0012]进一步地，S4将融合特征图输入到多分类器模块进行钢板表面缺陷定位、识别和分类。
[0013]进一步地，S23对调整好大小的待检测图片采用归一化处理，将所需要待检测的钢板图片像素值由[0,255],转化为[0,1],得到第一缺陷分类图。
[0014]进一步地，S24讲经过归一化处理的钢板图片划分为S X S个网格，每个网格有3个bounding box如果缺陷落在该网格单元则由该网络单元的boundingbox负责其检测。
[0015]进一步地，S25所述预测框包含5个数据值(x,y,w,h,置信度)；(x,y)是所述预测框的中心相对于当前网络的偏移量，(w,h)是所述预测框的长和宽；置信度的大小反映了预测的边界框与真实边界框的重合情况
[0016]b
x
＝σ(t
x
)
×2‑
0.5+c
x
[0017]b
y
＝σ(t
y
)
×2‑
0.5+c
y
[0018]b
w
＝p
w
(σ(t
w
)
×
2)2[0019]b
h
＝p
h
(σ(t
h
)
×
2)2[0020]进一步地，后期处理过程中，针对很多小目标框的筛选，通常需要nms操作。因为CIOU_Loss中包含影响因子v，涉及groudtruth的信息，而针对热轧钢缺陷检测时，是没有groundtruth的。采用了DIOU_nms的方式，在同样的参数情况下，将nms中IOU修改成DIOU_nms。
[0021]进一步地，所述的钢板表面的缺陷包括：网纹(Cr)、夹杂(In)、斑块(Pa)、表面麻点(Ps)、氧化铁皮压入(Rs)、划伤(Sc)中至少一种损失。
[0022]本专利技术的上述技术方案相比未改进前具有以下优点：
[0023](1)本专利技术一种基于针对微小缺陷YOLO网络的钢板表面缺陷检测方法，通过在NEU
‑
CLS开源热轧钢板表面缺陷数据集上进行训练、实验。
[0024](2)通过在Darknet
‑
53主干网络中特征提取上采样后再增加一个上采样操作，在第20层时，将上采样获取到的特征图与主网络中第2层特征图进行concat融合,获得融合特征图。由实验得知该增加小目标检测层的方法能够较准确的检测出热轧钢板上的微小缺陷。
[0025](3)在后期处理过程中，针对很多小目标框的筛选采用了DIOU_nms的方式，在同样的参数情况下，将nms中IOU修改成DIOU_nms。有利于一些微小缺陷的检测，并且能有效减小训练集训练时长，提高效率。
附图说明
[0026]下面结合附图，通过对本专利技术详细叙述，使得对本专利技术的技术方案及优化特点更加清楚。
[0027]图1，为基于针对微小缺陷YOLO网络的钢板表面缺陷检测方法流程图；
[0028]图2，为本改进后YOLO网络与未改进前热轧钢板缺陷检测对比图(划痕、扎入氧化皮)；
[0029]图3，为改进后YOLO网络与未改进前热轧钢板缺陷检测对比图(斑块、内含物)；
[0030]图4，为改进后YOLO网络训练集与测试集上boundingbox的损失示意图；
[0031]图5，为改进后YOLO本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于微小缺陷YOLO网络的钢板表面缺陷检测方法，其特征在：所述的基于微小缺陷YOLO包括特征提取骨干网络、FPN+PAN及多尺度网络融合和多分类器模块，所叙述钢板表面缺陷检测方法包括：S1、利用海康工业相机获取钢板表面加工的图像；S2、将钢板表面加工图像输入特征提取网络中提取不同尺度的特征提取图，所述特征提取网络采用全局池化，增大感受野，基于Darknet
‑
53的17层上采样之后继续对特征图进行上采样等处理，使得特征图继续扩大，以此获得更大的特征图；S3、在Darknet
‑
53第20层时，将S2获取到的特征图与主网络中第2层特征图进行concat融合,获得融合特征图；S4、将融合特征图输入到多分类器模块进行钢板表面缺陷定位、识别和分类。2.根据权利要求1中一种基于微小缺陷YOLO网络的钢板表面缺陷检测方法，其特征在于，所述S1步骤包括：S11所述钢板标准图库中每张图片中包含一种典型缺陷，利用Hough对所检测的图片进行校正、裁剪等使得所述图像大小为200*200分辨率；S12使用Makesense软件对所述图片进行标注，使用矩形标注框真实的标注出每张图片中缺陷的位置及类别，并且记录矩形框左上角(xL,yL)和右下角(xR,yR)的坐标信息，在标注过程中采用密集标注法，即对每张图片中的缺陷进行单独标注。3.根据权利要求1所述的一种基于微小缺陷YOLO网络的钢板表面缺陷检测方法，其特征在于，利用训练集训练中最佳学习速率Lr＝0.01。4.根据权利要求1所述的基于微小缺陷YOLO网络的钢板表面缺陷检测方法，其特征在于，主干网络backbone包含Focus切片操作，3个CBL和3个CSP1_X操作，每个CBL操作可以得到所有之前的卷积层的输出作为输入。5.根据权利要求4所述的基于微小缺陷YOLO网络的钢板表面缺陷检测方法，其特征在于，所述步骤S2包括如下步骤：S21将所述待检测钢板图片导入基于微小缺陷YOLO网络中去，...

【专利技术属性】
技术研发人员：周友行，潘恒，杨沛，翟明龙，
申请(专利权)人：湘潭大学，
类型：发明
国别省市：