适用于钢板的表面缺陷检测系统和方法、设备、介质技术方案

本发明专利技术提供了一种适用于钢板的表面缺陷检测系统，包括：数据集模块：获取钢板表面图像数据并对图像数据进行预处理形成图像数据集；训练模块：利用获取的图像数据集基于Faster RCNN目标检测模型训练缺陷检测模型，针对钢板缺陷的形态特征和大小进行针对性的优化；推理模块：利用训练好的缺陷检测模型，在边缘侧获取数据集模块传输的钢板产线现场图片，并进行模型推理。本发明专利技术解决了现有方法仅对缺陷进行分类的问题，对缺陷进行定位，提升了现场对生产线钢板缺陷的复检效率。产线钢板缺陷的复检效率。产线钢板缺陷的复检效率。

【技术实现步骤摘要】
适用于钢板的表面缺陷检测系统和方法、设备、介质


[0001]本专利技术涉及缺陷检测的
，具体地，涉及一种适用于钢板的表面缺陷检测系统和方法、设备、介质。

技术介绍

[0002]钢板产品是汽车、造船、电机等工业中不可缺少的原材料。在轧制过程中，由于连铸钢坯、轧制工艺和轧制设备等原因，容易在钢板表面出现氧化铁皮、裂纹、空洞、划伤等各种缺陷，影响产品外观和使用性能。因此，对钢板表面的缺陷进行有效检测非常重要。
[0003]在过去的几十年中，随着计算机视觉技术的发展，提出了用于钢板表面缺陷检测任务的解决方案。这种非接触式检查方法可以提高一定的准确性和效率。但使用统计法和频谱法的传统机器视觉算法需要专业知识，开发周期长，且对图片质量、亮度、对比度有着较高的要求，泛化能力差，应用于从产线采集的钢板图片存在准确率低，误报率高的问题。
[0004]基于卷积神经网络的深度学习在目标识别任务上取得了重大突破。深度卷积神经网络可以自动学习高级特征，而无需专家设计手工特征。尽管在工业表面检测领域有很多深度学习应用，但由于检测目标与通用目标检测数据集中的物体的形态的完全不同，并且公开的钢板缺陷数据集极少，导致深度学习技术在钢板表面检测领域有很严重的滞后。
[0005]经过检索，专利文献CN109909308B公开了一种冷轧带钢纵向条纹缺陷检测方法，一个试样需要测量表面形貌3次，测量方向垂直于钢板轧制方向，3次测量相距为30mm。若测量结果存在正弦变化规律，则在相同起始测量点，增大测量范围再次进行测量，处理结果存在正弦波动规律，则可判定试样存在纵向条纹缺陷，若不存在正弦变化规律，则可判定该点不存在纵向条纹。三次测量结果中，任意一处判定存在纵向条纹，则样品存在纵向条纹缺陷。该现有技术使用基于频谱法的传统机器视觉算法，对冷轧带钢表面的纵向条纹缺陷进行检测，不足之处就在于检测步骤繁琐，条件限制多，能够识别的缺陷单一。一个试样需要测量表面形貌3次，测量方向垂直于钢板轧制方向，3次测量相距为30mm，且只能检测纵向条纹缺陷。
[0006]专利文献CN110827235A公开了一种钢板表面缺陷检测方法，包括：(1)对待测钢板设计图像采集装置，采用特定角度的不同条形光源打光采集钢板表面纹理图像，其中image1表示二维缺陷待测样本，image2表示三维缺陷待测样本；(2)分别对两类采集图像进行图像增强；对image1采用中值滤波进行去噪，对image2先进行图像先膨胀再腐蚀处理，接着采用otsu二值化进行特征提取。该现有技术属于手动设计特征，需要特定角度的不同条形光源进行打光，手工设计了3种特征，不能区分缺陷种类，只能识别是否有缺陷。
[0007]专利文献CN110490849A公开了一种基于深度卷积神经网络的钢板表面缺陷分类方法及装置，该分类方法包括：构建钢铁表面缺陷数据集，所述缺陷包括龟裂、折叠、覆盖杂质、斑点、点蚀面、表面氧化、划痕；对所述钢铁表面缺陷数据集进行预处理；对预处理后的数据集中的图像进行数据扩充；将数据扩充处理后的数据集作为训练集；利用所述训练集训练深度卷积神经网络；利用所训练的深度卷积神经网络对钢板表面缺陷进行分类。该现
有技术的不足之处在于特征提取网络深度仅为3层，无法学习到特征的高级语义信息。仅能对整张图片的缺陷进行分类，无法对缺陷进行检测定位。
[0008]专利文献CN113160141A公开了一种钢板表面缺陷检测系统，包括数据处理模块、特征提取模块、特征金字塔模块、区域建议模块、池化检测模块，数据处理模块实现对钢板表面缺陷图片的训练集和测试集划分，特征提取模块实现对钢板表面缺陷图片的各层特征图的提取，特征金字塔模块实现各层特征图的融合，区域建议模块实现对建议框的提取，池化检测模块实现对建议框对应的特征图的检测，在训练阶段以检测的损失调整权重参数，在测试阶段仅获取钢板表面缺陷图片的缺陷位置和类别。该现有技术仅采用单一方法去解决准确率和泛化能力，并且将原始的Faster RCNN直接应用在钢板缺陷检测任务中，虽然能有效缓解特征信息流失的问题，但是依然会存在准确率低且误报率高的问题。
[0009]因此，亟需研发设计一种能够检测实现钢板表面缺陷的自动定位检测，并有效提高检测的准确性和速度的方法和系统。

技术实现思路

[0010]针对现有技术中的缺陷，本专利技术的目的是提供一种适用于钢板的表面缺陷检测系统和方法、设备、介质，能够检测实现钢板表面缺陷的自动定位检测，并有效提高检测的准确性和速度。
[0011]根据本专利技术提供的一种适用于钢板的表面缺陷检测系统，包括：
[0012]数据集模块：获取钢板表面图像数据并对图像数据进行预处理形成图像数据集；
[0013]训练模块：利用获取的图像数据集基于Faster RCNN目标检测模型训练缺陷检测模型，针对钢板缺陷的形态特征和大小进行针对性的优化；
[0014]推理模块：利用训练好的缺陷检测模型，在边缘侧获取数据集模块传输的钢板产线现场图片，并进行模型推理。
[0015]优选地，数据集模块包括图像处理单元和标注单元，图像处理单元将获取钢板表面图像数据传输至图像处理单元，根据标定的相机内参与畸变参数进行图像校正；
[0016]标注单元利用矩形框对获取图像的缺陷位置和缺陷类别进行标注，缺陷类别包括夹杂、压氧、边部翘皮、裂纹、划伤、异物压入和边部缺陷。
[0017]优选地，数据集模块还包括预处理单元，将获取的图像转换成RGB三通道模式，分通道计算训练集中所有图像的像素均值，不考虑像素点的空间位置关系，在训练和验证模型时，每张图片均减去该均值，将图像变换为正方形，将图像的短边两侧填充像素值为零的像素点使图像长宽相等。
[0018]优选地，训练模块包括数据增强单元和特征提取单元，数据增强单元对数据样本进行增强操作提升模型的泛化能力，增强操作包括对亮度调整、对比度调整、色调及饱和度调整、缩放、裁剪、翻转、高斯噪声处理以及图像混合处理；
[0019]特征提取单元针对钢板缺陷的形态特征差异大的情况，对骨干网络进行优化，使用ResNext深度卷积网络提取特征，并加深卷积网络深度至101层。
[0020]优选地，训练模块还包括锚点框生成单元，锚点框生成单元针对钢板缺陷的形状更改生成锚点框的纵横比，利用k均值聚类算法对训练集的真实框的长宽进行聚类，在聚类过程中使用交并比作为聚类距离度量的方式，距离公式为：
[0021]d(锚点框，质心)＝1
‑
IOU(锚点框，质心)，权衡平均交并比和模型复杂度后选取对应的k值和锚点框的纵横比。
[0022]优选地，训练模块还包括候选框生成单元和感兴趣区域对齐单元，候选框生成单元在训练阶段使用生成的锚点框和真实框的交并比作为判断是正负样本的依据，根据锚点框的置信度排序，选取符合置信度要求的正负样本作为训练的候选框，将选取的多个候选框随机打乱后，利用感兴趣区域对齐单元以提取特征图；
[0023]感兴趣区域对齐单元是候选框在特征图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适用于钢板的表面缺陷检测系统，其特征在于，包括：数据集模块：获取钢板表面图像数据并对图像数据进行预处理形成图像数据集；训练模块：利用获取的图像数据集基于Faster RCNN目标检测模型训练缺陷检测模型，针对钢板缺陷的形态特征和大小进行针对性的优化；推理模块：利用训练好的缺陷检测模型，在边缘侧获取数据集模块传输的钢板产线现场图片，并进行模型推理。2.根据权利要求1所述的适用于钢板的表面缺陷检测系统，其特征在于，所述数据集模块包括图像处理单元和标注单元，所述图像处理单元将获取钢板表面图像数据传输至图像处理单元，根据标定的相机内参与畸变参数进行图像校正；所述标注单元利用矩形框对获取图像的缺陷位置和缺陷类别进行标注，所述缺陷类别包括夹杂、压氧、边部翘皮、裂纹、划伤、异物压入和边部缺陷。3.根据权利要求1所述的适用于钢板的表面缺陷检测系统，其特征在于，所述数据集模块还包括预处理单元，将获取的图像转换成RGB三通道模式，分通道计算训练集中所有图像的像素均值，不考虑像素点的空间位置关系，在训练和验证模型时，每张图片均减去该均值，将图像变换为正方形，将图像的短边两侧填充像素值为零的像素点使图像长宽相等。4.根据权利要求1所述的适用于钢板的表面缺陷检测系统，其特征在于，所述训练模块包括数据增强单元和特征提取单元，所述数据增强单元对数据样本进行增强操作提升模型的泛化能力，所述增强操作包括对亮度调整、对比度调整、色调及饱和度调整、缩放、裁剪、翻转、高斯噪声处理以及图像混合处理；所述特征提取单元针对钢板缺陷的形态特征差异大的情况，对骨干网络进行优化，使用ResNext深度卷积网络提取特征，并加深卷积网络深度至101层。5.根据权利要求1所述的适用于钢板的表面缺陷检测系统，其特征在于，所述训练模块还包括锚点框生成单元，所述锚点框生成单元针对钢板缺陷的形状更改生...

【专利技术属性】
技术研发人员：许晨杰，杨海飞，陈志韬，沈春锋，
申请(专利权)人：上海宝信软件股份有限公司，
类型：发明
国别省市：