一种基于深度学习的带钢缺陷检测方法技术

本发明专利技术公开了一种基于深度学习的带钢缺陷检测方法，基于U‑Net的编码器，编码器通过反复的卷积操作提取图像中的特征，并进行五次下采样操作，提取不同尺度的特征。解码器部分与编码器对称，接受了编码器的输出，进行五次上采样，并且每次上采样得到的结果会与编码器同尺度的特征图进行拼接。下采样前使用高斯低通滤波器，去除其中的高频信息，防止因特征图原频率过高，出现混叠现象，导致特征图出现偏差。被去除的高频信息中蕴含了原图的细节信息，这些细节信息对带钢小型缺陷的检测至关重要，直接舍弃会影响效果。本方法将这些高频信息进一步加回到模型解码器的特征图上，产生更精细的分割效果。

【技术实现步骤摘要】
一种基于深度学习的带钢缺陷检测方法
本专利技术属于计算机视觉
以及缺陷检测领域。其中主要涉及的知识包括一些数字图像处理、图像增强、图像语义分割方法、深度学习图像分割方法等。
技术介绍
自工业革命时代起，钢铁材料的产能开始飞速提升，并逐渐成为人类社会中最为广泛应用的材料之一。在现代，一个国家钢铁行业的强盛程度，是其能否在21世纪迅速发展的基础物质保证。钢铁材料在国家工业需求、住房需求、交通需求等诸多方面具有不可或缺的作用。带钢则又是钢铁企业的重要产出物品之一。带钢是一种又窄又长的钢板,在汽车、航空航天、机械制造、建筑、日用五金等方面用途广泛，是产量大、用处广、种类多的钢材。带钢质量的好坏对最终产品的性能与质量有着很大影响。随着时代发展，各个商家对带钢的质量要求也在不断提高，行业竞争日趋白热化。对于钢铁企业来说，为了保证钢铁的生产质量，质量检测水平的提升是必不可少的。在传统的带钢缺陷检测方法里，人工目测虽是一种有效的方法，但该劳动强度大，带钢的生产环境恶略，容易对工作人员的身体和心理造成极大伤害。目前的自动化检测方法中，涡流检测是一种很常见的方法。该方法的缺陷检测方法主要是使用高频感应线圈让带钢内产生感应电流，只要检测表面温度变化，就可以检测出带钢的表面缺陷。但该方法对被测物表面状态的要求较高，对部分类型的缺陷检测效果并不好。除此之外，随着图像采集技术的发展，基于计算机视觉的方法也被投入使用。该方法主要是将带钢样品的表面扫描为数字图像，进行进一步的检测。在计算机数字图像处理领域内，带钢的缺陷检测问题可以被视为一种图像的语义分割问题，即将图像中的每一个像素分类为一种类别，将缺陷的区域分割出来。传统的图像语义分割方法主要是根据图像的材质、纹理和颜色等特征，结合专业知识，人工设计图像特征的提取方法，并使用支持向量机(SVM)、随机森林、AdaBoost等分类算法进行分类。显然，对于复杂的图像场景，人工设计特征的提取方法效果并不理想。随着计算机运算能力的不断提升以及机器学习相关算法的不断积累，深度学习的相关技术得到了极大的发展。深度学习在图像领域的研究很早之前就有过相关的尝试和应用。1998年，Lecun等人就提出了一种结合了卷积操作的神经网络，该网络被叫做卷积神经网络(CNN,ConvolutionalNeuralNetwork)。起初，在简单的小尺寸图像场景下，CNN取得了很好的效果，但却很难处理大型图片。直到2012年，Krizhevsky等人构建了更深的网络结构AlexNet，该网络在著名的ImageNet数据集上取得了极大的进展，这使得深度学习在图像识别领域的研究工作大幅向前迈进。2015年He等人提出了深度残差网络(ResNet)，ResNet引进了跳跃式连接的结构，使得模块输入可以直接加到模块的输出上，避免了模型的退化现象，网络深度也因此达到了前所未有的152层，这种跳跃式连接的结构也基本成为今后CNN设计的基础单元。在语义分割领域，Long等人在2014年设计处理了全卷积神经网络(FCN)，该模型可以直接完成端到端的图像语义分割，极大的简化语义分割相关问题的复杂度，取得了突破性进展了突破性进展。在随后的几年中，SegNet，U-Net，DeepLab、PSPNet等其他语义分割模型相继提出，并在语义分割领域大放异彩。目前，使用深度学习方法应用于带钢缺陷检测仍然存在一些问题。带钢的缺陷样本分布不一，形态各异。哪怕是同一种类别的缺陷，在材质和纹理上也会有很大区别。这是可能是因为带钢的生产流水线复杂、环境多变、采集周期较长，不同批次产品的缺陷差别较大。并且缺陷的大小可能会在尺度上有极大的差距,这要求模型既要有捕获微小细节的能力，又要有获取整体空间信息的能力。这些问题为高精度的检测带来了较大的挑战。
技术实现思路
基于上述分析，本专利技术主要设计了一种基于深度学习的语义分割方，进行带钢缺陷的检测。本方法进行语义分割模型的主要架构是基于U-Net的编码器—解码器结构。其中编码器通过反复的卷积操作提取图像中的特征，并进行了五次下采样操作，提取不同尺度的特征。解码器部分与编码器对称，接受了编码器的输出，进行了五次上采样，并且每次上采样得到的结果会与编码器同尺度的特征图进行拼接。在本方法中，为了尽可能让所提出的语义分割模型在每次下采样后，会在下采样前使用高斯低通滤波器，去除其中的高频信息，防止因特征图原频率过高，出现混叠现象，导致特征图出现偏差。同时，被去除的高频信息中蕴含了原图的细节信息，这些细节信息对带钢小型缺陷的检测至关重要，直接舍弃会影响效果。因此本方法将这些高频信息进一步加回到模型解码器的特征图上，产生更精细的分割效果。本方法中，模型训练与测试所用的数据来自于钢铁公司Severstal开源的带钢图像数据。在对模型进行训练前，首先对数据集划分为训练集与测试集。训练时使用训练集训练模型，为了增强模型的鲁棒性，训练时输入的训练集图像会进行数据增强。为了缓解数据集各类缺陷之间数量不均衡的问题，训练模型的损失函数为FocalLoss损失函数。最终用测试集测试模型的精度，检测模型的训练效果。为个实现上述目的，本专利技术采用以下技术方案：为实现带钢缺陷检测的方法，首选Python语言进行编写。模型的实现与训练主要使用了机器学习库PyTorch进行实现。模型的编码器采用了在ImageNet上预训练好的ResNet50。解码器部分由5个连续解码器模块堆叠组成。数据集中的带钢图像为长条形，分辨率为256×1600，直接输入模型训练尺寸过大，因此在训练前会裁剪为4张256×400的图像。训练时的数据增强使用OpenCV实现图像的随机翻转、旋转、添加高斯噪音、直方图均衡以及图像锐化。一种基于深度学习的带钢缺陷检测方法主要包括：步骤1、收集带钢的图像数据集，并对数据集中的数据进行清洗。步骤2、将数据集中的带钢图像随机划分为训练集和测试集，并使用ImageNet数据集的方差与均值进行正则化。步骤3、仿照U-Net的架构构建模型。其中编码器使用在ImageNet数据集上预训练好的ResNet50网络，并在每次下采样之前插入高斯低通滤波器。解码器为5个解码器模块堆叠而成。步骤4、对步骤3构建的模型进行训练。训练时输入的数据会进行随机的数据增强。训练结束后，在测试集上进行测试，检测模型的训练结果是否满足要求。作为优选，步骤2采取以下步骤：步骤2.1、随机地震图像将数据集划分为训练集和测试集；步骤2.2、将训练接的每张分辨率为256×1600的带钢图像，切分为四张256×400的小图像；作为优选，步骤3具体包括以下步骤：步骤3.1、构建编码器部分。使用在ImageNet数据集上训练好的ResNet50作为模型解码器。在ResNet50的每次下采样操作前插入高斯低通滤波器模块。在该模块中，首先使用高斯低通滤波器降低特征图的频率，使下采样后的特征图更为清晰。之后让高斯低通滤波器处理前的特征图与处理后的特征图做差，计算出损失的高频信息，为解码器本文档来自技高网...

【技术保护点】
1.一种基于深度学习的带钢缺陷检测方法，其特征在于，包括如下步骤：/n步骤1、收集带钢的图像数据集，并对图像数据集中带钢图像的数据进行清洗；/n步骤2、将数据集中的带钢图像随机划分为训练集和测试集，并使用ImageNet数据集的方差与均值进行正则化；/n步骤3、仿照U-Net的架构构建模型；编码器使用在ImageNet数据集上预训练好的ResNet50网络，并在每次下采样之前插入高斯低通滤波器；解码器为5个解码器模块堆叠而成；/n步骤4、对步骤3构建的模型进行训练；训练时输入的带钢图像数据会进行随机数据增强；训练结束后，在测试集上进行测试，检测模型的训练结果是否满足要求。/n

【技术特征摘要】
1.一种基于深度学习的带钢缺陷检测方法，其特征在于，包括如下步骤：
步骤1、收集带钢的图像数据集，并对图像数据集中带钢图像的数据进行清洗；
步骤2、将数据集中的带钢图像随机划分为训练集和测试集，并使用ImageNet数据集的方差与均值进行正则化；
步骤3、仿照U-Net的架构构建模型；编码器使用在ImageNet数据集上预训练好的ResNet50网络，并在每次下采样之前插入高斯低通滤波器；解码器为5个解码器模块堆叠而成；
步骤4、对步骤3构建的模型进行训练；训练时输入的带钢图像数据会进行随机数据增强；训练结束后，在测试集上进行测试，检测模型的训练结果是否满足要求。


2.根据权利要求1所述的一种基于深度学习的带钢缺陷检测方法，其特征在于，步骤2采取以下步骤：
步骤2.1、随机地震图像将数据集划分为训练集和测试集；
步骤2.2、将训练接的每张分辨率为256×1600的带钢图像，切分为四张256×400的小图像。


3.根据权利要求1所述的一种基于深度学习的带钢缺陷检测方法，其特征在于，步骤3具体包括以下步骤：
步骤3.1、构建编码器部分；使用在ImageNet数据集上训练好的ResNet50作为模型解码器；在ResNet50的每次下采样操作前插入高斯低通滤波器模块；在该模块中，首先使用高斯低通滤波器降低特征图的频率，使下采样后的特征图更为清晰；之后让高斯低通滤波器处理前的特征图与处理后的特征图做差，计算出损失的高频信息，为解码器部分的输入做准备；
步...

【专利技术属性】
技术研发人员：刘博，赵业隆，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11