基于生成式对抗网络的热轧带钢表面缺陷检测方法技术

本发明专利技术是一种基于生成式对抗网络的热轧带钢表面缺陷检测方法，具体步骤为：(1)提取工业现场热轧带钢表面缺陷图像，并进行图像预处理；(2)构建生成式对抗网络GAN的生成器模型和判别器模型。具体做法是，在生成器的输入中加入条件标签向量c，用于输出分类图像；在生成器训练中引入像素损失Lp，提高生成图像的质量；在判别器中设置判别支路和多分类支路，实现多分类功能并提高分类精度；(3)用粒子群算法PSO对构造的生成式对抗网络参数进行优化；(4)将生成图像和真实图像合并为热轧带钢表面缺陷样本集。本发明专利技术提出方法能够解决样本数据不足的问题，提高缺陷图像特征提取的速度和准确度，为热轧带钢表面缺陷检测提供新的有效方法。

Surface Defect Detection Method of Hot Rolled Strip Based on Generative Countermeasure Network

【技术实现步骤摘要】
基于生成式对抗网络的热轧带钢表面缺陷检测方法
本专利技术属于计算机视觉检测
，具体涉及一种基于生成式对抗网络的热轧带钢表面缺陷检测方法。技术背景带钢表面缺陷严重影响钢产品的外观、抗疲劳强度、抗腐蚀性和耐磨性等性能，影响钢产品的后续使用，造成不可估量的工业损失。因此带钢产品的缺陷检测是工业生产中非常重要的步骤。带钢表面缺陷检测方法从人工发展为机器检测，提高了速度和识别精度。目前最常见的带钢缺陷检测方法是使用不同手段提取和处理缺陷特征，然后使用分类器对缺陷进行分类。2002年TOjala等人介绍了一种基于均匀局部二值模式(ULBP)的分类方法，该方法在空间分辨率、灰度变化、旋转等几个方面获得了较好的性能。2013年SantanuGhorai等人提出一种具有离散小波变换(DWT)特征和支持向量机(SVM)的自动视觉检测系统。2013年东北大学宋克臣等介绍了一种基于局部二值模式(LBP)的能够有效抗噪声的带钢缺陷识别方法，平均精度为98％，并且能有效地应用于实际生产。2016年王磊等人采Tetrole变换分解热轧钢板表面图像获得高维的特征向量，降维后送入SVM完成对热轧带钢表面缺陷的分类识别，该方法分类包括横向裂纹等8种缺陷，缺陷分类准确率为97.38％。生成式对抗网络(GenerativeAdversarialNetwork,GAN)是一种生成式模型，其最基本的应用就是建模真实数据的分布和生成样本数据，例如生成图像和视频等。GAN内部使用对抗训练机制，具有出色的学习能力，能够有效处理传统机器学习中所遇到的样本不足的问题，提高特征提取的速度和准确度，为热轧带钢表面缺陷识别提供新的思路。
技术实现思路
本专利技术的目的是提出一种基于生成式对抗网络的热轧带钢表面缺陷检测方法，将GAN应用于热轧带钢表面缺陷检测能够解决数据样本少、拟合度低等问题，提高识别精度。本专利技术采用的技术方案是：一种基于生成式对抗网络的热轧带钢表面缺陷检测方法，包括如下步骤：步骤一：结合工业生产现场的情况，在某钢厂提取工业现场热轧带钢表面缺陷图像，并进行预处理。步骤二：构建生成式对抗网络GAN的生成模型和判别模型。对生成式对抗网络中的生成器模型作以下改进。第一，在生成器输入中加入条件标签向量c，即生成器的输入由随机噪声z和条件标签c组成。第二，在生成器训练时引入像素损失Lp，提高生成图像的质量。改进生成器的网络模型结构为：输入为由随机向量和标签向量连接构成的向量，依次经过卷积层Conv、激活层Relu、残差结构ResidualBlock和反卷积层Deconv。生成式对抗网络中的判别器模型由判别支路和多分类支路组成。在原始GAN的判别器中引入一个条件标签c作为判别支路，增加一个多分类支路共同构成GAN的判别器。其中判别支路用来判断输入图像是真实图像还是由生成器生成的图像，多分类支路的作用有两个，一是判断输入图像的分类，二是生成分类损失Lcls。判别支路和多分类支路的网络模型类似，由卷积层Conv、激活层LeakyRelu和反卷积层Deconv构成。步骤三：用粒子群算法PSO对构造的生成式对抗网络参数进行优化。生成式对抗网络的训练采用交替训练方式，GAN模型的训练优化函数为由于所用GAN模型的生成器和判别器结构较为复杂，提出一种基于粒子群算法(PSO)的生成式对抗网络优化方法。具体优化过程为将模型中训练的参数作为PSO算法中的一个粒子，则粒子长度n就是这个网络中参与训练的参数个数。用损失函数L作为PSO算法的适应度函数，得到粒子的局部最优解和全局最优解。再用迭代方式更新粒子的位置和速度，得到的粒子就是更新后的网络权值，以此迭代下去，直至适应值，即训练误差，收敛到阈值范围的极小值，完成生成式对抗网络的生成器和判别器的参数优化。步骤四：将采集的真实热轧带钢表面缺陷图像和条件标签c作为生成器G的输入，输出图像与真实图像混合作为热轧带钢表面缺陷样本集。取其中部分样本图片作为测试样本集，其余作为训练样本集。步骤五：提取训练后的判别器D，除去最后一层，并进行结构微调，对热轧带钢缺陷样本图像数据进行有效识别并分类。进一步地，生成器训练中引入的像素损失Lp能够增加生成器输出图像的清晰度，用生成的高像素图像提高热轧带钢表面缺陷的识别准确率。其中Lp＝|G(z)-x|判别器的判别支路在全连接层反馈判别损失Ladv，用来表征判别器的输入是真实图像还是生成图像。而多分类支路的全连接层输出为N维向量，N为热轧带钢表面缺陷数据集类别数，其训练的目的是优化反馈的分类损失Lcls。训练时判别支路和多分类支路共享上一层的权重，判别支路的判别损失Ladv和多分类支路反馈的分类损失Lcls共同引导生成器生成高质量的图像。综上，GAN模型的损失函数为L＝Ladv+Lcls+Lp本专利技术与现有技术相比的优点在于：1，本专利技术构建并训练生成式对抗网络GAN，能够生成热轧带钢缺陷图像，丰富了训练样本集的多样性和随机性，对数据样本进行了有效增强，解决了热轧带钢表面缺陷样本数据匮乏问题，避免了过拟合现象。2，本专利技术对原始GAN的生成器和判别器进行了改进，在生成器中引入像素损失，引导生成高分辨率的缺陷图像，用高质量图像代替低质量图像进行缺陷识别；在判别器中同时加入判别支路和分类支路，判断图像真假并进行有效分类识别，能够提高热轧带钢表面缺陷的平均分类精度，取得较好的识别效果。3，本专利技术运用粒子群算法(PSO)对GAN模型的参数进行优化，粒子群算法具有较强的全局寻优能力，避免了传统优化方式中出现的梯度下降等问题，使生成式对抗网络加速收敛，改善训练效果。附图说明图1为本专利技术的一种基于生成式对抗网络的热轧带钢表面缺陷检测方法的流程图。图2为本专利技术的生成式对抗网络的结构示意图。图3为本专利技术的生成式对抗网络的训练过程示意图。具体实施方式下面结合附图和具体实施方式对本专利技术进一步说明。如图1所示为本专利技术的实现流程如下：步骤一，在工业现场采集热轧带钢缺陷图像，并做初步的图像预处理。步骤二，构建生成式对抗网络模型并优化，将处理后的真实带钢表面缺陷图像和条件标签输入到模型中，观察输出的生成图像。步骤三，生成图像与采集的热轧带钢表面缺陷图像混合，经过图像处理作为热轧带钢表面缺陷样本集。步骤四，用粒子群算法对改进GAN训练，提取判别模型作为分类器，调节参数，有效识别热轧带钢缺陷样本图像数据并能够进行分类。如图2所示为本专利技术的生成式对抗网络的结构示意图。原始GAN由生成器G和判别器D构成。其中，生成器G根据随机噪声生成和真实数据相似的伪数据，而判别器D则判断输入是真实数据还是生成的伪数据。由于原始GAN的结构简单，控制困难并且训练太自由，因此在本研究的GAN模型中在生成模型和判别模型中引入了条件标签c，在标签中包含了缺陷类别信息，指导生成器的数据生成和判别器的识别分类。在判别器模型中，将判别器分为两个支路，分别为判别支路和多分类支路，分别实现判别数据真假和识别分类的功能。如图3所示为本专利技术的生成式对抗网络的训练过程示意图。原始GAN的训练优化过程，就是生成器G与判别器D的极大极小博弈过程。因此模型优化公式可写为判别器D为了更好地区分数据是真实数据还是由生成器G产生的数据，就需要准确识别两者并使判断后输出的概率尽量二分化本文档来自技高网...

【技术保护点】
1.一种基于生成式对抗网络的热轧带钢表面缺陷检测方法，其特征在于，包括以下步骤：步骤一、结合工业生产现场的情况，在钢厂提取工业现场热轧带钢表面缺陷图像，并进行预处理；步骤二、构建生成式对抗网络GAN的生成器模型和判别器模型；对生成式对抗网络中的生成器模型作以下改进；(1)，在生成器输入中加入条件标签向量c，即生成器的输入由随机噪声z和条件标签c组成；(2)，在生成器训练时引入像素损失Lp，提高生成图像的质量；改进生成器的网络模型结构为：输入为由随机向量和标签向量连接构成的向量，依次经过卷积层Conv、激活层Relu、残差结构Residual Block和反卷积层Deconv；对生成式对抗网络中的判别器模型作以下改进：在原始GAN的判别器中引入一个条件标签c作为判别支路，增加一个多分类支路共同构成GAN的判别器；其中判别支路用来判断输入图像是真实图像还是由生成器生成的图像，多分类支路的作用有两个，一是判断输入图像的分类，二是生成分类损失Lcls；判别支路和多分类支路的网络模型类似，由卷积层Conv、激活层LeakyRelu和反卷积层Deconv构成；步骤三、用粒子群算法PSO对构造的生成式对抗网络参数进行优化；生成式对抗网络的训练采用交替训练方式，GAN模型的训练优化函数为...

【技术特征摘要】
1.一种基于生成式对抗网络的热轧带钢表面缺陷检测方法，其特征在于，包括以下步骤：步骤一、结合工业生产现场的情况，在钢厂提取工业现场热轧带钢表面缺陷图像，并进行预处理；步骤二、构建生成式对抗网络GAN的生成器模型和判别器模型；对生成式对抗网络中的生成器模型作以下改进；(1)，在生成器输入中加入条件标签向量c，即生成器的输入由随机噪声z和条件标签c组成；(2)，在生成器训练时引入像素损失Lp，提高生成图像的质量；改进生成器的网络模型结构为：输入为由随机向量和标签向量连接构成的向量，依次经过卷积层Conv、激活层Relu、残差结构ResidualBlock和反卷积层Deconv；对生成式对抗网络中的判别器模型作以下改进：在原始GAN的判别器中引入一个条件标签c作为判别支路，增加一个多分类支路共同构成GAN的判别器；其中判别支路用来判断输入图像是真实图像还是由生成器生成的图像，多分类支路的作用有两个，一是判断输入图像的分类，二是生成分类损失Lcls；判别支路和多分类支路的网络模型类似，由卷积层Conv、激活层LeakyRelu和反卷积层Deconv构成；步骤三、用粒子群算法PSO对构造的生成式对抗网络参数进行优化；生成式对抗网络的训练采用交替训练方式，GAN模型的训练优化函数为由于所用GAN模型的生成器和判别器结构较为复杂，提出一种基于粒子群算法PSO的生成式对抗网络优化方法；具体优化过程为将模型中训练的参数作为PSO算法...

【专利技术属性】
技术研发人员：徐林，田歌，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁,21