一种基于双重GAN的边缘修复特征融合的缺陷检测方法技术

本发明专利技术公开了一种基于双重GAN的边缘修复特征融合的缺陷检测方法，该方法采用先修复后分割的思想，设计了双重GAN分别对缺陷元件的边缘图和原图进行修复，分别对应的缺陷的纹理特征与灰度特征，并通过特征拼接的方式将修复好的纹理特征融合至缺陷修复网络，辅助对缺陷原图的修复，提高了网络对位于元件边缘的缺陷的修复性能；其中，边缘修复网络中，采用了可形变卷积对残差块的卷积方式进行更改，相较于普通卷积方式，可形变卷积能有效利用全局的边缘信息修复缺陷的边缘。最后对修复前后的处置图上进行了孤立点消除得到缺陷的像素标注。在公开的数据集上的测试结果验证了本发明专利技术对缺陷检测性能提升的有效性。

【技术实现步骤摘要】
一种基于双重GAN的边缘修复特征融合的缺陷检测方法
本专利技术属于缺陷检测领域，具体涉及一种基于双重GAN的边缘修复特征融合的缺陷检测方法。
技术介绍
缺陷检测在工业生产中是非常重要的一环，是把控产品质量的关键。缺陷检测技术的应用对产品工艺技术的延续和发展起着至关重要的影响。但是由于工业产品以及工业产品缺陷的多样性，传统的针对特定对象的图像处理方法缺少泛化性、迁移性，鲁棒性差。随着深度网络的发展，工业产品表面缺陷检测也得到了新的发展。深度网络具有较强的学习能力，提取的特征更具有代表性，通过参数的更新能轻易实现网络功能的转变。在缺陷检测任务中表现出更高的精度以及鲁棒性。深度网络的参数更新需要大量数据的参与，而工业生产中缺陷样本只占很少一部分，并且缺陷分割任务标注需要耗费大量的人力。所以基于少量缺陷样本或者无缺陷样本的缺陷检测算法就尤为重要。基于多尺度卷积消噪自编码网络模型通过金字塔季候能够减少对一定缺陷样本的需求。而GAN的横空出世，对缺少缺陷样本的问题提供了新的解决思路。通过对无缺陷样本添加噪声结合GAN，能够训练出一个在细节上和边缘上有良好重建效果的修复网络。输入样本与修复样本的差值作为缺陷像素标注的结果。但是目前的缺陷检测算法仅对分布在元件内部或者背景是重复性图样的缺陷有一定效果，对于位于元件边缘的缺陷并不能按照元件完好的外貌进行修复。
技术实现思路
针对目前深度学习的缺陷检测方法存在的问题，本专利技术提供了一种基于双重GAN的边缘修复特征融合的缺陷检测方法。本专利技术采用如下技术方案来实现：一种基于双重GAN的边缘修复特征融合的缺陷检测方法，包括以下步骤：1)采用双重GAN先后对前处理后的缺陷图像的边缘提取结果和原图进行修复，并将边缘修复网络中修复好的纹理特征以拼接的方式融合至缺陷修复网络，将原图修复前后的差值图做孤立点消除处理获得缺陷的像素标注结果；2)边缘修复网络中引入可形变卷积，减少边缘修复过程中的无效信息，使网络能够利用全局的边缘信息对缺陷的边缘提取结果进行修复。本专利技术进一步的改进在于，步骤1)中，采用先修复后分割，使用两个GAN分别训练边缘修复网络和缺陷修复网络，边缘修复网络对缺陷元件图像的边缘提取结果单独进行获取和修复，然后将修复好的纹理信息融合至缺陷修复网络之中，缺陷修复网络最终输出的为缺陷元件图像的修复结果，利用孤立点消除法对修复前后的差值图进行处理得到缺陷像素标注。本专利技术进一步的改进在于，步骤2)中，边缘修复网络中引入了可形变卷积，边缘修复网络由编码层、中间层、解码层三部分构成，解码层由3个卷积层构成，对特征进行下采样，解码层由2个反卷积层和1个卷积层构成，3个反卷积层后的输出特征分别为Xe1、Xe2，中间层包含了可形变卷积的8个残差块，形变卷积在普通卷积的基础上给每一个卷积核的点赋予了偏移量以及有效性，通过对残差块卷积方式的更改，网络能够扩大感知范围，根据元件完好的边缘信息去修复缺陷位置的边缘。本专利技术进一步的改进在于，使用GAN结合l2_loss对缺陷修复网络进行训练，输出为缺陷元件边缘的修复结果，反卷积层后的特征作为拼接特征输入到缺陷修复网络之中。本专利技术进一步的改进在于，缺陷修复网络由编码层、中间层、解码层三部分构成，解码层由1个卷积层与2个卷积池化层构成，池化方式为最大池化，中间层由8个级联的残差块构成，解码层由2个上采样层和1个卷积层构成，上采样方式为双线性插值，上采样后的特征Xc1、Xc2分别与边缘修复网络2个反卷积层的输出Xe1、Xe2进行通道上的拼接，经过卷积层和全连接层对融合特征进行整合，最后经过一层卷积层将输出通道述变更为图像通道数。本专利技术进一步的改进在于，每次上采样之后，将边缘修复网络中相应尺寸的特征拼接到卷积层之前，将边缘修复网络获取到修复好的纹理特征拼接到缺陷修复网络中相同尺寸的高层特征上，缺陷修复网络就能根据元件的纹理对缺陷处的灰度值进行修正，卷积后在再通过全连接层进行通道间的整合，最后一层卷积使得输出特征与图像的通道一致，用GAN结合l2_loss对缺陷修复网络进行训练，输出为缺陷元件修复结果。本专利技术至少具有以下有益的技术效果：本专利技术提供的一种基于双重GAN的边缘修复特征融合的缺陷检测方法。该方法基于缺陷的灰度信息和纹理信息，提出了边缘修复网络与缺陷修复网络的双重GAN。边缘修复网络修复好的纹理特征以特征拼接的方式融合至缺陷修复网络。缺陷修复网络完成对存在缺陷的元件的修复，以修复前后的差值作为缺陷像素标注的结果。其中在边缘修复网络设计添加了可形变卷积，增强了边缘修复效果。进一步，所述方法中前处理阶段为图像二值化和边缘提取，分别作为缺陷修复网络和边缘修复网络的输入。训练阶段，为了简化了网络的学习任务，能够在有限的数据样本下训练缺陷修复网络，在阈值分割后的元件边缘处添加了圆形或者椭圆形的模拟缺陷。进一步，所述方法中边缘修复网络是类自编码网络机构，主要由编码层、中间层、解码层三大结构。中间层由8个残差块构成，其中普通卷积替换为可形变卷积。网络的输入是缺陷原图的边缘提取结果，由于大部分的像素点灰度值为0，使用普通卷积会造成修复的边缘结果出现空缺。可形变卷积在每次进行卷积之前先学习到偏移量，偏移量就是在原卷积核的每一个点都加上了偏移，这一步骤能帮助网络修复边缘时获取到合适有效信息的位置。并且，可形变卷积给卷积核中每一个点赋予了一个权重，来决定其所对应的像素点信息是否有效。所以加入了可形变卷积之后，网络才能获取更广的感知域，学习到元件边缘的外貌特征，然后对缺陷的边缘提取结果进行修复。进一步，缺陷修复网络是类自编码结构，主要由编码层、中间层、解码层构成。编码层由3个卷积层和2个最大池化层构成。池化层的目的是减少孤立点的信息，消除元件内部的孤立缺陷中间层由8个残差块构成。编码层由3个卷积层、2个上采样层、2个全连接层构成，每次上采样之后，将边缘修复网络中相应尺寸的特征拼接到卷积层之前。将边缘修复网络获取到修复好的纹理特征拼接到缺陷修复网络的相同尺寸的高层特征上，缺陷修复网络就能根据元件的纹理对缺陷处的灰度值进行修正。卷积后在再通过全连接层进行通道间的整合，能够在缺陷原图上完成对元件的修复。进一步，所述方法中结果后处理阶段的主要任务是获取修复前后的差别作为缺陷像素标注的结果。利用ROI提取，孤立点检测与消除的方法对修复前后的差值图做处理，得到缺陷的像素标注结果。进一步，为了验证所述方法的有效性，在首届“征图杯”校园机器视觉人工智能大赛的提供的两类元件数据集上进行了训练验证。通过实验证明所述方法中先修复边缘，再将修复好的纹理特征拼接到缺陷修复网络的双重GAN对修复不同元件的不同外貌及分布的缺陷都有一定效果。综上所述，本专利技术提供了一种基于双重GAN的边缘修复特征融合的缺陷检测方法。本专利技术基于缺陷在纹理与灰度上与正常元件的区别，针对单个GAN对于不同分布的缺陷的修复性能鲁棒性差的问题，提出了双重GAN先后修复缺陷的纹理以及灰度，并采用了特征拼接的融合方式将修复好纹理特征拼本文档来自技高网...

【技术保护点】
1.一种基于双重GAN的边缘修复特征融合的缺陷检测方法，其特征在于，包括以下步骤：/n1)采用双重GAN先后对前处理后的缺陷图像的边缘提取结果和原图进行修复，并将边缘修复网络中修复好的纹理特征以拼接的方式融合至缺陷修复网络，将原图修复前后的差值图做孤立点消除处理获得缺陷的像素标注结果；/n2)边缘修复网络中引入可形变卷积，减少边缘修复过程中的无效信息，使网络能够利用全局的边缘信息对缺陷的边缘提取结果进行修复。/n

【技术特征摘要】
1.一种基于双重GAN的边缘修复特征融合的缺陷检测方法，其特征在于，包括以下步骤：
1)采用双重GAN先后对前处理后的缺陷图像的边缘提取结果和原图进行修复，并将边缘修复网络中修复好的纹理特征以拼接的方式融合至缺陷修复网络，将原图修复前后的差值图做孤立点消除处理获得缺陷的像素标注结果；
2)边缘修复网络中引入可形变卷积，减少边缘修复过程中的无效信息，使网络能够利用全局的边缘信息对缺陷的边缘提取结果进行修复。


2.根据权利要求1所述的一种基于双重GAN的边缘修复特征融合的缺陷检测方法，其特征在于，步骤1)中，采用先修复后分割，使用两个GAN分别训练边缘修复网络和缺陷修复网络，边缘修复网络对缺陷元件图像的边缘提取结果单独进行获取和修复，然后将修复好的纹理信息融合至缺陷修复网络之中，缺陷修复网络最终输出的为缺陷元件图像的修复结果，利用孤立点消除法对修复前后的差值图进行处理得到缺陷像素标注。


3.根据权利要求2所述的一种基于双重GAN的边缘修复特征融合的缺陷检测方法，其特征在于，步骤2)中，边缘修复网络中引入了可形变卷积，边缘修复网络由编码层、中间层、解码层三部分构成，解码层由3个卷积层构成，对特征进行下采样，解码层由2个反卷积层和1个卷积层构成，3个反卷积层后的输出特征分别为Xe1、Xe2，中间层包含了可形变卷积的8个残差块，形变卷积在普通卷积的基础上给每一个卷积核的点赋予了偏移量以及有效性，通过对残差块卷积方式...

【专利技术属性】
技术研发人员：贺丽君，陈弼余，李典芝，石楠，牟书辉，李凡，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61