一种基于GAN的图像修复的缺陷检测方法技术

本发明专利技术公开了一种基于GAN的图像修复的缺陷检测方法。该方法设计了基于GAN的图像修复网络，通过对于无缺陷样本图像数据进行预处理，实现了基于少量无缺陷样本的学习任务，解决了实际工业应用场景当中的正负样本不均衡问题；通过将该网络结合边缘检测Loss，增强了网络的元件复原能力；与此同时，采用了感兴趣区域(ROI)提取以及边缘移除的后处理方法，大幅度地提升了网络的缺陷检测精度，较好地实现了工业元件产品的缺陷检测任务。在150幅工业元件产品测试图像数据(其中139幅有缺陷，11幅无缺陷)上的测试结果验证了本发明专利技术针对于工业元件产品上的缺陷进行检测的有效性。

【技术实现步骤摘要】
一种基于GAN的图像修复的缺陷检测方法
本专利技术属于图像识别
，具体涉及一种基于GAN的图像修复的缺陷检测方法。
技术介绍
在工业元件的生产过程当中，缺陷检测环节对于保证元件的出厂质量而言是非常关键的，含有缺陷的工业元件产品需要被准确检出，以保证工业元件出厂的良品率。传统的缺陷检测方法，如：图像预处理与机器学习相结合等，虽然在某些特定的应用中已经取得了较好的效果，但其仍然存在许多的不足之处，如：鲁棒性差、计算量巨大以及无法精确的检测到缺陷的大小与形状等。近年来，随着深度学习领域的迅速发展，基于深度学习的方法也逐渐地被广泛应用到工业场景之中，基于深度学习的缺陷检测方法相较于传统的缺陷检测方法而言，可以获得更好的检测效果，并且进一步地节省了大量的人力与物力资源，提高了工业元件的生产效率。但是考虑到在实际的工业应用场景之中，无缺陷样本的数量要远远大于有缺陷样本，正负样本的不均衡问题会加大缺陷检测网络的训练难度，令缺陷检测网络难以得到充分的训练，从而影响最终的缺陷检测效果。
技术实现思路
针对目前基于深度学习的缺陷检测方法存在的问题，本专利技术提供了一种基于GAN的图像修复的缺陷检测方法。本专利技术采用如下技术方案来实现：一种基于GAN的图像修复的缺陷检测方法，包括以下步骤：1)针对于原始的1000幅无缺陷样本训练图像数据进行预处理，即对其依次进行图像数据增广、图像数据灰度值调整以及图像数据加噪，生成4000幅用于GAN网络训练的训练图像数据；>2)增加边缘检测Loss，将其同GAN网络的生成器Loss与判别器Loss进行加权求和，作为GAN网络的生成器的总损失，用于生成器的训练；3)针对于待检测图像提取感兴趣区域ROI，生成ROI图像，将其同残差图像进行图像融合，随后进行阈值处理，生成初步的缺陷检测图像；4)针对于GAN网络的重建图像进行边缘检测，利用该检测结果去除初步的缺陷检测图像中所不需要的边缘区域，得到最终的缺陷检测结果。本专利技术进一步的改进在于，步骤1)中，通过分析元件的主要缺陷类型，包括：缺陷的大小与颜色、缺陷的具体形态以及缺陷在元件中所处的位置，结合元件本身的颜色特征，针对于原始的1000幅无缺陷样本训练图像数据进行预处理。本专利技术进一步的改进在于，步骤1)中，具体实现方法如下：首先是图像数据增广，对图像数据分别进行水平翻转、垂直翻转以及对角线翻转处理，并在此基础之上采用50％的概率进行滤波，令图像更加平滑，滤波方式随机选取均值滤波、中值滤波以及高斯滤波这三种类型，共生成4000幅数据增广图像；其次是图像数据灰度值调整，对数据增广后的4000幅图像数据，进行灰度值取值范围的更改，在原灰度值取值的基础上，令其灰度值取值随机整体上调0～80，灰度值取值小于50的黑色部分仍保持原灰度值取值，不进行更改，令训练图像数据更加接近于测试图像数据；最后是图像数据加噪，按照90％的概率决定是否对其进行加噪，噪声类型随机选取曲线噪声、直线噪声、圆形噪声以及椭圆噪声这四种类型，噪声的灰度值取值随机选取0～255范围之间的任意灰度值取值，噪声的个数以及大小均在预先设定好的取值范围内进行随机选取；将加噪前与加噪后的各4000张图像数据作为最终所需要的训练数据，送入GAN网络中进行训练。本专利技术进一步的改进在于，步骤2)中，在GAN网络的生成器的总损失当中增加了边缘检测的Loss，即分别对于GAN网络的输入图像和重建图像进行Sobel边缘检测，计算其边缘检测结果之间的L2_loss，作为边缘检测的Loss，同GAN网络的生成器Loss与判别器Loss进行加权求和，作为GAN网络的生成器的总损失，用于生成器的训练，其计算公式如下：g_total_loss＝2*g_loss+0.05*d_loss+2*edge_loss。本专利技术进一步的改进在于，步骤3)中，针对于待检测图像提取其感兴趣区域ROI，令感兴趣区域为白色，不感兴趣区域为黑色，将ROI图像同GAN网络所生成的重建图像与输入图像之间的残差图像按照0.5:0.5的比例进行图像融合，其计算公式如下：result＝residual_image*0.5+roi_image*0.5对于融合过后的图像结果进行灰度直方图的计算，从而确定该图像的最佳阈值，利用该阈值进行图像分割，最后对于分割结果利用3×3大小的十字结构的内核进行先腐蚀后膨胀的处理，消除孤立点的存在，得到初步的缺陷检测图像。本专利技术进一步的改进在于，步骤4)中，针对于GAN网络的重建图像进行Laplace边缘检测，利用该检测结果将所不需要的边缘区域从初步的缺陷检测结果中移除，得到最终的缺陷检测结果。本专利技术至少具有以下的有益效果：本专利技术提供了一种基于GAN的图像修复的缺陷检测方法。该方法设计了基于GAN的图像修复网络，通过对于无缺陷样本图像数据进行预处理，实现了基于少量无缺陷样本的学习任务，解决了实际工业应用场景当中的正负样本不均衡问题；通过将该网络结合边缘检测Loss，增强了网络的元件复原能力；与此同时，采用了感兴趣区域(ROI)提取以及边缘移除的后处理方法，大幅度地提升了网络的缺陷检测精度，较好地实现了工业元件产品的缺陷检测任务。进一步，本专利技术中的预处理模块，主要针对于原始的1000幅无缺陷样本训练图像数据进行预处理，即对其依次进行图像数据增广、图像数据灰度值调整以及图像数据加噪，生成4000幅用于GAN网络训练的训练图像数据，解决了正负样本的不均衡问题。进一步，本专利技术中的边缘检测Loss模块，增加了边缘检测Loss，将其同GAN网络的生成器Loss与判别器Loss进行加权求和，作为GAN网络的生成器的总损失，用于生成器的训练，令重建图像的边缘部分更接近于输入图像，减少了边缘区域的误差，从而提高缺陷检测网络的检测精度。进一步，本专利技术中的感兴趣区域(ROI)提取模块，针对于待检测图像提取感兴趣区域(ROI)，生成ROI图像，将其同残差图像进行图像融合，随后进行阈值处理，生成初步的缺陷检测图像，提高缺陷检测网络的检测精度。进一步，本专利技术中的边缘移除模块，针对于GAN网络的重建图像进行边缘检测，利用该检测结果去除初步的缺陷检测图像中所不需要的边缘区域，得到最终的缺陷检测结果，提高缺陷检测网络的检测精度。进一步，为了验证所述方法在缺陷检测任务中的有效性，在150幅工业元件产品测试图像数据(其中139幅有缺陷，11幅无缺陷)的基础上展开了性能评估，在检测结果当中，其漏检率escape为0.0，过检率overkill为0.0071428，像素级的检测精度mIOU为0.5936287，最终的检测分数为0.9165828，检测速度为7fps，检测分数的计算方式如公式(1)所示：score＝0.5*(1-escape)+0.3*(1-overkill)+0.2*(mIOU)(1)综上所述，本专利技术提供了一种基于GAN的图像修复的缺陷检测方法。本文档来自技高网...

【技术保护点】
1.一种基于GAN的图像修复的缺陷检测方法，其特征在于，包括以下步骤：/n1)针对于原始的1000幅无缺陷样本训练图像数据进行预处理，即对其依次进行图像数据增广、图像数据灰度值调整以及图像数据加噪，生成4000幅用于GAN网络训练的训练图像数据；/n2)增加边缘检测Loss，将其同GAN网络的生成器Loss与判别器Loss进行加权求和，作为GAN网络的生成器的总损失，用于生成器的训练；/n3)针对于待检测图像提取感兴趣区域ROI，生成ROI图像，将其同残差图像进行图像融合，随后进行阈值处理，生成初步的缺陷检测图像；/n4)针对于GAN网络的重建图像进行边缘检测，利用该检测结果去除初步的缺陷检测图像中所不需要的边缘区域，得到最终的缺陷检测结果。/n

【技术特征摘要】
1.一种基于GAN的图像修复的缺陷检测方法，其特征在于，包括以下步骤：
1)针对于原始的1000幅无缺陷样本训练图像数据进行预处理，即对其依次进行图像数据增广、图像数据灰度值调整以及图像数据加噪，生成4000幅用于GAN网络训练的训练图像数据；
2)增加边缘检测Loss，将其同GAN网络的生成器Loss与判别器Loss进行加权求和，作为GAN网络的生成器的总损失，用于生成器的训练；
3)针对于待检测图像提取感兴趣区域ROI，生成ROI图像，将其同残差图像进行图像融合，随后进行阈值处理，生成初步的缺陷检测图像；
4)针对于GAN网络的重建图像进行边缘检测，利用该检测结果去除初步的缺陷检测图像中所不需要的边缘区域，得到最终的缺陷检测结果。


2.根据权利要求1所述的一种基于GAN的图像修复的缺陷检测方法，其特征在于，步骤1)中，通过分析元件的主要缺陷类型，包括：缺陷的大小与颜色、缺陷的具体形态以及缺陷在元件中所处的位置，结合元件本身的颜色特征，针对于原始的1000幅无缺陷样本训练图像数据进行预处理。


3.根据权利要求2所述的一种基于GAN的图像修复的缺陷检测方法，其特征在于，步骤1)中，具体实现方法如下：
首先是图像数据增广，对图像数据分别进行水平翻转、垂直翻转以及对角线翻转处理，并在此基础之上采用50％的概率进行滤波，令图像更加平滑，滤波方式随机选取均值滤波、中值滤波以及高斯滤波这三种类型，共生成4000幅数据增广图像；
其次是图像数据灰度值调整，对数据增广后的4000幅图像数据，进行灰度值取值范围的更改，在原灰度值取值的基础上，令其灰度值取值随机整体上调0～80，灰度值取值小于50的黑色部分仍保持原灰度值取值，不进行更改，令训练图像数据更加接近于测试图像数据；
最后是图像数据加噪，按照90％的概率决定是否对其进行加噪，噪声类型随机选取曲线...

【专利技术属性】
技术研发人员：贺丽君，李典芝，陈弼余，石楠，牟书辉，李凡，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61