一种基于深度学习的缺陷快速初筛方法及系统技术方案

本申请提供的基于深度学习的缺陷快速初筛方法及系统中，将待测图像输入到训练好深度卷积神经网络学习模型中，当缺陷类别像素判定为疑似缺陷图像；将所述疑似缺陷图像输入到搭建好的解码器中完成缺陷的初筛；可以看出本申请中的缺陷初筛方法包括编码、初筛及解码，将图片的筛选完全交给神经网络完成；初筛后可以筛除掉大量的无缺陷图像和置信度较高的缺陷图像，仅将疑似缺陷图像经过解码器后处理，避免了对每一张预处理后的小图都需要经过一次完整的编码过程和解码过程，提高了缺陷判定效率；而且在筛选的过程中由神经网络自动提取特征，通过卷积核就可以实现自动提取图片的特征，从而进行分类，提高了缺陷筛选的准确性。

A method and system of rapid defect screening based on deep learning

【技术实现步骤摘要】
一种基于深度学习的缺陷快速初筛方法及系统
本申请涉及缺陷检测
，尤其涉及一种基于深度学习的缺陷快速初筛方法及系统。
技术介绍
在工业质检应用中，由于对产品缺陷的分级判定取决于缺陷的形态、大小及位置等，因此有必要获取缺陷的完成分割，以进行更精细的判断。完整分割结果的获得是一个计算密集型的任务，需要耗费大量计算资源，且由于当前制造业的良品率相对较高(70％)，缺陷区域相较总的检测区域而言较小(10％以下)，对全部的感兴趣区域进行完整的分割对检测准确性来说是多余的且对检测效率来说有很大的损害。当前工业质检领域的基于深度学习的分割算法为：将预处理后的小图输入编码网络，其中预处理包括利用传统的算法对图片进行初步的筛选，如利用模板对比的传统算法；编码网络负责提取输入图像中的有用特征并将输入的特征大幅降维，编码完成后将提取的特征输入解码网络，解码网络负责从编码网络提取到的特征中恢复有价值的特征，并将输出恢复到原图大小，最后得到的输出中包含了每个像素是缺陷与否的信息，解码完成进行后处理。但是在上述的分割算法中，预处理过程中利用传统的算法对图片进行初步的筛选，如利用模板对比的传统算法，由于传统算法需要人工选取参考图片及人工提取图片特征，准确性较低，会出现过筛将原本无缺陷的图片筛选为缺陷图片，以及，漏筛即未筛选出来缺陷图片；另外，对每一张预处理后的小图都需要经过一次完整的编码过程和解码过程，再对解码后得到的特征后处理做进一步的分类，这会严重降低缺陷判定效率。
技术实现思路
本申请提供了一种基于深度学习的缺陷快速初筛方法及系统，以解决现有分割算法中筛选准确性低且效率低的技术问题。为了解决上述技术问题，本申请实施例公开了如下技术方案：第一方面，本申请提供了一种基于深度学习的缺陷快速初筛方法，包括：对图像进行像素级别的缺陷标注，并将图像及其对应的标注信息作为样本集；对所述样本集进行预处理，并将预处理后的图片输入到搭建好的编码器中；所述编码器利用深度卷积神经网络对所述预处理后的图片进行多重卷积、池化实现下采样、ReLu函数激活及损失函数训练得到深度卷积神经网络学习模型；将待测图像输入到所述深度卷积神经网络学习模型中，输出每个像素对应的缺陷类别的概率；当缺陷类别像素的占比介于(0，10％)时，判定为疑似缺陷图像；将所述疑似缺陷图像输入到搭建好的解码器中完成缺陷的初筛。可选的，所述对所述样本集进行预处理，包括：确定所述样本集中的图像的ROI区域；对所述样本集中的图像作进行尺寸归一化；对经过尺寸归一化的图像进行数据增强；将经过数据增强后的图像划分为训练集、验证集和测试集。可选的，所述编码器利用深度卷积神经网络对所述预处理后的图片进行多重卷积、池化实现下采样、ReLu函数激活及损失函数训练得到深度卷积神经网络学习模型，包括：输入256*256大小的原图；所述原图经过多重卷积、池化实现下采样、ReLu函数激活及损失函数后得到32*32*128的特征图；所述特征图经过一个卷积步长为1，卷积核大小为1*1的卷积层得到32*32*(C+1)的特征图，其中C为缺陷类别数目。可选的，所述将待测图像输入到所述深度卷积神经网络学习模型中，输出每个像素对应的被标注为缺陷类别的概率，包括：将所述特征图中的背景缺陷类别标记为0，第一缺陷类别标记为1，第二缺陷类别标记为2；分别输出被标记为0，1和2的概率。可选的，所述当缺陷类别像素的占比大于10％时，判定为疑似缺陷图像，包括：获取被标记为1和2的总样本的概率；当所述被标记为1和2的总样本的概率介于(0，10％)时，判定为疑似缺陷图像。可选的，所述当缺陷类别像素的占比介于(0，10％)时，判定为疑似缺陷图像，还包括：获取被标记为1和2的总样本的概率；当所述被标记为1和2的总样本的概率大于10％时，判定为缺陷图像。当所述被标记为1和2的总样本的概率等于0时，判定为无缺陷图像。可选的，所述将所述疑似缺陷图像输入到搭建好的解码器中完成缺陷的初筛，包括：当待测图像判定为缺陷图像或无缺陷图像时，处理结束。可选的，所述将所述疑似缺陷图像输入到搭建好的解码器中完成缺陷的初筛后，还包括：对所述疑似缺陷图像的缺陷类别进行第一次划分；根据所述疑似缺陷图像的缺陷的大小和形态进行第二次划分；获取所述疑似缺陷图像的检测结果，所述检测结果包括良品和次品。第二方面，基于上述的基于深度学习的缺陷快速初筛方法，本申请还提供了一种基于深度学习的缺陷快速初筛系统，包括：样本集获取模块，用于对图像进行像素级别的缺陷标注，并将图像及其对应的标注信息作为样本集；样本集预处理模块，用于对所述样本集进行预处理，并将预处理后的图片输入到搭建好的编码器中；深度卷积神经网络学习模型训练模块，用于所述编码器利用深度卷积神经网络对所述预处理后的图片进行多重卷积、池化实现下采样、ReLu函数激活及损失函数训练得到深度卷积神经网络学习模型；缺陷类别概率获取模块，用于将待测图像输入到所述深度卷积神经网络学习模型中，输出每个像素对应的缺陷类别的概率；疑似缺陷图像判定模块，用于当缺陷类别像素的占比介于(0，10％)时，判定为疑似缺陷图像；输入解码器模块，用于将所述疑似缺陷图像输入到搭建好的解码器中完成缺陷的初筛。可选的，所述深度卷积神经网络学习模型训练模块包括：卷积层、池化层、ReLu函数激活层及损失函数训练层。与现有技术相比，本申请的有益效果为：由上述技术方案可见，本申请提供的基于深度学习的缺陷快速初筛方法及系统中，首先将预处理后的图片输入到搭建好的编码器中；然后对所述预处理后的图片进行多重卷积、池化实现下采样、ReLu函数激活及损失函数训练得到深度卷积神经网络学习模型；将待测图像输入到所述深度卷积神经网络学习模型中，输出每个像素对应的缺陷类别的概率；当缺陷类别像素的占比介于(0，10％)时，判定为疑似缺陷图像；最后将所述疑似缺陷图像输入到搭建好的解码器中完成缺陷的初筛；可以看出本申请中的缺陷初筛方法包括编码、初筛及解码，免去了传统方法中预处理过程中的初筛流程，将图片的筛选完全交给神经网络完成；初筛后可以筛除掉大量的无缺陷图像和置信度较高的缺陷图像，仅将疑似缺陷图像经过解码器后处理，避免了对每一张预处理后的小图都需要经过一次完整的编码过程和解码过程，提高了缺陷判定效率；而且在筛选的过程中由神经网络自动提取特征，输入图片后设计好卷积核的尺寸、数量和滑动的步长就可以实现自动提取图片的特征，从而进行分类，提高了缺陷筛选的准确性。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。附图说明为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对本文档来自技高网...

【技术保护点】
1.一种基于深度学习的缺陷快速初筛方法，其特征在于，包括：/n对图像进行像素级别的缺陷标注，并将图像及其对应的标注信息作为样本集；/n对所述样本集进行预处理，并将预处理后的图片输入到搭建好的编码器中；/n所述编码器利用深度卷积神经网络对所述预处理后的图片进行多重卷积、池化实现下采样、ReLu函数激活及损失函数训练得到深度卷积神经网络学习模型；/n将待测图像输入到所述深度卷积神经网络学习模型中，输出每个像素对应的缺陷类别的概率；/n当缺陷类别像素的占比介于(0，10％)时，判定为疑似缺陷图像；/n将所述疑似缺陷图像输入到搭建好的解码器中完成缺陷的初筛。/n

【技术特征摘要】
1.一种基于深度学习的缺陷快速初筛方法，其特征在于，包括：
对图像进行像素级别的缺陷标注，并将图像及其对应的标注信息作为样本集；
对所述样本集进行预处理，并将预处理后的图片输入到搭建好的编码器中；
所述编码器利用深度卷积神经网络对所述预处理后的图片进行多重卷积、池化实现下采样、ReLu函数激活及损失函数训练得到深度卷积神经网络学习模型；
将待测图像输入到所述深度卷积神经网络学习模型中，输出每个像素对应的缺陷类别的概率；
当缺陷类别像素的占比介于(0，10％)时，判定为疑似缺陷图像；
将所述疑似缺陷图像输入到搭建好的解码器中完成缺陷的初筛。


2.根据权利要求1所述的基于深度学习的缺陷快速初筛方法，其特征在于，所述对所述样本集进行预处理，包括：
确定所述样本集中的图像的ROI区域；
对所述样本集中的图像作进行尺寸归一化；
对经过尺寸归一化的图像进行数据增强；
将经过数据增强后的图像划分为训练集、验证集和测试集。


3.根据权利要求1所述的基于深度学习的缺陷快速初筛方法，其特征在于，所述编码器利用深度卷积神经网络对所述预处理后的图片进行多重卷积、池化实现下采样、ReLu函数激活及损失函数训练得到深度卷积神经网络学习模型，包括：
输入256*256大小的原图；
所述原图经过多重卷积、池化实现下采样、ReLu函数激活及损失函数后得到32*32*128的特征图；
所述特征图经过一个卷积步长为1，卷积核大小为1*1的卷积层得到32*32*(C+1)的特征图，其中C为缺陷类别数目。


4.根据权利要求1所述的基于深度学习的缺陷快速初筛方法，其特征在于，所述将待测图像输入到所述深度卷积神经网络学习模型中，输出每个像素对应的被标注为缺陷类别的概率，包括：
将所述特征图中的背景缺陷类别标记为0，第一缺陷类别标记为1，第二缺陷类别标记为2；
分别输出被标记为0，1和2的概率。


5.根据权利要求1所述的基于深度学习的缺陷快速初筛方法，其特征在于，所述当缺陷类别像素的占比大于10％时，判定为疑似缺陷图像，包括：
获取被标记为1和2的总样本的概率；
...

【专利技术属性】
技术研发人员：尹健，姚毅，
申请(专利权)人：凌云光技术集团有限责任公司，
类型：发明
国别省市：北京;11