基于深度学习的端子缺陷检测方法及系统技术方案

本申请提供的基于深度学习的端子缺陷检测方法及系统中，通过收集缺陷图像样本，利用深度学习模型可输出端子区域内每个像素对应的缺陷类别的概率；当输出的像素的概率大于预设缺陷概率阈值时，像素判定为NG品像素，根据所述NG品像素获取缺陷的一次检出率；当所述一次检出率大于或小于图像的给定不良率时，分别判定为过检或漏检，对过漏、检缺陷样本进行标记，传输到样本库中实现样本库的更新，进行递归训练更新模型，已达到模型检测能力自身优化的效果，同时调整所述预设缺陷概率阈值直至所述一次检出率接近所述给定不良率为止，因此本申请可以根据预设缺陷概率阈值的方式预警过检或漏检，避免了过检或漏检状况。

Terminal defect detection method and system based on deep learning

【技术实现步骤摘要】
基于深度学习的端子缺陷检测方法及系统
本申请涉及缺陷检测
，尤其涉及一种基于深度学习的端子缺陷检测方法及系统。
技术介绍
在实际生产过程中，端子会出现各种形态的缺陷，如由于在传输过程中出现碰撞而造成的端子欠损、端子裂痕缺陷；由于运动载台振动造成的端子变形缺陷；由于周围光源不稳定或难以保证在同一光学条件下，任一检测内缺陷都能成像良好而造成的端子过曝缺陷。传统的端子缺陷分割检测算法主要基于模板匹配算法检测分割出端子区中的缺陷，其中模板匹配算法的过程为：采集无缺陷的标准图像，制作模板并保存，然后在线采集待检测图像，将待检测图像和标准图像匹配后进行减影操作，得到缺陷图像，再对缺陷图像进行相应的统计分析处理。但是上述方法易受光学影响，特别对于不同机种形态各端子区域，边缘切割存在误差且Mark定位受光学影响，这样就常出现模板精度不稳定、缺陷成像不均匀，会出现过检即将原本无缺陷的图片检测为缺陷图片，以及，漏检即未检测出缺陷图片；同时由于边缘切割存在误差从而得到的缺陷面积和尺寸准确率降低，会严重降低缺陷二次检测的准确性。
技术实现思路
本申请提供了一种基于深度学习的端子缺陷检测方法及系统，以解决传统端子缺陷分割算法中易出现过检、漏检及得到的缺陷面积和尺寸准确率低的技术问题。为了解决上述技术问题，本申请实施例公开了如下技术方案：第一方面，本申请提供了一种基于深度学习的端子缺陷检测方法，包括：对图像进行像素级别的缺陷标注，并将图像及其对应的标注信息作为样本库；利用深度卷积神经网络对预处理后的图片进行多重卷积、池化、ReLu函数激活及损失函数训练得到深度卷积神经网络学习模型；将待测图像输入到所述深度卷积神经网络学习模型中，输出每个像素对应的缺陷类别的概率；当输出的像素的概率大于预设缺陷概率阈值时，所述像素判定为NG品像素；根据所述NG品像素获取缺陷的面积值和尺寸值；根据所述NG品像素获取缺陷的一次检出率；当所述一次检出率大于或小于图像的给定不良率时，分别判定为过检或漏检；将过检或漏检图片传输至所述样本库中；调整所述预设缺陷概率阈值直至所述一次检出率接近所述给定不良率为止。可选的，所述利用深度卷积神经网络对预处理后的图片进行多重卷积、池化、ReLu函数激活及损失函数训练得到深度卷积神经网络学习模型，包括：对所述样本库中的图像进行样本增强，所述样本增强包括对图像进行旋转、镜像或噪声处理；对样本库中的原图经过多重卷积得到特征图；对所述特征图池化、ReLu函数激活及损失函数训练后得到深度卷积神经网络学习模型。可选的，所述将待测图像输入到所述深度卷积神经网络学习模型中，输出每个像素对应的缺陷类别的概率，包括：输出所述像素缺陷类别和对应的概率。可选的，所述当输出的像素的概率大于预设缺陷概率阈值时，所述像素判定为NG品像素，包括：预设缺陷概率阈值；判断输出的像素的概率和所述预设的缺陷概率阈值；当所述输出的像素的概率大于所述预设缺陷概率阈值时，所述像素判定为NG品像素。可选的，所述根据所述NG品像素获取缺陷的面积值和尺寸值，包括：将所有的所述NG品像素合并得到绘制的缺陷区根据所述缺陷区获取缺陷的面积值和尺寸值，其中所述面积值为所述缺陷区内像素的总个数，所述尺寸值为沿所述缺陷区周向绘制的最小矩形的周长。可选的，所述根据所述NG品像素获取缺陷的一次检出率，包括：所述一次检出率为所述NG品像素个数占全部像素个数的比率。可选的，所述当所述一次检出率大于或小于图像的给定不良率时，分别判定为过检或漏检，包括：当所述一次检出率大于所述图像的给定不良率时，判定为过检；当所述一次检出率小于所述图像的给定不良率时，判定为漏检。可选的，所述将过检或漏检图片传输至所述样本库中，包括：将过检或漏检图片标记后传输至所述样本库中；利用深度卷积神经网络对所述样本库二次进行多重卷积、池化、ReLu函数激活及损失函数训练得到深度卷积神经网络学习模型。可选的，所述调整所述预设缺陷概率阈值直至所述一次检出率接近所述给定不良率为止，包括：调整所述预设缺陷概率阈值；当输出的像素的概率大于调整后的预设缺陷概率阈值时，所述像素判定为NG品像素；根据所述NG品像素获取缺陷的面积值和尺寸值；根据所述NG品像素获取缺陷的一次检出率；当所述一次检出率大于或小于图像的给定不良率时，分别判定为过检或漏检。第二方面，基于上述的端子缺陷检测方法，本申请还提供了一种基于深度学习的端子缺陷检测系统，所述系统包括：样本库获取模块，用于对图像进行像素级别的缺陷标注，并将图像及其对应的标注信息作为样本库；深度卷积神经网络学习模型训练模块，用于利用深度卷积神经网络多所述预处理后的图片进行多重卷积、池化、ReLu函数激活及损失函数训练得到深度卷积神经网络学习模型；概率获取模块，用于将待测图像输入到所述深度卷积神经网络学习模型中，输出每个像素对应的缺陷类别的概率；NG品像素判定模块，用于当输出的像素的概率大于预设缺陷概率阈值时，所述像素判定为NG品像素；缺陷面积和尺寸获取模块，用于根据所述NG品像素获取缺陷的面积值和尺寸值；一次检出率获取模块，用于根据所述NG品像素获取缺陷的一次检出率；过检或漏检判定模块，用于当所述一次检出率大于或小于图像的给定不良率时，分别判定为过检或漏检；样本库更新模块，用于将过检或漏检图片传输至所述样本库中；缺陷概率阈值调整模块，用于调整缺陷概率阈值直至所述一次检出率接近所述给定不良率为止。与现有技术相比，本申请的有益效果为：由上述技术方案可见，本申请通过收集缺陷图像样本，利用深度卷积神经网络学习模型对端子区域的缺陷进行标记、分类训练，对端子区域的缺陷进行实时缺陷检出并输出每个像素对应的缺陷类别的概率；当输出的像素的概率大于预设缺陷概率阈值时，所述像素判定为NG品像素；然后：(1)根据所述NG品像素获取缺陷的一次检出率；当所述一次检出率大于或小于图像的给定不良率时，分别判定为过检或漏检，对过漏、检缺陷样本进行标记，传输到样本库中实现样本库的更新，进行递归训练更新模型，已达到模型检测能力自身优化的效果，同时调整所述预设缺陷概率阈值直至所述一次检出率接近所述给定不良率为止，因此本申请可以根据预设缺陷概率阈值的方式预警过检或漏检，避免了过检或漏检状况。(2)将所有的所述NG品像素合并得到绘制的缺陷区根据所述缺陷区获取缺陷的面积值和尺寸值，其中所述面积值为所述缺陷区内像素的总个数，所述尺寸值为沿所述缺陷区周向绘制的最小矩形的周长，因此本申请可以获取面积值和尺寸值参数，用于后续的二次检测。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。附图说本文档来自技高网...

【技术保护点】
1.一种基于深度学习的端子缺陷检测方法，其特征在于，包括：/n对图像进行像素级别的缺陷标注，并将图像及其对应的标注信息作为样本库；/n利用深度卷积神经网络对预处理后的图片进行多重卷积、池化、ReLu函数激活及损失函数训练得到深度卷积神经网络学习模型；/n将待测图像输入到所述深度卷积神经网络学习模型中，输出每个像素对应的缺陷类别的概率；/n当输出的像素的概率大于预设缺陷概率阈值时，所述像素判定为NG品像素；/n根据所述NG品像素获取缺陷的面积值和尺寸值；/n根据所述NG品像素获取缺陷的一次检出率；/n当所述一次检出率大于或小于图像的给定不良率时，分别判定为过检或漏检；/n将过检或漏检图片传输至所述样本库中；/n调整所述预设缺陷概率阈值直至所述一次检出率接近所述给定不良率为止。/n

【技术特征摘要】
1.一种基于深度学习的端子缺陷检测方法，其特征在于，包括：
对图像进行像素级别的缺陷标注，并将图像及其对应的标注信息作为样本库；
利用深度卷积神经网络对预处理后的图片进行多重卷积、池化、ReLu函数激活及损失函数训练得到深度卷积神经网络学习模型；
将待测图像输入到所述深度卷积神经网络学习模型中，输出每个像素对应的缺陷类别的概率；
当输出的像素的概率大于预设缺陷概率阈值时，所述像素判定为NG品像素；
根据所述NG品像素获取缺陷的面积值和尺寸值；
根据所述NG品像素获取缺陷的一次检出率；
当所述一次检出率大于或小于图像的给定不良率时，分别判定为过检或漏检；
将过检或漏检图片传输至所述样本库中；
调整所述预设缺陷概率阈值直至所述一次检出率接近所述给定不良率为止。


2.根据权利要求1所述的基于深度学习的端子缺陷检测方法，其特征在于，所述利用深度卷积神经网络对预处理后的图片进行多重卷积、池化、ReLu函数激活及损失函数训练得到深度卷积神经网络学习模型，包括：
对所述样本库中的图像进行样本增强，所述样本增强包括对图像进行旋转、镜像或噪声处理；
对样本库中的原图经过多重卷积得到特征图；
对所述特征图池化、ReLu函数激活及损失函数训练后得到深度卷积神经网络学习模型。


3.根据权利要求1所述的基于深度学习的端子缺陷检测方法，其特征在于，所述将待测图像输入到所述深度卷积神经网络学习模型中，输出每个像素对应的缺陷类别的概率，包括：
输出所述像素缺陷类别和对应的概率。


4.根据权利要求1所述的基于深度学习的端子缺陷检测方法，其特征在于，所述当输出的像素的概率大于预设缺陷概率阈值时，所述像素判定为NG品像素，包括：
预设缺陷概率阈值；
判断输出的像素的概率和所述预设的缺陷概率阈值；
当所述输出的像素的概率大于所述预设缺陷概率阈值时，所述像素判定为NG品像素。


5.根据权利要求1所述的基于深度学习的端子缺陷检测方法，其特征在于，所述根据所述NG品像素获取缺陷的面积值和尺寸值，包括：
将所有的所述NG品像素合并得到绘制的缺陷区；
根据所述缺陷区获取缺陷的面积值和尺寸值，其中所述面积值为所述缺陷区内像素的总个数，所述尺寸值为沿所述缺陷区周向绘制的最小矩形的周长。


6.根据权利要求1所述的基于深度学习的端子缺陷检测方法，其特征在于，...

【专利技术属性】
技术研发人员：张金波，姚毅，
申请(专利权)人：凌云光技术集团有限责任公司，
类型：发明
国别省市：北京;11