一种产品表面缺陷检测方法、电子设备及可读存储介质技术

本发明专利技术公开了一种产品表面缺陷检测方法、电子设备及可读存储介质，所述检测方法包括如下步骤：S1：获取待测产品的图像；S2：将所述待测产品的图像输入到第一处理模块和第二处理模块中并行运算；如果第一处理模块和第二处理模块均认定为良品时,则判定所述待测产品为良品，如果第一处理模块和第二处理模块至少一者判定所述待测产品为疑似缺陷品时，则进入步骤S3；S3：对疑似缺陷品进行复查。本发明专利技术提供的检测方法提高了检测效率，降低了将缺陷品误判为良品的概率，同时进一步解决了小数据集下缺陷品和良品的二分类和缺陷点的精确定位问题。

A method of product surface defect detection, electronic equipment and readable storage medium

【技术实现步骤摘要】
一种产品表面缺陷检测方法、电子设备及可读存储介质
本专利技术涉及一种产品检测方法，尤其涉及一种产品表面缺陷检测方法、电子设备及可读存储介质。
技术介绍
物体表面的缺陷对于物体质量存在直接的影响，同时也影响到用户使用体验，尤其对于一些精度要求较高、使用场景特殊的物体，表面有无缺陷直接决定了物体能否进入市场。例如主要用于心脑血管介入手术治疗的扩张球囊，是一种常见的介入手术器械，其作用是扩张狭窄的血管或其他管腔以及支架系统。球囊质量问题关乎患者生命安全，如在使用过程中发生破裂，可能给患者造成难以估计的损伤。随着智能制造能力的提升，球囊产品的生产效率快速提升，传统人工肉眼观察来检测产品有无缺陷的方法早已不能满足大规模生产的需求，所以期望开发一套全自动智能检测方法，以提高产品检测效率。虽然目前已经有了一些智能检测技术，但全自动智能检测仍然是球囊等工业产品生产中一项具有挑战性的任务。其原因是工业产品外形各色各样，表面缺陷形状大小纹理也不尽相同，单一算法或满足特定条件的检测方法显然不能解决实际问题。目前缺陷检测方法主要以人工质检和计算机辅助质检两种，其中计算机辅助的缺陷检测技术主要分为两种：基于传统的特征提取和基于深度学习的目标检测方法，目前公开的技术方案存在如下问题：(1)人工表面缺陷检测需要经验丰富的员工进行操作，对工厂而言面临着员工难招、培训时间长、流动性大等问题。(2)基于传统特征提取的技术效果优劣取决于能否有效提取到缺陷的特征，这一点难以保证，且需要花费大量的时间。而且，这种技术只能针对特定的产品，鲁棒性和技术拓展性都比较低。(3)基于深度学习的缺陷检测方法需要大量的数据作前期训练，但在实际场景中，缺陷品占比很低，很难在短时间内找到大量数据集进行训练。而且单一使用深度学习算法容易忽略产品上不起眼的缺陷点，造成假阴性检测结果。
技术实现思路
本专利技术的目的在于提供一种产品表面缺陷检测方法、电子设备及可读存储介质，以提高产品检测效率，降低将缺陷品误判为良品的概率。本专利技术为解决上述技术问题而采用的技术方案是提供一种产品表面缺陷检测方法，S1：获取待测产品的图像；S2：将所述待测产品的图像输入到第一处理模块和第二处理模块中进行并行检测；如果第一处理模块和第二处理模块均认定为良品时,则判定所述待测产品为良品；如果第一处理模块和第二处理模块至少一者判定所述待测产品为疑似缺陷品时，则进入步骤S3；S3：对疑似缺陷品进行复查。优选地，所述步骤S2中的所述第一处理模块为训练好的二分类神经网络模型，所述第二处理模块为基于图像处理的缺陷点定位算法，所述缺陷点定位算法采用第一预设面积阈值对所述待测产品的图像进行处理以判定所述待测产品是否为良品。优选地，所述二分类神经网络模型模型的训练步骤包括：S211：对现有产品的原始数据进行增强处理后，将现有产品分为良品和缺陷品；S212：将步骤S211处理后的数据输入到神经网络进行训练，初始化所述神经网络的权重参数和偏置参数；S213：使用标注为良品和缺陷品的目标产品数据对所述神经网络进行训练，更新所述神经网络的权重参数和偏置参数，得到针对所述目标产品的训练后的二分类神经网络模型模型。优选地，所述步骤S211中对现有产品的原始数据进行增强处理的步骤，包括对所述原始数据进行旋转、缩放和对比度增强，以将数据量进行扩充。优选地，所述步骤S213中利用损失函数和梯度下降法更新所述神经网络的权重参数和偏置参数，所述损失函数和梯度下降法的公式如下：L＝||G(x)-Y||2＝∑i(c(xi)-yi)2(6)式(6)为所述损失函数的表达式，其中L是损失函数值，G(x)、G(xi)是网络输出值，Y、yi是标签值；式(7)为所述梯度下降法的表达式，其中wi+1是待更新的神经网络权重，α是学习率，是损失函数值对权重Wi的一阶导数。优选地，所述基于图像处理的缺陷点定位算法采用自适应的梯度检测算法，将针眼、砂眼、白斑、亮点和异物五种缺陷点进行梯度检测，并使用连通域分析找出五种所述缺陷点的相应位置，并计算出所述缺陷点的外接矩形，确定所述缺陷点的位置。优选地，所述梯度检测算法包括以下步骤：S221：输入所述待测产品的图像，对所述待测产品的图像进行均值滤波操作，去除噪点，均值滤波公式如下：式(8)中，width和height分别是与卷积核大小对应的宽和高，经过滤波后，中心点像素值变为卷积核对应的平均值；S222：使用自适应阈值算法对滤波后的所述待测产品的图像进行二值化，其中设置自适应区域block值为奇数，且所述block值为图像长和宽中较小值的1/40取整后的数值或取整后的数值加1；阈值法公式如下：式(9)中，f(x，y)为图像上某一点变换前的灰度值，t为阈值，在卷积核大小的范围内，高于阈值的灰度值变为白色255，低于阈值的部分变为黑色0；S223：使用先膨胀后腐蚀的形态学操作填充孔洞，连接邻近的点，膨胀和腐蚀公式如下：其中，式(10)为膨胀公式，式(11)为腐蚀公式，A为待测产品图像二值化后产生的图像；B为结构元素，所述结构元素为矩形、十字形、椭圆形或圆形；S224：对所述步骤S223处理后的待测产品的图像进行连通域查找，将边缘以及缺陷点面积大于第一预设面积阈值的缺陷点查找出来，然后通过设置像素点范围，排除边缘，确定缺陷点；S225：将所述步骤S224查找出的所述缺陷点进行外接矩形计算，得出外接矩形的四个顶点坐标，从而确定所述缺陷点的位置。优选地，当所述步骤S2中所述第一处理模块认定所述待测产品为良品时，输出对应的置信度大于0.95。优选地，所述步骤S3包括步骤S31；如果步骤S2中所述第二处理模块认定所述待测产品为良品而所述第一模块判定为疑似缺陷品，复查时将所述疑似缺陷品的图像再次输入到所述基于图像处理的缺陷点定位算法中运算，如果找到缺陷点且缺陷点面积小于第二预设面积阈值则判定为良品，否则判定为疑似缺陷品并输出缺陷点位置坐标后对所述疑似缺陷品继续复查；其中所述第二面积预设阈值小于所述第一面积预设阈值。优选地，如果复查时未找到缺陷点，则发出转为人工判断的提醒。优选地，还包括步骤S41：根据所述缺陷点位置坐标裁剪疑似缺陷点图像，计算裁剪后的疑似缺陷点图像的面积，如果面积小于第三预设面积阈值则判定为良品，否则判定为疑似缺陷品。优选地，所述步骤S3包括步骤S42；如果步骤S2中基于图像处理的缺陷点定位算法认定所述待测产品为缺陷品，则输出疑似缺陷点位置坐标，根据所述坐标裁剪疑似缺陷点图像，计算裁剪后的疑似缺陷点图像的面积，如果面积小于第三预设面积阈值则判定为良品，否则判定为疑似缺陷品。优选地，还包括步骤S5：将所述步骤S41或S42判定为疑似缺陷品的裁剪后的疑似缺陷点图像输入到训练好的多分类神经网络工程模型中，输出其缺陷类型。优选地，所述步骤S5中多分类神经网络工程模型的训练步骤包括本文档来自技高网...

【技术保护点】
1.一种产品表面缺陷检测方法，其特征在于，包括如下步骤：/nS1：获取待测产品的图像；/nS2：将所述待测产品的图像输入到第一处理模块和第二处理模块中进行并行检测；如果第一处理模块和第二处理模块均认定所述待测产品为良品时,则判定所述待测产品为良品；如果第一处理模块和第二处理模块中至少一者判定所述待测产品为疑似缺陷品时，则进入步骤S3；/nS3：对疑似缺陷品进行复查。/n

【技术特征摘要】
1.一种产品表面缺陷检测方法，其特征在于，包括如下步骤：
S1：获取待测产品的图像；
S2：将所述待测产品的图像输入到第一处理模块和第二处理模块中进行并行检测；如果第一处理模块和第二处理模块均认定所述待测产品为良品时,则判定所述待测产品为良品；如果第一处理模块和第二处理模块中至少一者判定所述待测产品为疑似缺陷品时，则进入步骤S3；
S3：对疑似缺陷品进行复查。


2.如权利要求1所述的产品表面缺陷检测方法，其特征在于，所述步骤S2中的所述第一处理模块为训练好的二分类神经网络模型，所述第二处理模块为基于图像处理的缺陷点定位算法，所述缺陷点定位算法采用第一预设面积阈值对所述待测产品的图像进行处理以判定所述待测产品是否为良品。


3.如权利要求2所述的产品表面缺陷检测方法，其特征在于，所述二分类神经网络模型的训练步骤包括：
S211：对现有产品的原始数据进行增强处理后，将现有产品分为良品和缺陷品；
S212：将步骤S211处理后的数据输入到神经网络进行训练，初始化所述神经网络的权重参数和偏置参数；
S213：使用标注为良品和缺陷品的目标产品数据对所述神经网络进行训练，更新所述神经网络的权重参数和偏置参数，得到针对所述目标产品的训练后的二分类神经网络模型。


4.如权利要求3所述的产品表面缺陷检测方法，其特征在于，所述步骤S211中对现有产品的原始数据进行增强处理的步骤包括对所述原始数据进行旋转、缩放和对比度增强，以将数据量进行扩充。


5.如权利要求3所述的产品表面缺陷检测方法，其特征在于，所述神经网络为InceptionV3网络，训练时，将所述神经网络的卷积层、池化层及Inception模块前面层进行固化，并训练最后三层及分类器。


6.如权利要求3所述的产品表面缺陷检测方法，其特征在于，所述步骤S213中利用损失函数和梯度下降法更新所述神经网络的权重参数和偏置参数，所述损失函数和梯度下降法的公式如下：
L＝||G(x)-Y||2＝∑i(G(xi)-yi)2(6)
式(6)为所述损失函数的表达式，其中L是损失函数值，G(x)、G(xi)是网络输出值，Y、yi是标签值；



式(7)为所述梯度下降法的表达式，其中wi+1是待更新的神经网络权重，α是学习率，是损失函数值对权重Wi的一阶导数。


7.如权利要求2所述的产品表面缺陷检测方法，其特征在于，所述基于图像处理的缺陷点定位算法包括采用自适应的梯度检测算法，将针眼、砂眼、白斑、亮点和异物五种缺陷点进行梯度检测，并使用连通域分析找出五种所述缺陷点的相应位置，并计算出所述缺陷点的外接矩形，确定所述缺陷点的位置。


8.如权利要求7所述的产品表面缺陷检测方法，其特征在于，所述梯度检测算法包括以下步骤：
S221：输入所述待测产品的图像，对所述待测产品的图像进行均值滤波操作，去除噪点，均值滤波公式如下：



式(8)中，width和height分别是与卷积核大小对应的宽和高，经过滤波后，中心点像素值变为卷积核对应的平均值；
S222：使用自适应阈值算法对滤波后的所述待测产品的图像进行二值化，其中设置自适应区域block值为奇数，且所述block值为图像长和宽中较小值的1/40取整后的数值或取整后的数值加1；阈值法公式如下：



式(9)中，f(x，y)为图像上某一点变换前的灰度值，t为阈值，在卷积核大小的范围内，高于阈值的灰度值变为白色255...

【专利技术属性】
技术研发人员：张武龙，吕文尔，赵钢，黄弯弯，
申请(专利权)人：上海微创医疗器械集团有限公司，
类型：发明
国别省市：上海;31