【技术实现步骤摘要】
本专利技术机器视觉检测领域，尤其涉及一种基于机器视觉的pcb缺陷检测方法、装置、设备及存储介质。
技术介绍
1、印刷电路板(printed circuit board)实现了电子元器件间的电气连接，是电子产品中不可缺少的重要部件。在生产过程中，电路板表面经常会由于生产过程中的设备故障或人为因素导致产生断路、脏污、划伤等缺陷，这些表面缺陷对电路板的美观度、舒适度和使用性能等带来不良影响，所以生产企业需要对电路板进行表面缺陷检测，以便及时发现缺陷产品并有效控制它的质量。
2、一般来说，pcb板缺陷检测可分为两类：人工检测和机器视觉检测。针对人工检测，容易漏检和视觉疲劳，效果差；针对机器视觉检测，基于机器视觉和图像处理算法，人们可以采用aoi系统对pcb板的缺陷进行检测，或基于各种人工智能模型对机器视觉采集的图像进行识别，以确定pcb板的各种物理缺陷，但是，这种方法存在的一个容易被人忽略的问题是：由于各种原因，机器视觉采集的照片可能存在图像缺陷，如失焦模糊、过曝等，这会严重影响到人工智能模型对图像的识别，进而影响pcb板物理缺陷的识别，降低精确，由于图像缺陷，将不存在物理缺陷的pcb板识别为有缺陷，或将有物理缺陷的pcb板识别为无缺陷。
技术实现思路
1、鉴于以上技术问题，本专利技术提供了一种基于机器视觉的pcb缺陷检测方法、装置、设备及存储介质，以解决现有技术中pcb板在机器视觉检测中遇到的问题。
2、本公开的其他特征和优点将通过下面的详细描述变得显然，或部分地
3、根据本专利技术的一方面，公开一种基于机器视觉的pcb缺陷检测方法，所述方法包括：
4、基于预训练的分类模型，将待检pcb图像进行分类为缺陷图像和正常图像，所述缺陷图像的缺陷类型包括焦点缺陷、运动模糊、光线缺陷、噪声干扰中的一种或多种，所述待检pcb图像由工业相机于流水线上捕获得到；
5、分别对所述缺陷图像和所述正常图像的像素进行卷积运算，获取当前像素与其四个相邻像素在各个方向上的差异，以获取所述缺陷图像和所述正常图像的超过范围的缺陷区域与低于范围的正常区域的比例；
6、基于所述比例，对所述缺陷图像和所述正常图像二次分类，将所述比例大于第一阈值的所述缺陷图像分类为正常，将所述比例低于第二阈值的所述正常图像分类为缺陷，其中，所述第一阈值大于所述第二阈值；
7、基于预训练的深度学习模型，对二次分类的所述正常图像进行pcb缺陷识别。
8、进一步的，所述基于预训练的分类模型，将待检pcb图像进行分类为缺陷图像和正常图像，包括：
9、将存在缺陷的样本图像集中的部分图像进行缺陷标注，基于无监督学习算法，将已标注的样本图像作为正样本和将未标注的样本图像作为负样本以训练所述分类模型；
10、在训练时，在所述分类模型中注入注意力机制，使得所述分类模型的每个卷积层后插入用于自适应地选择和加权图像的不同区域特征的注意力模块；
11、在训练时，修改损失函数，以及基于贝叶斯神经网络的模型结构，使得所述分类模型进行预测准确性之外的不确定性估计；
12、多次训练获得多个所述分类模型，将多个训练好的所述分类模型进行集成，在对所述待检pcb图像预测分类时，基于投票策略来获得最终的所述缺陷图像和所述正常图像。
13、进一步的，在输入所述样本图像集以训练所述分类模型时，对样本图像进行多尺度的裁切和缩放，以及样本图像及其多模态数据进行结合。
14、进一步的，在对所述缺陷图像和所述正常图像的像素进行卷积运算时，包括：
15、根据公式对所述缺陷图像和所述正常图像进行卷积运算，为拉普拉斯函数，分别为函数f关于x、y方向的二阶偏导数；
16、其中，为当前像素x方向上的左侧像素和右侧像素的取值并减去当前像素的两倍的值，为当前像素y方向上的上侧像素和下侧像素的取值并减去当前像素的两倍的值。
17、进一步的，在对所述缺陷图像和所述正常图像的像素进行卷积运算后，还包括获取当前像素与其四个相邻像素在各个方向上的差异，以获取所述缺陷图像和所述正常图像的超过范围的缺陷区域与低于范围的正常区域的比例，具体包括：
18、计算运算后的图像中每个像素的平方值；
19、基于公式v(x)＝e(x2)-e(x2)，计算每个像素的方差值，其中，e(x2)为当前像素与四个相邻像素的平方和的期望平均值，e(x2)为当前像素与四个相邻像素的期望平均值；
20、将计算得到的每个像素的方差与预先设定的第三阈值相比，将低于所述第三阈值的所述像素的集合设定为缺陷区域，将高于所述第三阈值的所述像素的集合设定为正常区域，以得到所述比例。
21、进一步的，所述基于预训练的深度学习模型，对二次分类的所述正常图像进行pcb缺陷识别，包括；
22、基于存在物理缺陷的缺陷pcb图像及其对应的无缺陷的参考pcb图像，训练得到跳跃连接的卷积自动编码器模型；
23、将二次分类后的所述正常图像输入到所述自动编码器模型中，预测得到存在物理缺陷的所述正常图像所对应的在无物理缺陷状态下的完整pcb图像；
24、将所述完整pcb图像减去对应的所述正常图像，得到所述正常图像的缺陷形状和位置。
25、根据本公开的第二方面，提供一种基于机器视觉的pcb缺陷检测装置，包括：第一分类模块，用于基于预训练的分类模型，将待检pcb图像进行分类为缺陷图像和正常图像，所述缺陷图像的缺陷类型包括焦点缺陷、运动模糊、光线缺陷、噪声干扰中的一种或多种，所述待检pcb图像由工业相机于流水线上捕获得到；运算模块，用于分别对所述缺陷图像和所述正常图像的像素进行卷积运算，获取当前像素与其四个相邻像素在各个方向上的差异，以获取所述缺陷图像和所述正常图像的超过范围的缺陷区域与低于范围的正常区域的比例；第二分类模块，用于基于所述比例，对所述缺陷图像和所述正常图像二次分类，将所述比例大于第一阈值的所述缺陷图像分类为正常，将所述比例低于第二阈值的所述正常图像分类为缺陷，其中，所述第一阈值大于所述第二阈值；缺陷识别模块，用于基于预训练的深度学习模型，对二次分类的所述正常图像进行pcb缺陷识别。
26、根据本公开的第三方面，提供一种基于机器视觉的pcb缺陷检测设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器实现如上述的基于机器视觉的pcb缺陷检测方法；
27、根据本公开的第四方面，提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上述的基于机器视觉的pcb缺陷检测方法。
28、本公开的技术方案具有以下有益效果：
29、在基于分类模型对待检pcb图像进行图像正常与缺陷分类后，利用卷积运算获取图像的像素差异，进而结合分类模型的分类结果进而二次分类，确保了正常图像和缺陷图像能被正确地分类出，本文档来自技高网...
【技术保护点】
1.一种基于机器视觉的PCB缺陷检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种基于机器视觉的PCB缺陷检测方法，其特征在于，所述基于预训练的分类模型，将待检PCB图像进行分类为缺陷图像和正常图像，包括：
3.根据权利要求2所述的一种基于机器视觉的PCB缺陷检测方法，其特征在于，在输入所述样本图像集以训练所述分类模型时，对样本图像进行多尺度的裁切和缩放，以及样本图像及其多模态数据进行结合。
4.根据权利要求1所述的一种基于机器视觉的PCB缺陷检测方法，其特征在于，在对所述缺陷图像和所述正常图像的像素进行卷积运算时，包括：
5.根据权利要求4所述的一种基于机器视觉的PCB缺陷检测方法，其特征在于，在对所述缺陷图像和所述正常图像的像素进行卷积运算后，还包括获取当前像素与其四个相邻像素在各个方向上的差异，以获取所述缺陷图像和所述正常图像的超过范围的缺陷区域与低于范围的正常区域的比例，具体包括：
6.根据权利要求1所述的一种基于机器视觉的PCB缺陷检测方法，其特征在于，所述基于预训练的深度学习模型，对二次分类的
7.一种基于机器视觉的PCB缺陷检测装置，其特征在于，包括：
8.一种基于机器视觉的PCB缺陷检测设备，其特征在于，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的基于机器视觉的PCB缺陷检测方法。
...【技术特征摘要】
1.一种基于机器视觉的pcb缺陷检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种基于机器视觉的pcb缺陷检测方法，其特征在于，所述基于预训练的分类模型，将待检pcb图像进行分类为缺陷图像和正常图像，包括：
3.根据权利要求2所述的一种基于机器视觉的pcb缺陷检测方法，其特征在于，在输入所述样本图像集以训练所述分类模型时，对样本图像进行多尺度的裁切和缩放，以及样本图像及其多模态数据进行结合。
4.根据权利要求1所述的一种基于机器视觉的pcb缺陷检测方法，其特征在于，在对所述缺陷图像和所述正常图像的像素进行卷积运算时，包括：
5.根据权利要求4所述的一种基于机器视觉的pcb缺陷检测方法，其特征在于，在对所述缺陷图像和所述正常图像的像素进行卷积运算后...
【专利技术属性】
技术研发人员：吴亚亮，施杰明，陈远康，钟小妮，
申请(专利权)人：蓝亚深圳信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。