一种焊点缺陷检测方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术实施例公开了一种焊点缺陷检测方法、装置、设备及计算机可读存储介质。其中，方法包括对PCB的IC元件的引脚图像的三色通道利用无约束优化的二维经验模式分解，得到多通道图像；将多通道图像输入至缺陷分类模型，得到初始引脚图像的标签类型，以检测IC元件的引脚是否有缺陷；标签类型包括正样本和负样本两类标签；其中，缺陷分类模型为维度为2的全连接层作为倒数第二层，softmax层作为最后一层的深度神经网络分类模型，通过训练正样本多于负样本且正负样本比例超过预设比例阈值的训练样本集所得，训练样板集中的正样本为没有缺陷的IC引脚图像，负样本为有缺陷的IC引脚图像。本申请提高了IC引脚缺陷检测的准确度，满足了分类精度的现实需求。

【技术实现步骤摘要】
一种焊点缺陷检测方法、装置、设备及可读存储介质
本专利技术实施例涉及激光焊接检测
，特别是涉及一种焊点缺陷检测方法、装置、设备及计算机可读存储介质。
技术介绍
随着我国航空、航天、能源和船舶等重工业的发展，焊接技术已经成为制造业中必不可少的材料成型和加工技术之一。由于焊接工艺在加工过程中易受到来自外部环境等因素的影响，如焊接速度、焊接功率、保护气体流量、焊接环境以及工件表面状况等，焊件不可避免地会产生裂纹、未焊透、未熔合、气孔、凹坑、夹渣等焊接缺陷，而这些缺陷可能会造成灾难性事故。为了保证焊件的产品质量，必须及时有效地检测焊后工件表面及内部的缺陷。在实际生产过程中，除了目测焊接表面缺陷与成型缺陷外，对于一些小于0.1mm焊缝缺陷，一般无法但靠目测进行有效识别。生活中处处离不开PCB(printedcircuitboard，印刷电路板)，例如手机、电脑、洗衣机等日常生活设备都设置有印刷电路板。针对印刷电路板的焊点检测，传统方法通常是利用人眼判别，随着科技的发展，产品朝着小型化、多样化发展，PCB的元器件尺寸异常的小，需要借助显微镜才能查看缺陷，且PCB元件数量巨大导致，利用人工判断焊点缺陷不仅消耗大量人工且效率低下，还易检测遗漏。所以基于机器视觉的印刷电路板焊点自动检测日益得到重视。现有技术中，大多采用分类器方法实现焊点自动检测，将几何特征，颜色特征，频域特征应用在基于机器视觉的自动光学检测(automaticopticalinspection，AOI)算法中。与分立元件不同的是，由于扁平封装IC引脚具有密度大，引脚爬锡部分面积小，特别是无铅焊锡表面粗糙且形状不一，使得对IC引脚检测难度更大。而且由于IC引脚生产特殊性导致其缺陷样本很少，直接使用分类器检测，样本数量较小不利于训练精度高的分类模型，无法满足现实工业要求。
技术实现思路
本专利技术实施例的目的是提供一种焊点缺陷检测方法、装置、设备及计算机可读存储介质，提高了IC引脚缺陷检测的准确度。为解决上述技术问题，本专利技术实施例提供以下技术方案：本专利技术实施例一方面提供了一种焊点缺陷检测方法，应用于PCB的IC元件的焊点检测，包括：获取待检测IC元件的初始引脚图像；对所述初始引脚图像的三色通道利用无约束优化的二维经验模式分解，得到多通道图像；将所述多通道图像输入至预先构建的缺陷分类模型，得到所述初始引脚图像的标签类型，以检测所述待检测IC元件的引脚是否有缺陷；所述标签类型包括正样本和负样本两类标签；其中，所述二维经验模式分解通过三棱锥堆叠形成薄块，通过各个三棱锥的重心趋于零平面特性构建求BIMF的优化问题，所述缺陷分类模型基于深度神经网络分类模型，并设置维度为2的全连接层作为倒数第二层并使用加权方式获得分类边界，softmax层作为最后一层，通过训练正样本多于负样本且正负样本比例超过预设比例阈值的训练样本集所得，所述训练样板集中的正样本为没有缺陷的IC引脚图像，负样本为有缺陷的IC引脚图像。可选的，所述对所述初始引脚图像的三色通道利用无约束优化的二维经验模式分解，得到多通道图像包括：利用形态学方法确定所述初始引脚图像中极值点集，并利用分水岭算法从所述极值点集剔除不满足预设条件的极值点，得到优化极值点集，以使其满足二维集合经验模式分解的零均值条件；将所述优化极值点集利用物理重心方法近似模态函数包络对称，得到局部均值分量。可选的，所述无约束优化的二维经验模式为：采用包含8个方向维度的卷积核滑动窗，并对所述卷积核滑动窗的对角填充值，以使其在各个方向上有平滑权重；对局部均值分量做差分运算，以获得局部均值目标函数；为BIMF目标函数添加二维局部均值分量约束构成优化问题，求解所述优化问题以获得BIMF分量和满足预设条件的二维局部均值分量。可选的，所述缺陷分类模型包括特征提取层、特征筛选层和softmax层；所述特征提取层包括两层，每层依次由二维卷积层、激活层和池化层构成；所述特征筛选层依次由第一丢弃层、降维层、维度为256的第一全连接层、第二丢弃层及二维的全连接层构成。可选的，所述二维卷积层的卷积核为3、步长为1且包括padding；所述激活层的激活函数为RELU；所述池化层为大小为2、步长为2的MaxPooling层；所述第一丢弃层概率为0.5。本专利技术实施例另一方面提供了一种焊点缺陷检测装置，应用于PCB的IC元件的焊点检测，包括：图像获取模块，用于获取待检测IC元件的初始引脚图像；图像分解模块，用于对所述初始引脚图像的三色通道利用无约束优化的二维经验模式分解，得到多通道图像；图像缺陷识别模块，用于将所述多通道图像输入至预先构建的缺陷分类模型，得到所述初始引脚图像的标签类型，以检测所述待检测IC元件的引脚是否有缺陷；所述标签类型包括正样本和负样本两类标签；其中，所述二维经验模式分解通过三棱锥堆叠形成薄块，通过各个三棱锥的重心趋于零平面特性构建求BIMF的优化问题，所述缺陷分类模型基于深度神经网络分类模型，并设置维度为2的全连接层作为倒数第二层并使用加权方式获得分类边界，softmax层作为最后一层，通过训练正样本多于负样本且正负样本比例超过预设比例阈值的训练样本集所得，所述训练样板集中的正样本为没有缺陷的IC引脚图像，负样本为有缺陷的IC引脚图像。可选的，所述图像分解模块包括：极值点优化子模块，用于利用形态学方法确定所述初始引脚图像中极值点集，并利用分水岭算法从所述极值点集剔除不满足预设条件的极值点，得到优化极值点集，以使其满足二维集合经验模式分解的零均值条件；局部均值分量获取子模块，用于将所述优化极值点集利用物理重心方法近似模态函数包络对称，得到局部均值分量。可选的，所述图像缺陷识别模块为缺陷分类模型包括特征提取层、特征筛选层和softmax层的模块；所述特征提取层包括两层，每层依次由二维卷积层、激活层和池化层构成；所述特征筛选层依次由第一丢弃层、降维层、维度为256的第一全连接层、第二丢弃层及二维的全连接层构成。本专利技术实施例还提供了一种焊点缺陷检测设备，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述焊点缺陷检测方法的步骤。本专利技术实施例最后还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有焊点缺陷检测程序，所述焊点缺陷检测程序被处理器执行时实现如前任一项所述焊点缺陷检测方法的步骤。本专利技术实施例提供了一种焊点缺陷检测方法，对PCB的IC元件的引脚图像的三色通道利用二维经验模式分解，得到多通道图像；将多通道图像输入至预先构建的缺陷分类模型，得到初始引脚图像的标签类型，以检测IC元件的引脚是否有缺陷；标签类型包括正样本和负样本两类标签；其中，缺陷分类模型基于深度神经网络分类模型，并设置维度为2的全连接层作为倒数第二层，softmax层作为最后一层，通过训练正样本多于负样本且正负样本比例超过预设比例阈值的训练样本集所得，训练样板集中的正样本为没有缺陷的IC引脚图像，负样本为有缺陷的IC引脚图像。本申请提供的技术方案的优点在于，将现有的深度神经网络分类模型的最后一层删掉后，增加维度为2的全连接层、softmax为缺陷分类模型的倒数第二层和最后一层，可将输出结果画到二维平面，实现二维可视化数据的分布，并通过加权方式获得其分类边界本文档来自技高网...

【技术保护点】
1.一种焊点缺陷检测方法，其特征在于，应用于PCB的IC元件的焊点检测，包括：获取待检测IC元件的初始引脚图像；对所述初始引脚图像的三色通道利用无约束优化的二维经验模式分解，得到多通道图像；将所述多通道图像输入至预先构建的缺陷分类模型，得到所述初始引脚图像的标签类型，以检测所述待检测IC元件的引脚是否有缺陷；所述标签类型包括正样本和负样本两类标签；其中，所述二维经验模式分解通过三棱锥堆叠形成薄块，通过各个三棱锥的重心趋于零平面特性构建求BIMF的优化问题，所述缺陷分类模型基于深度神经网络分类模型，并设置维度为2的全连接层作为倒数第二层并使用加权方式获得分类边界，softmax层作为最后一层，通过训练正样本多于负样本且正负样本比例超过预设比例阈值的训练样本集所得，所述训练样板集中的正样本为没有缺陷的IC引脚图像，负样本为有缺陷的IC引脚图像。

【技术特征摘要】
1.一种焊点缺陷检测方法，其特征在于，应用于PCB的IC元件的焊点检测，包括：获取待检测IC元件的初始引脚图像；对所述初始引脚图像的三色通道利用无约束优化的二维经验模式分解，得到多通道图像；将所述多通道图像输入至预先构建的缺陷分类模型，得到所述初始引脚图像的标签类型，以检测所述待检测IC元件的引脚是否有缺陷；所述标签类型包括正样本和负样本两类标签；其中，所述二维经验模式分解通过三棱锥堆叠形成薄块，通过各个三棱锥的重心趋于零平面特性构建求BIMF的优化问题，所述缺陷分类模型基于深度神经网络分类模型，并设置维度为2的全连接层作为倒数第二层并使用加权方式获得分类边界，softmax层作为最后一层，通过训练正样本多于负样本且正负样本比例超过预设比例阈值的训练样本集所得，所述训练样板集中的正样本为没有缺陷的IC引脚图像，负样本为有缺陷的IC引脚图像。2.根据权利要求1所述的焊点缺陷检测方法，其特征在于，所述对所述初始引脚图像的三色通道利用无约束优化的二维经验模式分解，得到多通道图像包括：利用形态学方法确定所述初始引脚图像中极值点集，并利用分水岭算法从所述极值点集剔除不满足预设条件的极值点，得到优化极值点集，以使其满足二维集合经验模式分解的零均值条件；将所述优化极值点集利用物理重心方法近似模态函数包络对称，得到局部均值分量。3.根据权利要求2所述的焊点缺陷检测方法，其特征在于，所述无约束优化的二维经验模式为：采用包含8个方向维度的卷积核滑动窗，并对所述卷积核滑动窗的对角填充值，以使其在各个方向上有平滑权重；对局部均值分量做差分运算，以获得局部均值目标函数；为BIMF目标函数添加二维局部均值分量约束构成优化问题，求解所述优化问题以获得BIMF分量和满足预设条件的二维局部均值分量。4.根据权利要求1至3任意一项所述的焊点缺陷检测方法，其特征在于，所述缺陷分类模型包括特征提取层、特征筛选层和softmax层；所述特征提取层包括两层，每层依次由二维卷积层、激活层和池化层构成；所述特征筛选层依次由第一丢弃层、降维层、维度为256的第一全连接层、第二丢弃层及二维的全连接层构成。5.根据权利要求4所述的焊点缺陷检测方法，其特征在于，所述二维卷积层的卷积核为3、步长为1且包括padding；所述激活层的...

【专利技术属性】
技术研发人员：蔡念，王晶，陈芝涛，黄柯敏，彭红霞，陈新度，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东,44