基于深度学习的焊点外观质量检测方法、装置及终端制造方法及图纸

本发明专利技术提供了一种深度学习的焊点外观质量检测方法、装置及终端，该方法包括：获取目标焊点的三维点云图；将目标焊点的三维点云图进行处理，得到目标焊点所对应的多张连续的二维图像；将目标焊点所对应的多张连续的二维图像输入预设置的基于三维卷积神经网络的检测模型中；通过检测模型对目标焊点所对应的多张连续的二维图像进行检测，检测结果为目标焊点合格或不合格。本发明专利技术能够精准、快速的判断焊点是否合格。是否合格。是否合格。

【技术实现步骤摘要】
基于深度学习的焊点外观质量检测方法、装置及终端


[0001]本专利技术属于图像识别
，尤其涉及一种基于深度学习的焊点外观质量检测方法、装置及终端。

技术介绍

[0002]随着工业生产技术水平的提高和电子产业的快速发展，电路板上的电子元件变得越来越精细。在一块电路板上，任何一个电子元件焊点的缺陷都有可能会导致整个电子设备出现异常。
[0003]因此，电子元件焊点的可靠性对整个电子产品而言非常重要。焊接结束后为保证焊接质量，要进行质量检查，由于焊接检查与其它生产工序不同，没有一种机械化、自动化的检查测量方法，因此主要是通过目视检查发现问题。随着微电子技术的不断发展，电子元件微小化、细密化的发展趋势，给焊点的质量检测提出了更高要求，传统的人工检查方法已经难以满足实际生产的需求。
[0004]如何提高焊点质量的检测速率和检测准确性，是急需解决的问题。

技术实现思路

[0005]有鉴于此，本专利技术提供了一种基于深度学习的焊点外观质量检测方法、装置及终端，能够提高电路板焊点外观质量的检测速率和准确性。
[0006]本专利技术实施例的第一方面提供了一种基于深度学习的焊点外观质量检测方法，包括：
[0007]获取目标焊点的三维点云图；
[0008]将所述目标焊点的三维点云图进行处理，得到所述目标焊点所对应的多张连续的二维图像；
[0009]将所述目标焊点所对应的多张连续的二维图像输入预设置的基于三维卷积神经网络的检测模型中；
[0010]通过所述检测模型对所述目标焊点所对应的多张连续的二维图像进行检测，检测结果为所述目标焊点合格或不合格。
[0011]在一种可能的实现方式中，所述获取包含目标焊点的三维点云图包括：
[0012]将激光器按照预设角度投射到电路板上，其中，所述电路板包含所述目标焊点；
[0013]保持所述激光器不动，匀速移动所述电路板，得到所述电路板的激光扫描图像；
[0014]通过由双棱镜和摄像机组成的摄像系统获取所述电路板的立体图像；
[0015]根据所述电路板的激光扫描图像和立体图像，获取所述电路板的三维点云图，所述电路板的三维点云图中包含所述目标焊点的三维点云图。
[0016]在一种可能的实现方式中，所述获取所述电路板的立体图像包括：
[0017]对所述摄像系统中的摄像机进行标定，获取所述摄像机的内部参数和外部参数，得到所述电路板的左图像和右图像；
[0018]对所述左图像和右图像进行立体校正；
[0019]所述根据所述电路板的激光扫描图像和立体图像，获取所述电路板的三维点云图包括：
[0020]将校正后的左图像和右图像与所述电路板的激光扫描图像进行匹配，得到对应的匹配点对；
[0021]采用区域立体匹配SSD算法得到视差图，计算得到三维数据，生成所述电路板的三维点云图。
[0022]在一种可能的实现方式中，该方法还包括：
[0023]建立训练集，所述训练集中包含多个图组，每个图组包含一个焊点所对应的多张连续的二维图像，根据训练集中每个焊点的三维点云图中的三维数据，将符合预设条件的焊点设置为合格焊点，将不符合预设条件的焊点设置为不合格焊点；
[0024]构建三维卷积神经网络模型，对所述训练集进行深度学习；
[0025]得到所述检测模型。
[0026]在一种可能的实现方式中，所述根据训练集中每个焊点的三维点云图中的三维数据，将符合预设条件的焊点设置为合格焊点，将不符合预设条件的焊点设置为不合格焊点包括：
[0027]若所述焊点的焊料连接面形状为预设形状，所述焊料的焊接带宽度与所述焊点对应的电子元件的宽度的比例大于等于第一预设值，所述焊料的焊接带高度与所述焊点对应的电子元件的高度的比例大于等于第二预设值，则判断所述焊点为合格焊点，否则为不合格焊点。
[0028]在一种可能的实现方式中，所述检测模型包括五层网络，第一层网络包括硬线层，第二层网络包括三维卷积层和最大池化层，第三层网络包括三维卷积层和最大池化层，第四层网络为二维卷积层，第五层网络为输出层。
[0029]在一种可能的实现方式中，所述通过所述检测模型对所述目标焊点所对应的多张连续的二维图像进行检测包括：
[0030]以所述目标焊点所对应的多张连续的二维图像作为输入，通过硬线层提取包括灰度、横坐标梯度、纵坐标梯度、x光流、y光流在内的五个通道的特征；
[0031]通过第二层网络对所述五个通道的特征进行第一次进行卷积操作和降采样操作；
[0032]通过第三层网络对所述硬线层的五个通道的特征进行第二次进行卷积操作和降采样操作；
[0033]通过所述二维卷积层和所述输出层获取对所述目标焊点所对应的多张连续的二维图像的检测结果。
[0034]本专利技术实施例的第二方面提供了一种基于深度学习的焊点外观质量检测装置，包括：目标焊点三维点云图获取模块，三维点云图处理模块和检测模块；
[0035]所述目标焊点三维点云图获取模块，用于获取目标焊点的三维点云图；
[0036]所述三维点云图处理模块，用于将所述目标焊点的三维点云图进行处理，得到所述目标焊点所对应的多张连续的二维图像；
[0037]所述检测模块，用于将所述目标焊点所对应的多张连续的二维图像输入预设置的基于三维卷积神经网络的检测模型中；通过所述检测模型对所述目标焊点所对应的多张连
续的二维图像进行检测，检测结果为所述目标焊点合格或不合格。
[0038]第三方面，本专利技术实施例提供了一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。
[0039]第四方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。
[0040]本专利技术实施例提供一种基于深度学习的焊点外观质量检测方法、装置及终端，通过目标焊点的三维点云图对应的多张连续的二维图像，和预设置的基于三维卷积神经网络的检测模型，判断焊点是否合格，提高了焊点检测的效率和准确性。
附图说明
[0041]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0042]图1是本专利技术实施例提供的一种基于深度学习的焊点外观质量检测方法的实现流程图；
[0043]图2是本专利技术实施例提供的一种获取目标焊点的三维点云图的装置的示意图；
[0044]图3是本专利技术实施例提供的另一种基于深度学习的焊点外观质量检测方法的实现流程图；
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的焊点外观质量检测方法，其特征在于，包括：获取目标焊点的三维点云图；将所述目标焊点的三维点云图进行处理，得到所述目标焊点所对应的多张连续的二维图像；将所述目标焊点所对应的多张连续的二维图像输入预设置的基于三维卷积神经网络的检测模型中；通过所述检测模型对所述目标焊点所对应的多张连续的二维图像进行检测，检测结果为所述目标焊点合格或不合格。2.根据权利要求1所述的方法，其特征在于，所述获取包含目标焊点的三维点云图包括：将激光器按照预设角度投射到电路板上，其中，所述电路板包含所述目标焊点；保持所述激光器不动，匀速移动所述电路板，得到所述电路板的激光扫描图像；通过由双棱镜和摄像机组成的摄像系统获取所述电路板的立体图像；根据所述电路板的激光扫描图像和立体图像，获取所述电路板的三维点云图，所述电路板的三维点云图中包含所述目标焊点的三维点云图。3.根据权利要求2所述的方法，其特征在于，所述获取所述电路板的立体图像包括：对所述摄像系统中的摄像机进行标定，获取所述摄像机的内部参数和外部参数，得到所述电路板的左图像和右图像；对所述左图像和右图像进行立体校正；所述根据所述电路板的激光扫描图像和立体图像，获取所述电路板的三维点云图包括：将校正后的左图像和右图像与所述电路板的激光扫描图像进行匹配，得到对应的匹配点对；采用区域立体匹配SSD算法得到视差图，计算得到三维数据，生成所述电路板的三维点云图。4.根据权利要求1所述的方法，其特征在于，该方法还包括：建立训练集，所述训练集中包含多个图组，每个图组包含一个焊点所对应的多张连续的二维图像，根据训练集中每个焊点的三维点云图中的三维数据，将符合预设条件的焊点设置为合格焊点，将不符合预设条件的焊点设置为不合格焊点；构建三维卷积神经网络模型，对所述训练集进行深度学习，得到所述检测模型。5.根据权利要求4所述的方法，其特征在于，所述根据训练集中每个焊点的三维点云图中的三维数据，将符合预设条件的焊点设置为合格焊点，将不符合预设条件的焊点设置为不合格焊点包括：若所述焊点的焊料连接面形状为预设形状...

【专利技术属性】
技术研发人员：梁志敏，申飞，高旭，汪殿龙，王立伟，徐达，计红军，
申请(专利权)人：河北科技大学，
类型：发明
国别省市：