基于图像识别的焊点类型检测和装置制造方法及图纸

本发明专利技术公开了一种基于图像识别的焊点类型检测方法和装置，涉及自动光学检测技术领域。其中，该方法包括：基于获取到的至少两种类型的焊点的焊锡图像建立训练样本集；基于训练样本集中的训练样本对预先构建的卷积神经网络进行训练；将待识别的焊锡图像输入到训练完成的所述卷积神经网络中，对焊锡图像中的焊点的类型进行识别。本发明专利技术的技术方案，通过卷积神经网络识别焊锡图像，解决了传统焊锡缺陷检测方法所存在的制版麻烦、精准度低及稳定性差等问题，通过将焊锡图像输入至训练完成的卷积神经网络模型中，即可简单快速地对焊点类型进行识别，以实现焊锡缺陷地精准检测。

【技术实现步骤摘要】

本专利技术实施例涉及自动光学检测
，尤其涉及一种基于图像识别的焊点类型检测和装置。
技术介绍
自动光学检测(AutomaticOpticInspection，AOI)是工业制作过程的必要环节，其检测原理是利用光学方式取得成品的表面状态，以影像处理来检测异物或表面瑕疵。而电路板卡焊锡面焊点的焊锡缺陷检测是电路板卡缺陷检测领域中一项重要的应用。机器通过摄像头拍摄电路板卡图像，其中，电路板卡图像由三色光进行照明，获得焊锡的立体信息。然后提取焊点的局部图像，并通过图像处理技术，判断焊点是否有连锡、少锡、多锡等缺陷，最后将疑似缺陷的焊点显示或标记出来，方便查看与检修。在传统的AOI系统中，焊锡缺陷检测方法主要是通过对采集到的焊点图像颜色信息进行特征提取，例如，提取焊点图像中红色、蓝色、绿色颜色的占比，然后通过阈值判别或BP神经网络进行焊点焊锡缺陷的检测。但是，在实际应用过程中，该方法存在制版麻烦、精准度低及稳定性差等问题。
技术实现思路
本专利技术提供一种基于图像识别的焊点类型检测方法和装置，以快速准确地检测焊锡缺陷。第一方面，本专利技术实施例提供了一种基于图像识别的焊点类型检测方法，该方法包括：基于获取到的至少两种类型的焊点的焊锡图像建立训练样本集；基于训练样本集中的训练样本对预先构建的卷积神经网络进行训练；将待识别的焊锡图像输入到训练完成的所述卷积神经网络中，对焊锡图像中的焊点的类型进行识别。第二方面，本专利技术实施例还提供了一种基于图像识别的焊点类型检测装置，该装置包括：训练样本集建立模块，用于基于获取到的至少两种类型的焊点的焊锡图像建立训练样本集；卷积神经网络训练模块，用于基于训练样本集中的训练样本对预先构建的卷积神经网络进行训练；焊点类型识别模块，用于将待识别的焊锡图像输入到训练完成的所述卷积神经网络中，对焊锡图像中的焊点的类型进行识别。本专利技术实施例所提供的技术方案，首先构建了一个卷积神经网络，该卷积神经网络输入的为焊锡图像，输出的为焊点的类型，选取至少两种类型的焊点的焊锡图像对预先构建的卷积神经网络进行训练，进而将待识别的焊锡图像输入至训练完成的卷积神经网络，识别焊点的类型，解决了传统焊锡缺陷检测方法所存在的制版麻烦、精准度低及稳定性差等问题，通过将焊锡图像输入至训练好的卷积神经网络模型中，即可简单快速地对焊点类型进行识别，以实现焊锡缺陷地精准检测。附图说明图1A为本专利技术实施例一所提供的一种基于图像识别的焊点类型检测方法的流程图；图1B为本专利技术实施例一所提供的一种焊点类型为正常的焊锡图像示意图；图1C为本专利技术实施例一所提供的一种焊点类型为少锡的焊锡图像示意图；图1D为本专利技术实施例一所提供的一种焊点类型为连锡的焊锡图像示意图；图1E为本专利技术实施例一所提供的一种焊点类型为多锡的焊锡图像示意图；图2A为本专利技术实施例二所提供的一种基于图像识别的焊点类型检测方法的流程图；图2B为本专利技术实施例二的基于图像识别的焊点类型检测方法训练阶段的流程示意图；图2C为本专利技术实施例二所适用的一种卷积神经网络的结构示意图；图2D为本专利技术实施例二的基于图像识别的焊点类型检测方法实施阶段的流程示意图；图3为本专利技术实施例三所提供的一种基于图像识别的焊点类型检测装置的结构框图。具体实施方式为了使本专利技术的目的、技术方案和优点更加清楚，下面结合附图对本专利技术具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。实施例一图1A为本专利技术实施例一提供的一种基于图像识别的焊点类型检测方法的流程图，本实施例可适用于对焊锡缺陷的检测，该方法可以由基于图像识别的焊点类型检测装置来执行，具体包括如下步骤：S110、基于获取到的至少两种类型的焊点的焊锡图像建立训练样本集。其中，至少两种类型的焊点可包括两种类型的焊点，例如可将焊点分为正常和不正常两种类型；当然也可包括两种以上的焊点的类型，如图1B-1E所示，可将焊点的类型进行更加细致地划分，如可分为正常(图1B)、少锡(图1C)、连锡(图1D)和/或多锡(图1E)等类型。可以理解的是，正常的焊点类型可以是符合要求的类型，例如，焊点的形状或者焊点焊锡用量在预设的误差范围内。在基于获取到的至少两种类型的焊点的焊锡图像建立训练样本集之前，还包括：获取至少两种类型的焊点的焊锡图像。具体地，通过人工标注的方法得到焊锡图像的焊点的类型信息；进而基于所述焊点的类型信息获取标注过的获取到的至少两种类型的焊点的焊锡图像。其中，可以根据焊点的类型信息确定焊锡是否存在缺陷，进一步地，还可以确定焊锡缺陷的类别信息。一般地，为了使得焊点类型的检测准确性更高，需要大量的训练样本。在本实施例中，训练样本集中的焊锡图像可以是获取到的大量的原始的焊锡图像；也可以是将原始的焊锡图像进行数据扩展后生成新的焊锡图像，进而将原始的焊锡图像和扩展后的焊锡图像均作为训练样本集中的训练样本，进一步增加样本的数量。S120、基于训练样本集中的训练样本对预先构建的卷积神经网络进行训练。卷积神经网络是人工神经网络中的一种，可用于图像识别领域。卷积神经网络以输入、输出的重构误差为能量函数，通过前向、后向传播过程优化调整网络的联结权值，使能量函数达到最小。其中，前向传播过程采用权值共享方法减少训练的权值个数，降低复杂度与参数个数；后向传播过程以标签值和预测值误差最小为代价函数，进行权值微调。在本实施例中，为了能够同时捕捉到低层的特征信息和高层抽象的特征信息，卷积神经网络在结构上可以包括至少两个并联分支的子网络。具体可以是卷积神经网络以包括两个、三个以及更多个并联分支的子网络。可以理解的是，卷积神经网络具体的子网络的数量，可以在实际应用过程中，结合焊点的类型以及焊锡图像的特征等进行设定，在此不做限定。考虑到卷积神经网络所占用的内存及识别效率等问题，卷积神经网络的结构可以在满足需求的基础上尽可能地简单化。例如，卷积神经网络可以包括并联的第一子网络和第二子网络。考虑到卷积网络的构建与训练的便利性，可选地，训练样本集中的训练样本(焊锡图像)在输入卷积神经网络之前，可预先调整为同一大小的RGB图像。S130、将待识别的焊锡图像输入到训练完成的所述卷积神经网络中，对焊锡图像中的焊点的类型进行识别。如前所述，在确定了原始的卷积神经网络的网络结构之后，通过使用大量的训练样本对该原始卷积神经网络进行训练，即可得到所述焊点类型的识别模型。只需将待识别的焊锡图像输入到训练完成的卷积神经网络中，即可完成对焊锡图像中的焊点的类型的识别。本实施例的技术方案，首先构建了一个卷积神经网络，该卷积神经网络输入的为焊锡图像，输出的为焊点的类型，选取至少两种类型的焊点的焊锡图像对预先构建的卷积神经网络进行训练，进本文档来自技高网...

【技术保护点】
一种基于图像识别的焊点类型检测方法，其特征在于，包括：基于获取到的至少两种类型的焊点的焊锡图像建立训练样本集；基于训练样本集中的训练样本对预先构建的卷积神经网络进行训练；将待识别的焊锡图像输入到训练完成的所述卷积神经网络中，对焊锡图像中的焊点的类型进行识别。

【技术特征摘要】
1.一种基于图像识别的焊点类型检测方法，其特征在于，包括：基于获取到的至少两种类型的焊点的焊锡图像建立训练样本集；基于训练样本集中的训练样本对预先构建的卷积神经网络进行训练；将待识别的焊锡图像输入到训练完成的所述卷积神经网络中，对焊锡图像中的焊点的类型进行识别。2.根据权利要求1所述的方法，其特征在于，所述基于获取到的至少两种类型的焊锡图像建立训练样本集，包括：对获取到的至少两种类型的焊点原始的焊锡图像进行数据扩展；基于原始的焊锡图像以及数据扩展后的焊锡图像建立训练样本集。3.根据权利要求2所述的方法，其特征在于，所述对获取到的至少两种类型的焊点原始的焊锡图像进行数据扩展，包括下述中的至少一项：对获取到的至少两种类型的焊点原始的焊锡图像依照预设角度旋转；对获取到的至少两种类型的焊点原始的焊锡图像进行随机裁剪；对获取到的至少两种类型的焊点原始的焊锡图像进行伽马Gamma变换。4.根据权利要求1-3任一所述的方法，其特征在于，所述基于训练样本集中的训练样本对预先构建的卷积神经网络进行训练之前,包括：构建包括并联的第一子网络和第二子网络的卷积神经网络，其中，所述第一子网络所包括的层级的数量大于所述第二子网络所包含的层级的数量。5.根据权利要求4所述的方法，其特征在于，所述构建包括并联的第一子网络和第二子网络的卷积神经网络包括：构建包括一个卷积层、一个非线性激活函数层和一个池化层的第二子网络，以及包括至少两个卷积层和至少两个非线性激活函数层的第一子网络；并联所述第一子网...

【专利技术属性】
技术研发人员：林建民，
申请(专利权)人：广州视源电子科技股份有限公司，
类型：发明
国别省市：广东;44