一种基于卷积神经网络的焊点检测方法技术

本发明专利技术公开了一种基于卷积神经网络模型的焊点检测方法，首先采集PCB焊点数据集并对数据进行预处理，然后对数据进行标注、保存；然后基于计算机视觉，建立神经网络模型；最后利用焊点数据训练集对建立的神经网络模型进行训练，并使用焊点数据测试集对建立的模型进行测试。本发明专利技术方法改进了YOLOv3网络结构，通过5个不同尺度的特征检测层来检测焊点目标，提高了目标检测网络对小尺度目标的检测效果；卷积神经网络的损失函数由四部分组成，通过使用多损失函数进行约束可以在不同方面对结果进行优化，保证模型具有很高的精度；改进后的卷积神经网络模型在保证准确率的同时，能够达到实时检测，满足工厂实际生产需求。满足工厂实际生产需求。满足工厂实际生产需求。

【技术实现步骤摘要】
一种基于卷积神经网络的焊点检测方法


[0001]本专利技术涉及计算机视觉领域，具体涉及一种基于卷积神经网络的焊点检测方法。

技术介绍

[0002]近年来，人们对网络的需求快速增长，互联网流量快速增长，从而也大大拉动了电子制造产业需求的增长，让电子制造产业成为当今世界最重要的战略性产业之一。在互联网时代，电子产品不仅应用于计算器、移动电话以及电脑等产品，在人工智能设备、大型工业设备、汽车以及航空设备等产品上也应用广泛。电子制造业是体现一个国家的生产力水平的重要要素，也是区分发展中国家和发达国家的重要因素。我国的电子制造业规模在近年来一直呈平稳增长的态势，电子制造业已然成为了国民经济的重要支柱产业。
[0003]表面组装技术(Surface Mounted Technology,SMT)是电子制造组装行业里最流行的一种技术和工艺。SMT技术可以实现对一些印刷电路板(Printed Circuit Board,PCB)“自动化、高科技”加工。在近十年来，SMT技术在中国已经浸透到各个行业，各个领域，发展神速，应用范围十分广泛。虽然SMT技术有其自身的特点和优势，但是在电子制造组装业中除了有标准的元器件外，还有很多的非标准元器件，由于它们的结构外型特殊，导致很难实现全自动焊接。
[0004]尽管目前现代化企业已经普遍使用自动插装、自动焊接的生产工艺，但对一些非标元器件目前还采用手工焊接的方法,所以目前还没有任何一种焊接方法可以完全取代手工焊接。手工焊接这种传统的基于人工焊接的方式，不仅生产效率低，劳动强度大，而且对工人经验要求高，易受情绪影响等，因此人工焊接无法保证产品交付时间以及产品质量。
[0005]当PCB板焊接完成后，需要对其进行故障检测，而进行故障检测的重要前提就是对于待检测焊点的精确识别。传统方法主要是目测法，但其易受主观因素影响、不稳定、速度慢以及效率低下，容易影响产品的市场竞争力。为了助力实现自动焊接，可以使用计算机视觉等技术自动识别焊点位置。

技术实现思路

[0006]本专利技术为了精准识别PCB上的焊点并定位其位置，提出了一种基于卷积神经网络的焊点检测方法。
[0007]为了实现这一目的，本专利技术的技术方案，包括以下步骤：
[0008]步骤1、采集PCB焊点数据集并对数据进行预处理，然后对数据进行标注、保存。
[0009]步骤2、基于计算机视觉，建立卷积神经网络模型。
[0010]步骤3、利用焊点数据训练集对建立的卷积神经网络模型进行训练，并使用焊点数据测试集对建立的模型进行测试。
[0011]上述步骤1中，采集焊点数据集并对数据进行预处理、标注以及保存，具体实施步骤如下：
[0012]1‑
1.数据采集，首先，利用AOI自动光学检测设备对PCB印制电路板进行原始图像
采集。对每一块PCB电路板，相机拍摄多个局部视场，再通过图像拼接的方法拼接成一张完整的图像。
[0013]1‑
2.数据预处理，由于原始图像尺寸太大，而焊点太小，所以为了保证能够精确检测定位到焊点位置，将图像统一分割成416
×
416大小。
[0014]1‑
3.数据标注，由于训练卷积神经网络模型训练需要大量图片数据，将预处理后的图像使用标注工具LabelImg进行人工标注，使用其矩形框标注出图像焊点目标。
[0015]1‑
4.数据保存。在使用LabelImg标注工具标注后，将生成一个.xml文件，其中保存的关键信息有目标名name，目标框的坐标xmin,xmax,ymin,ymax。标注完的数据格式按照VOC数据格式存储，一张图像对应一个标签文件，图像保存格式为.jpg，标签文件保存格式为.xml。
[0016]所述步骤2中基于计算机视觉，建立卷积神经网络模型，具体实现如下：
[0017]使用卷积神经网络模型作为焊点检测模型进行焊点的检测和定位。针对焊点检测这种小尺度目标检测，该模型在现有YOLOv3的基础上进行了多尺度检测的改进，并使用了基于残差神经网络改进的Darknet53网络作为特征提取器，使得改进后的卷积神经网络模型能够更好的检测小目标。
[0018]所述的步骤3利用焊点数据集对所述的卷积神经网络模型进行训练的过程包括如下步骤：
[0019]3‑
1.划分数据集。将采集到的数据集按照7：3的比例划分成训练集和测试集。
[0020]3‑
2.网络输入和数据增强。由于在卷积神经网络模型中有5次下采样过程，即25＝32，因此网络输入图像应该是32的倍数。将训练集每幅图像分割为13
×
13个单元格。因为13
×
32＝416，因此最后要求输入图像尺寸为416
×
416。
[0021]对有限的训练集进行数据增强，所述的数据增强包括对训练集图片进行水平翻转、垂直翻转、随机旋转、色彩抖动。
[0022]3‑
3.网络结构。所述的卷积神经网络模型的骨干网络(backbone)采用了Darknet53的网络结构，将整个卷积神经网络模型的特征层分为5个尺度，这5个尺度生产的特征图像尺寸分别为13
×
13、26
×
26、52
×
52、104
×
104、208
×
208。所述的卷积神经网络模型使用这5个不同尺度的特征图像能够更好的与小尺度目标进行局部特征交互。
[0023]3‑
4.网络输出。训练集上使用了K
‑
means聚类方法获取了15个锚框(anchor boxes)，输出时将选取一个与真值(ground truth)的IOU最大的锚框作为预测框。针对一个输入图像，所述的卷积神经网络模型会将其映射到5个不同尺度的输出张量，代表图像各个位置存在目标的概率。对于一个416
×
416的输入图像，每一个预测是一个4+1+1＝6维向量，这个6维向量分别包含一个预测边界框坐标(c
x
,c
y
,p
w
,p
h
)、边框置信度以及目标类别的概率，其中c
x
,c
y
是预测边界框在特征图像上的中心坐标，p
w
,p
h
是预测边界框在特征图上的宽和高。当边框置信度高于0.3则会被判定为一个疑似目标，当两个预测框的交并比大于设定阈值时，则认为两个预测框标注的是同一个目标，此时通过非极大值抑制(Non
‑
Maximum Suppression,NMS)方法来选中置信度最高的预测框作为最后的结果，输出其坐标信息和类别信息。
[0024]3‑
5.损失函数。损失函数由四个部分组成，为loss
all
＝loss
xy
+loss
box
×
loss...

【技术保护点】

【技术特征摘要】
1.一种基于卷积神经网络的焊点检测方法，其特征在于，步骤如下：步骤1、采集PCB焊点数据集并对数据进行预处理，然后对数据进行标注、保存；步骤2、基于计算机视觉，建立卷积神经网络模型；步骤3、利用焊点数据训练集对建立的卷积神经网络模型进行训练，并使用焊点数据测试集对建立的模型进行测试。2.根据权利要求1所述的一种基于卷积神经网络的焊点检测方法，其特征在于，步骤1具体实施步骤如下：1
‑
1.数据采集，首先，利用AOI自动光学检测设备对PCB印制电路板进行原始图像采集；对每一块PCB电路板，相机拍摄多个局部视场，再通过图像拼接的方法拼接成一张完整的图像；1
‑
2.数据预处理，由于原始图像尺寸太大，而焊点太小，所以为了保证能够精确检测定位到焊点位置，将图像统一分割成416
×
416大小；1
‑
3.数据标注，由于训练卷积神经网络模型训练需要大量图片数据，将预处理后的图像使用标注工具LabelImg进行人工标注，使用其矩形框标注出图像焊点目标；1
‑
4.数据保存；在使用LabelImg标注工具标注后，将生成一个.xml文件，其中保存的关键信息有目标名name，目标框的坐标xmin,xmax,ymin,ymax；标注完的数据格式按照VOC数据格式存储，一张图像对应一个标签文件，图像保存格式为.jpg，标签文件保存格式为.xml。3.根据权利要求2所述的一种基于卷积神经网络的焊点检测方法，其特征在于，所述步骤2具体实现如下：使用卷积神经网络模型作为焊点检测模型进行焊点的检测和定位；针对焊点检测这种小尺度目标检测，该模型在现有YOLOv3的基础上进行了多尺度检测的改进，并使用了基于残差神经网络改进的Darknet53网络作为特征提取器，使得卷积神经网络模型能够更好的检测小目标。4.根据权利要求3所述的一种基于卷积神经网络的焊点检测方法，其特征在于，所述的步骤3具体步骤如下：3
‑
1.划分数据集；将采集到的数据集按照7：3的比例划分成训练集和测试集；3
‑
2.网络输入和数据增强；由于在卷积神经网络模型中有5次下采样过程，即25＝32，因此网络输入图像应该是32的倍数；将训练集每幅图像分割为13
×
13个单元格；因为13
×
32＝416，因此最后要求输入图像尺寸为416
×
416；对有限的训练集进行数据增强，所述的数据增强包括对训练集图片进行水平翻转、垂直翻转、随机旋转、色彩抖动；3
‑
3.网络结构；所述的卷积神经网络模型的骨干网络(backbone)采用了Darknet53的网络结构用来提取输入图像的特征；将整个卷积神经网络模型的特征层分为5个尺度，这5个尺度生产的特征图像尺寸分别为13
×
13、26
×
26、52
×
52、104
×
104、208
×
208；改进后的YOLOv3使用这5个不同尺度的特征图像能够更好的与小尺度目标进行局部特征交互；3
‑
4.网络输出；训练集上使用了K
‑
means聚类方法获取了15个锚框，输出时将选取一个与真值的IOU最大的锚框作为预测框；针对一个输入图像，卷积神经网络模型会将其映射到5个不同尺度的输出张量，代表图像各个位置存在目标的概率；对于一个416
×
416的输入图
像，每一个预测是一个4+1+1＝6维向量，这个6维向量分别...

【专利技术属性】
技术研发人员：张桦，黄金来，杨铭凯，徐宏，吴以凡，戴国骏，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：