电路板电子元件检测方法、装置及计算机设备制造方法及图纸

本发明专利技术公开了一种电路板电子元件检测方法、装置及计算机设备，该方法采用基于Swin

【技术实现步骤摘要】
电路板电子元件检测方法、装置及计算机设备


[0001]本专利技术涉及计算机视觉检测
，尤其涉及一种电路板电子元件检测方法、装置及计算机设备。

技术介绍

[0002]电路板是控制电子设备运行的中枢，几乎所有的电子设备，如电脑及相关产品、通讯设备、消费电子类设备等的运行都离不开电子电路板的控制，因此对电子电路板板生产制造过程中的质量监控非常重要。在电路板完成电子元件插件后需要对其进行检测，判断各电子元件，如电阻、电容、二极管等，是否存在插错、极性插反、破损、元件弯角等缺陷。目前主要的检测技术通常需要先做制程，将CCD相机拍摄的图像中的电子元件以手动的方式标识出来，然后再将标识好的电子元件从整个电路板板的图像中截取出来，与标准模板库中的电子元件图片进行比对,从而检测出电子元件在插件时是否产生缺陷。然而，以手工方式做制程，大大降低了检测效率，并且这种方式不适合在线式检测，只适合离线式检测。采用基于深度学习目标检测的方法，可以自动对电路板上的电子元件进行自动分类识别，并且直接输出元件在原图像上的位置和大小。利用上述信息，可自动分割出电子元件，从而大大提高了检测效率。相对于传统的图像处理算法，采用基于深度学习的目标检测方法不需要进行滤波、二值化、边缘检测、腐蚀、膨胀等技术和设置各种处理参数，对于背景复杂的图像，也能以较高的准确率识别图像中的目标。
[0003]目前，目标检测算法可分为两大类：一类是基于区域提名的深度学习检测算法。它们首先使用Edge Boxes(Locating Object Proposals from Edges)、选择性搜索（SelectiveSearch）等算法生成一系列候选目标区域，然后使用深度神经网络对目标候选区域进行特征提取，最后利用提取的特征进行目标分类以及目标真实位置和边框长宽的回归，这类算法的典型代表有R
‑
CNN、SPP
‑
NET、Fast RCNN等。另一类是基于回归的目标检测算法，这类方法直接在原始图像的多个位置进行回归运算，推测出目标边框的边界以及框内的物体类别，代表有SSD（Single Shot Detection）和YOLO系列的相关算法。
[0004]最近，一些研究学者将Transformer网络结构模型引入到计算机视觉领域中来，用于图像目标检测。Transformer原本用于NLP （自然语言处理）任务，它使用Self
‑
Attention 结构取代了常用的循环神经网络RNN（Recurrent Neural Network）结构。

技术实现思路

[0005]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的目的在于提出一种电路板电子元件检测方法、装置及计算机设备。
[0006]为实现上述目的，第一方面，根据本专利技术实施例的电路板电子元件检测方法，包括：制作图像数据集步骤：采集多张包含有电子元件的电路板原始图像，组成训练图像数据集；
图像数据集标注步骤：分别对所述训练图像数据集中的各图像进行电子元件标注；检测模型训练步骤：在图像数据集上，训练和验证基于Swin
‑
Transformer神经网络的检测模型，生成图像检测模型；图像检测步骤：将待检测图像进行扫描分割，然后将分割后的子图像输入所述图像检测模型进行检测。
[0007]检测结果筛选步骤：对所有分割子图像的检测结果进行筛选，滤去重复的检测结果，输出最终检测出的电子元件的类别和其在原始图像上的位置。
[0008]进一步地，根据本专利技术的一个实施例，所述对原始图像从不同起始点进行截取，选出含有电子元件的截取图像组成图像数据集方法包括：对每张电路板原始图像从不同的起始位置进行多次截取，每次截取按照第一设定的尺寸依次截取，将原始图像截取成多张图像；对截取后的图像进行筛选，去除不包含电子元件的图像，保留包含电子元件的截取图像组成所述图像数据集。
[0009]进一步地，根据本专利技术的一个实施例，所述分别对所述图像数据集中的各图像进行电子元件标注方法包括：当电子元件在图像中显示完整时，对该电子元件进行标注；当电子元件在图像中显示不完整时，不对该电子元件进行标注。
[0010]进一步地，根据本专利技术的一个实施例，所述将标注后的图像数据集分为训练集和验证集，对基于Swin
‑
Transformer神经网络的检测模型进行训练和验证，生成图像检测模型包括：将图像数据集按一定比例分为训练集和验证集；对所述基于Swin
‑
Transformer神经网络的检测模型进行训练及验证；其中，在训练模型时，首先加载预训练模型，然后对标注后的图像数据进行检测模型训练及验证。
[0011]进一步地，根据本专利技术的一个实施例，所述先对原始电子电路板图像采用扫描分割的方法将图像分割成适合检测模型输入尺寸大小的检测图像，然后将所述检测图像输入所述检测模型中进行检测包括：第一轮分割步骤：将待检测图像从[0,0]位置开始，按照第二设定尺寸依次分割图像，当待检测图像的末端尺寸不够第二设定尺寸时，则用黑色填充补齐；第二轮分割步骤：将待检测图像从像素点[第二设定尺寸的宽度/2,0]位置开始，按照第二设定尺寸依次分割图像，当待检测图像的右末端尺寸不够第二设定尺寸时，最后一次从待检测图像的右末端边缘向左逆推第二设定尺寸的宽度进行分割；第三轮分割步骤：将待检测图像从像素点[0,第二设定尺寸的高度/2]位置开始，按照第二设定尺寸依次分割图像，当待检测图像的底端尺寸不够第二设定尺寸时，最后一次从待检测图像的底部末端边缘向上逆推第二设定尺寸的高度进行分割；第四轮分割步骤：将待检测图像从[第二设定尺寸的宽度/2,第二设定尺寸的高度/2]位置开始，按照第二设定尺寸依次分割图像，当待检测图像的末端宽度和高度尺寸不够第二设定尺寸时，则将剩余图像去除；将各轮依次分割得到的子图像输入到所述检测模型中进行检测。
[0012]进一步地，根据本专利技术的一个实施例，所述对所有分割图像的检测结果进行筛选，去除重复的检测结果，并在原始图像上标出最终检测到的电子元件的类别和位置方法包括：将所有子图像的检测结果从子图像坐标空间映射回所述待检测图像坐标空间，即将检测结果的目标框左上角顶点在子图像中的坐标值加上子图像左上角顶点在原始待检测图像中的坐标值；然后按照检测出的电子元件的类别进行分类排序；在相同类别的结果中，根据元件的位置信息进行筛选，以将重复的检测结果滤除，因为在电路板上，通常在相同的位置只会安装一个电子元件。
[0013]进一步地，根据本专利技术的一个实施例，所述根据检测出的元件的位置信息进行筛选，以将重复的检测结果滤掉方法包括步骤：计算同类元件中每一个元件与其他所有元件目标框左上角顶点之间的距离；若某一个元件与其他元件之间的距离都大于设定的阈值，则输出该元件的类别名称和目标框在待检测图像上的位置及尺寸信息；若有两个或多个元件之间的距离小于设定的阈值，则从这些元件中选取目标框长度尺寸最大的为检测结果，输出该检测结果的类别名称和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电路板电子元件检测方法，其特征在于，包括：制作图像数据集步骤：采集多张电路板原始图像，对所述电路板原始图像从不同起始点进行截取，选出含有电子元件的截取图像组成图像数据集；图像数据集标注步骤：分别对所述图像数据集中的各图像进行电子元件标注；检测模型训练步骤：将标注后的图像数据集分为训练集和验证集，对基于Swin
‑
Transformer神经网络的检测模型进行训练和验证，生成图像检测模型；图像检测步骤：先对原始电子电路板图像采用扫描分割的方法将图像分割成适合所述图像检测模型输入尺寸大小的检测图像，然后将所述检测图像输入所述图像检测模型中进行检测；检测结果筛选步骤：对所有的所述检测图像的检测结果进行筛选，去除重复的检测结果，并在对应的所述原始电子电路板图像上标出最终检测到的电子元件的类别和位置。2.根据权利要求1所述的电路板电子元件检测方法，其特征在于，所述对所述电路板原始图像从不同起始点进行截取，选出含有电子元件的截取图像组成图像数据集方法包括：每张原始图像从不同的起始位置进行多次截取，每次截取按照第一设定的尺寸依次分割，将原始图片截取成多张图像；从所有截取图像中挑选出含有电子元件的图像组成所述图像数据集。3.根据权利要求1所述的电路板电子元件检测方法，其特征在于，所述分别对所述图像数据集中的各图像进行电子元件标注方法包括：当电子元件在图像中显示完整时，对电子元件进行标注；其中，标注文件中包含电子元件的类别、目标框在图像中左上角和右下角的坐标信息；当有些电子元件位于图像的边缘，部分被截断，显示不完整时，不对该电子元件进行标注。4.根据权利要求1所述的电路板电子元件检测方法，其特征在于，所述将标注后的图像数据集分为训练集和验证集，对基于Swin
‑
Transformer神经网络的检测模型进行训练和验证，生成图像检测模型方法包括：将图像数据集按一定比例分为训练集和验证集；对所述基于Swin
‑
Transformer神经网络的检测模型进行训练及验证；其中，在训练模型时，首先加载预训练模型，然后对标注后的图像数据进行检测模型训练及验证。5.根据权利要求1所述的电路板电子元件检测方法，其特征在于，所述先对原始电子电路板图像采用扫描分割的方法将图像分割成适合所述图像检测模型输入尺寸大小的检测图像，然后将所述检测图像输入所述图像检测模型中进行检测方法包括：第一轮分割步骤：将所述原始电子电路板图像作为待检测图像从[0,0]位置开始，按照第二设定尺寸依次分割图像，当所述待检测图像的末端尺寸不够第二设定尺寸时，则用黑色填充补齐；第二轮分割步骤：将所述待检测图像从像素点[第二设定尺寸的宽度/2,0]位置开始，按照第二设定尺寸依次分割图像，当所述待检测图像的末端宽度尺寸不够第二设定尺寸时，最后一次分割图像从所述...

【专利技术属性】
技术研发人员：高书俊，江海安，张在东，童明娇，岂靖林，
申请(专利权)人：深圳市世宗自动化设备有限公司，
类型：发明
国别省市：