本发明专利技术公开了基于深度学习的焊点检测方法及系统，包括以下步骤：采集带有焊锡缺陷的焊点图像；对焊点图像预处理后分类，分类好的预处理图像按设定比例划分为训练集与验证集；构建焊点图像分类网络模型，模型基于ResNeXt网络，包括依序设置的多尺度特征融合层、软池化层、四层残差网络、全局平均池化层及全连接网络；将训练集输入分类网络模型进行训练，利用验证集评估出最佳模型；采集检测台上的焊点实时图像，将实时图像进行图像对齐、通道转换及数据归一化处理后输入最佳模型进行分类，检测结果发送回检测机台。本发明专利技术对ResNeXt网络进行改进，使用改进后的分类网络模型对焊点质量进行检测，具有检测效率高，检测精度符合工业在线检测要求的有益效果。业在线检测要求的有益效果。业在线检测要求的有益效果。
【技术实现步骤摘要】
基于深度学习的焊点检测方法及系统
[0001]本专利技术属于焊点检测
，特别涉及基于深度学习的焊点检测方法及系统。
技术介绍
[0002]PCB电路板是电子元器件的支撑体，在PCB焊接过程中，可能由于某些原因导致PCB上的焊点出现缺陷。PCB电路板传统的缺陷检测技术有人工目视主观判定法、仪器线上检测法及X光检测，其中人工目视主观判定法根据操作人员主观经验及视觉测量来确定PCB的合格率，该技术预算成本低所需要的设备价格低廉易操作，然而准确率低，缺陷检测效率低，数据集合分析难度大。仪器线上检测法操作人员通过模拟测试实验和电气性能测试，检查电路板焊接的开路、短路等故障及元器件的功能检测，也可通过边界扫描技术检测PCB上密度过大的电子元器件，集体检测电路板焊接点及连接处，是基于电信号为媒介的检测技术，该技术操作难度大，操作时间长。X光检测使用X射线照射电路板，通过检测亮暗情况来判断焊点缺陷，对于BGA等难以观察的复杂结构零件的焊点缺陷检测具有优势，但存在检测设备复杂及成本高等问题。
[0003]随着计算机技术的发展，机器视觉及深度学习已经成熟应用到PCB焊点检测领域，自动光学检测(AOI，Automated Optical Inspection)技术基于光学原理对PCB的焊接缺陷进行检测和处理。主要通过相机对PCB进行扫描并获取到对PCB焊点区域的图像，通过视觉处理技术自动检测PCB缺陷，提取各个焊点的特征数据，并联系数据库进行对比；深度学习则建立焊点检测神经网络模型，使用预先标注的缺陷焊点图像对模型进行训练，再使用训练好的网络模型对焊点质量进行检测。公开号为“CN115393291A”的中国专利技术专利申请提出一种YOLOv5和EfficientNet的PCB焊点缺陷检测方法；公开号为“CN114723706A”的中国专利技术专利申请公开了一种基于机器视觉的焊点检测定位方法，其神经网络模型采用YOLOv5网络模型；公开号为“CN113409250A”的中国专利技术专利申请公开了一种基于卷积神经网络的焊点检测方法，其神经网络模型采用YOLOv3网络模型；公开号为“CN114723833A”的中国专利技术专利申请公开了一种基于改进YOLOV5的深度学习晶圆焊点检测方法，也采用YOLOv5网络模型进行焊点检测。由于YOLO网络模型的特征金字塔网络结构，较小的目标在高层特征图上可能无法获得足够的空间分辨率，导致检测性能下降。YOLO在目标密集区域的定位和分类上可能存在困难，YOLO网络模型可能会出现漏检(未检测到目标)或误检(错误地将背景或其他物体识别为目标)，导致检测结果不准确。
[0004]ResNeXt通过使用残差连接(Residual Connections)和深度可分解卷积(Depthwise Separable Convolutions)等技术能够有效地捕捉图像中的细节和上下文信息，提高特征的表达能力，这使得ResNeXt在图像分类、目标检测和语义分割等计算机视觉任务中表现出色。公开号为“CN113011253B”的中国专利技术专利公开了基于ResNeXt网络的人脸表情识别方法，包括以下步骤：从人脸表情图像中选取训练数据集和待识别数据集；构建基于改进ResNeXt网络的人脸表情识别模型；从训练数据集中选取部分人脸表情图像，输入人脸表情识别模型，进行迭代训练，获得训练后人脸表情识别模型；从待识别数据集中选取
部分人脸表情图像，输入训练后人脸表情识别模型，进行人脸表情识别，获得人脸表情分类结果。在焊点检测领域，焊点可能以不同的尺度和大小出现，从微小的焊点到较大的焊点。ResNeXt对于多尺度目标的检测能力相对较弱，可能会导致在检测小尺寸或大尺寸焊点时的性能下降；另外ResNeXt计算的参数量比较大，影响检测的精度及效率。
技术实现思路
[0005]本专利技术基于ResNeXt网络模型进行改进后用于焊点检测，旨在解决现有焊点检测技术存在的检测效率及精度较低的问题。
[0006]为解决上述技术问题，本专利技术提出基于深度学习的焊点检测方法，包括以下步骤：
[0007]S1：采集焊点图像，所述焊点图像包括缺陷焊点图像及正常焊点图像。
[0008]S2：对所述焊点图像预处理，得到预处理图像，对预处理图像进行分类，将分类好的预处理图像按设定数量比例划分为训练集与验证集。
[0009]S3：构建焊点图像分类网络模型，所述分类网络模型基于ResNeXt网络，在ResNeXt网络前端加入多尺度特征融合层及软池化层，并使用非对称卷积模块替换残差网络中的3
×
3卷积模块，所述分类网络模型包括依序设置的多尺度特征融合层、软池化层、四层残差网络、全局平均池化层及全连接网络。
[0010]S4：将所述训练集输入分类网络模型进行训练，利用验证集评估出最佳模型。
[0011]S5：采集检测机台上的焊点实时图像，将所述焊点实时图像进行图像对齐、通道转换及数据归一化处理后作为最佳模型的待检图像，将待检图像输入至最佳模型进行检测分类，检测分类结果发送回检测机台。
[0012]优选的，所述预处理包括图像对齐、数据增强、通道转换及数据归一化，得到预处理图像作为分类网络模型的输入。
[0013]所述图像对齐将采集的焊点图像对齐为设定的分辨率，得到对齐图像。
[0014]所述数据增强采用随机翻转、颜色抖动、随机旋转、PuzzleMix及FMix处理，将所述对齐图像进行增广以扩大对齐图像的规模，得到增广图像。
[0015]所述通道转换采用维度重排操作将增广图像的通道维度从[N，H，W，C]转换为[N，C，H，W]，得到新通道图像。
[0016]所述数据归一化先计算新通道图像中所有图像每个通道的均值和标准差，将新通道图像的每个通道数值减去均值后除以标准差，生成预处理图像。
[0017]优选的，所述PuzzleMix处理随机选取两幅对齐图像，分析其中一幅对齐图像的显著性区域，将显著性区域切割为块，对于每个切割后的块，随机地重新排列块的顺序，确保每个块都被打乱，以生成多样化的样本，再将打乱的块拼接于另一幅对齐图像上；
[0018]所述FMix处理随机选取两幅对齐图像，采用不规则形状对其中一幅对齐图像进行切割，裁剪下若干块；对于每个切割后的块，随机地重新排列块的顺序，确保每个块都被打乱，以生成多样化的样本，再将打乱的块拼接于另一幅对齐图像上。
[0019]优选的，所述多尺度特征融合层并行设置有大小为3
×
3、5
×
5、7
×
7及9
×
9的四个卷积模块，所述待检图像输入多尺度特征融合层后并行进入四个卷积模块进行卷积操作，分别得到特征图A1、特征图A2、特征图A3及特征图A4，将特征图A1～A4进行融合后得到新的特征图A5，再将特征图A5输入连续的64层大小为7
×
7、步幅为2的卷积层，输出特征图A。
[0020]优选的，所述软池化层采用大小为3
×
3的池本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.基于深度学习的焊点检测方法，其特征在于，包括以下步骤：S1：采集焊点图像，所述焊点图像包括缺陷焊点图像及正常焊点图像；S2：对所述焊点图像预处理，得到预处理图像，对预处理图像进行分类，将分类好的预处理图像按设定数量比例划分为训练集与验证集；S3：构建焊点图像分类网络模型，所述分类网络模型基于ResNeXt网络，在ResNeXt网络前端加入多尺度特征融合层及软池化层，并使用非对称卷积模块替换残差网络中的3
×
3卷积模块，所述分类网络模型包括依序设置的多尺度特征融合层、软池化层、四层残差网络、全局平均池化层及全连接网络；S4：将所述训练集输入分类网络模型进行训练，利用验证集评估出最佳模型；S5：采集检测机台上的焊点实时图像，将所述焊点实时图像进行图像对齐、通道转换及数据归一化处理后作为最佳模型的待检图像，将待检图像输入至最佳模型进行检测分类，检测分类结果发送回检测机台。2.根据权利要求1所述的基于深度学习的焊点检测方法，其特征在于，所述预处理包括图像对齐、数据增强、通道转换及数据归一化，得到预处理图像作为分类网络模型的输入；所述图像对齐将采集的焊点图像对齐为设定的分辨率，得到对齐图像；所述数据增强采用随机翻转、颜色抖动、随机旋转、PuzzleMix及FMix处理，将所述对齐图像进行增广以扩大对齐图像的规模，得到增广图像；所述通道转换采用维度重排操作将增广图像的通道维度从[N,H,W,C]转换为[N,C,H,W]，得到新通道图像；所述数据归一化先计算新通道图像中所有图像每个通道的均值和标准差，将新通道图像的每个通道数值减去均值后除以标准差，生成预处理图像。3.根据权利要求2所述的基于深度学习的焊点检测方法，其特征在于，所述PuzzleMix处理随机选取两幅对齐图像，分析其中一幅对齐图像的显著性区域，将显著性区域切割为块，对于每个切割后的块，随机地重新排列块的顺序，确保每个块都被打乱，以生成多样化的样本，再将打乱的块拼接于另一幅对齐图像上；所述FMix处理随机选取两幅对齐图像，采用不规则形状对其中一幅对齐图像进行切割，裁剪下若干块；对于每个切割后的块，随机地重新排列块的顺序，确保每个块都被打乱，以生成多样化的样本，再将打乱的块拼接于另一幅对齐图像上。4.根据权利要求1所述的基于深度学习的焊点检测方法，其特征在于，所述多尺度特征融合层并行设置有大小为3
×
3、5
×
5、7
×
7及9
×
9的四个卷积模块，所述待检图像输入多尺度特征融合层后并行进入四个卷积模块进行卷积操作，分别得到特征图A1、特征图A2、特征图A3及特征图A4，将特征图A1～A4进行融合后得到新的特征图A5，再将特征图A5输入连续的64层大小为7
×
【专利技术属性】
技术研发人员：洪亚德，张文海，何荣茂，
申请(专利权)人：厦门福信光电集成有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。