一种基于改进的ConvNeXtV2和Faster-RCNN的焊点缺陷检测方法技术

本发明专利技术公开一种基于改进的ConvNeXtV2和Faster

【技术实现步骤摘要】
一种基于改进的ConvNeXt V2和Faster
‑
RCNN的焊点缺陷检测方法


[0001]本专利技术属于焊点缺陷检测
，特别是涉及一种基于改进的ConvNeXt V2和Faster
‑
RCNN的焊点缺陷检测方法
。

技术介绍

[0002]焊点检测技术是现代制造业中重要的一部分，其目的是确保焊接连接可靠，减少焊点质量问题对产品质量和安全性的影响。为了保证焊点的质量，需要采用一系列的检测方法，传统的检测方法有目视检测、X射线检测、超声波检测等，这些方法检测速度较慢且专业的检测人员和环境进行检测，不仅需要耗费大量的人力物力，而且容易出现漏检和误检情况。目前针对焊点检测的深度学习方法通常都基于有监督学习，需要大量的标注数据用于训练，标注过程十分耗费人力且标注周期较长，标注的数据集质量层次不齐，模型训练的效果欠佳。
[0003]公开号CN115482452A公开了一种深度卷积神经网络的PCB焊点识别方法，包括以下步骤：对输入图像进行基于亮度均衡的阈值分割操作；将分割出的图像基于形态学操作进行逐个焊点截取；对切分的焊点图像进行数据增强,并归一化；将数据增强的数据输入到多路卷积和池化操作，提取多尺度卷积特征；然后将多尺度特征经过GAP降维，最后通过分类器输出焊点对应类别；在原图中显示每个焊点对应类别，以及公开号CN109615609A公开了一种基于深度学习的焊点瑕疵检测方法，包括以下步骤：对原始图像数据进行灰度化处理；对灰度化处理后的图像进行预处理，进行滤波处理，消除噪声；对预处理后的图像进行分割处理，将焊点和背景进行区分；将上述步骤分割处理后的图像进行形态学处理，将相连的焊点进一步分割；对形态学处理后的图像进行最终分割，将相连的焊点处理完全，得到所有的焊点目标；对所有的焊点目标进行瑕疵识别，完成焊点的瑕疵检测，上述两种技术方案均采用有监督学习方式训练模型，需要大量的标注数据。

技术实现思路

[0004]本专利技术的目的在于提供一种基于改进的ConvNeXt V2和Faster
‑
RCNN的焊点缺陷检测方法，本专利技术基于ConvNeXt V2和Faster
‑
RCNN，通过FullyConvolutional Masked AutoEncoder(FCMAE)框架进行无监督学习更好地抽取数据特征，微调模型后对PCB图像的焊点进行定位和分类，节省了大量标注时间和资源，提高了焊点检测的准度和速度，以解决上述
技术介绍
中提出的问题
。
[0005]为解决此技术问题，本专利技术的技术方案是：
[0006]一种基于改进的ConvNeXt V2和Faster
‑
RCNN的焊点缺陷检测方法，包括如下步骤：
[0007]S1：对输入的PCB图像进行预处理；
[0008]S2：采用无监督方式训练的ConvNeXt V2模型对步骤S1中的预处理图像进行处理
并输出特征图F；
[0009]S3：通过RPN网络在原图上生成筛选候选框；
[0010]S4：在原图上生成的筛选候选框映射回步骤S2输出的特征图F并通过RoIAlign获取缩小的特征图F
’
；
[0011]S5:将缩小的特征图F
’
展平放入全连接层预测；
[0012]S6:最后通过分类器和回归器分别输出每个焊点对应的类别和边界框。
[0013]优选的，步骤S1具体包括如下子步骤：
[0014]S11：输入分辨率大小为n1×
n2的PCB图像；
[0015]S12：对PCB图像进行减均值，除方差，归一化处理；
[0016]S13：将处理后的PCB图像缩小成分辨率大小为n3×
n4的图像。
[0017]优选的，步骤S2具体包括如下子步骤：
[0018]S21：将输入PCB图像经过一次卷积以及一个Layer Normalization层提取特征，得到特征图F1；
[0019]S22：将特征图F1通过3个block1进行特征提取，并在每个block1通过一次卷积进行特征提取，接着经过一个LN层和一次卷积将特征图F1进行升维，再通过GELU、GRN和一次卷积将特征图F1降维得到F1
’
，最后通过残差连接将特征图F1和降维后的特征图F1
’
进行相加得到特征图F1”，并输出到下一层；
[0020]S23：将特征图F1”通过一个LN层和一次卷积进行下采样并升维，获得特征图F2；
[0021]S24：将特征图F2通过3个block2进行特征提取，并在每个block2通过一次卷积进行特征提取，接着经过一个LN层和一次卷积将特征图F2进行升维，再通过GELU、GRN和一次卷积将特征图F2降维得到F2
’
，最后通过残差连接将特征图F2和降维后的特征图F2
’
进行相加得到特征图F2”，并输出到下一层；
[0022]S25：将特征图F2”通过一个LN层和一次卷积进行下采样并升维，获得特征图F3；
[0023]S26：将特征图F3通过3个block3进行特征提取，并在每个block3通过一次卷积进行特征提取，接着经过一个LN层和一次卷积将特征图F3进行升维，再通过GELU、GRN和一次卷积将特征图F3降维得到F3
’
，最后通过残差连接将特征图F3和降维后的特征图F3
’
进行相加得到特征图F4”，并输出到下一层；
[0024]S27：将特征图F3”通过一个LN层和一次卷积进行下采样并升维，获得特征图F4；
[0025]S28：将特征图F4通过3个block3进行特征提取，并在每个block3通过一次卷积进行特征提取，接着经过一个LN层和一次卷积将特征图F4进行升维，再通过GELU、GRN和一次卷积将特征图F4降维得到F4
’
，最后通过残差连接将特征图F4和降维后的特征图F4
’
进行相加得到特征图F4”，并输出到下一层；
[0026]S29：将特征图F4”通过一个LN层和一次卷积进行下采样并升维，获得特征图F。
[0027]优选的，步骤S3具体包括如下子步骤：
[0028]S31：通过一个卷积在特征图F上滑动，滑动同时在原PCB图像上预测得到多个初始候选框；且每个滑动窗口的输出特征被降维成一维向量；
[0029]S32：将步骤S31中的一维向量输入两个并联的FCN层：box
‑
classfication layer和box
‑
regression layer；其中，box
‑
classfication layer锚框进行二分类输出正样本和负样本的概率，box
‑
regression layer计算对于锚点的边界框回归偏移量，获取精确候选
框；
[0030]S本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进的ConvNeXtV2和Faster
‑
RCNN的焊点缺陷检测方法，其特征在于：包括如下步骤：S1：对输入的PCB图像进行预处理；S2：采用无监督方式训练的ConvNeXtV2模型对步骤S1中的预处理图像进行处理并输出特征图F；S3：通过RPN网络在原图上生成筛选候选框；S4：在原图上生成的筛选候选框映射回步骤S2输出的特征图F并通过RoIAlign获取缩小的特征图F
’
；S5:将缩小的特征图F
’
展平放入全连接层预测；S6:最后通过分类器和回归器分别输出每个焊点对应的类别和边界框。2.根据权利要求1所述的一种基于改进的ConvNeXtV2和Faster
‑
RCNN的焊点缺陷检测方法，其特征在于：步骤S1具体包括如下子步骤：S11：输入分辨率大小为n1×
n2的PCB图像；S12：对PCB图像进行减均值，除方差，归一化处理；S13：将处理后的PCB图像缩小成分辨率大小为n3×
n4的图像。3.根据权利要求1所述的一种基于改进的ConvNeXtV2和Faster
‑
RCNN的焊点缺陷检测方法，其特征在于：步骤S2具体包括如下子步骤：S21：将输入PCB图像经过一次卷积以及一个LayerNormalization层提取特征，得到特征图F1；S22：将特征图F1通过3个block1进行特征提取，并在每个block1通过一次卷积进行特征提取，接着经过一个LN层和一次卷积将特征图F1进行升维，再通过GELU、GRN和一次卷积将特征图F1降维得到F1
’
，最后通过残差连接将特征图F1和降维后的特征图F1
’
进行相加得到特征图F1”，并输出到下一层；S23：将特征图F1”通过一个LN层和一次卷积进行下采样并升维，获得特征图F2；S24：将特征图F2通过3个block2进行特征提取，并在每个block2通过一次卷积进行特征提取，接着经过一个LN层和一次卷积将特征图F2进行升维，再通过GELU、GRN和一次卷积将特征图F2降维得到F2
’
，最后通过残差连接将特征图F2和降维后的特征图F2
’
进行相加得到特征图F2”，并输出到下一层；S25：将特征图F2”通过一个LN层和一次卷积进行下采样并升维，获得特征图F3；S26：将特征图F3通过3个block3进行特征提取，并在每个block3通过一次卷积进行特征提取，接着经过一个LN层和一次卷积将特征图F3进行升维...

【专利技术属性】
技术研发人员：周昌军，林高铭，田尚云，金虎，张志聪，
申请(专利权)人：浙江师范大学，
类型：发明
国别省市：