【技术实现步骤摘要】
本专利技术涉及基于深度学习目标检测，具体涉及一种pcb外观缺陷检测与识别方法。
技术介绍
1、在国家数字化转型的过程中，特别在自动驾驶、航空等高精尖行业，pcb是承上启下的基础力量，因此，pcb的质量会极大影响相关电子产品性能。我国电子产业和新兴技术的迅猛发展导致对pcb的需求不断增加。在批量化生产中，由于pcb生产过程相当复杂，每一道工序都有可能造成pcb表面的缺陷，比如断路、短路、漏孔等缺陷，缺陷会极大地影响最终电子产品的性能和安全质量。并且pcb越来越多应用于自动驾驶、航空航天等高精尖产业，对高质量的pcb需求越来越大。因此，研究在实际生产中如何高效、实时检测pcb缺陷，成为业内的迫切需求。相比通用目标检测任务，pcb外观缺陷检测仍然面临如下挑战：
2、1)微小目标检测
3、由于完整图像的尺寸大，里面包含的信息量也就多，而需要检测的缺陷在图像中所占的面积非常小，甚至可能是模糊不清的，通过网络模型对图像中的特征进行提取时，包含有关缺陷的特征信息也就少，造成缺陷的特征提取难和识别难。
4、2)背景复杂，特征提取难度高
5、由于pcb缺陷占比小，与背景对比度低，现有网络在特征提取过程中，未能有效剔除冗余的背景信息，导致网络对微小缺陷信息的敏锐度不强，对pcb进行缺陷检测时的难度非常大，容易出现误检和漏检的情况。
技术实现思路
1、本专利技术针对上述问题，专利技术了一种pcb外观缺陷检测与识别方法，旨在通过优化目标检测中常见检测器的三个
2、根据上述思路，实现本专利技术采取的技术方案为：
3、一种pcb外观缺陷检测与识别方法，其特征在于，将采集到的图像输入预先训练好的pcb外观缺陷检测模型，得到检测结果，所述构建pcb外观缺陷检测模型的步骤包括：
4、主干特征提取网络，所述的主干特征提取网络包括五个特征提取层，特征提取层的第一层为卷积组合模块convolutional group；特征提取层的第二层由依次级联的c2f模块和卷积核大小为3×2的cbs模块组成；特征提取层的第三层和第四层由依次级联的maxpooling最大池化模块、elan模块和信息强化感知模块epm组成；特征提取层的第五层由依次级联的maxpooling池化模块、c2f模块和信息强化感知模块epm组成；特征提取层的第二、三、四、五个特征提取层得到的特征图分别记为{c1，c2，c3，c4}；所述的卷积组合模块convolutional group为依次级联的卷积核大小为3×1的cbs模块、卷积核大小为3×2的cbs模块、卷积核大小为3×l的cbs模块、卷积核大小为3×2的cbs模块组成；所述的cbs模块由依次级联的卷积层、batch normalization层、silu激活函数组成；
5、多通道特征融合网络mcffn，由sppcspc模块、多通道融合空间特征注意力模块mfsam、特征深度细化模块djrm和c2f模块组成；用于对主干特征提取网络的特征图c1，c2，c3，c4进行特征融合及优化，得到特征图p1、p2和p3；
6、基于注意力机制的部分卷积解耦头padetect，对特征聚合后的特征p1、p2和p3进行检测，获得检测结果。
7、可选地，所述的信息强化感知模块epm包含如下步骤：首先，对输入的特征图z依次通过1×1的卷积操作和gelu激活函数，得到特征图z′；然后，将特征图z′通过3×3的卷积操作，得到z1；将特征z1分别通过卷积核大小为7×7的可变形卷积和卷积核大小为3×3的可变形卷积，得到特征图z1_1和z1_2，再将特征图z1_1、z1_2和z′进行逐元素相加，得到变形特征zdef；将变形特征zdef依次送入卷积核大小为3×1、膨胀率为2的可分离卷积和卷积核大小为1×3、膨胀率为2的可分离卷积，得到膨胀特征zd_def；将膨胀特征vd_def与变形特征zdef逐元素相乘后，通过一个1×1的卷积，得到最终的输出特征图zepm。
8、可选地，所述的多通道特征融合网络mcffn由sppcspc模块、多通道融合空间特征注意力模块mfsam、下采样模块downsample、上采样模块upsample、特征深度细化模块djrm和c2f模块组成；所述的多通道特征融合网络mcffn的输入为主干特征提取网络的特征图c1，c2，c3，c4；所述sppcspc模块和两个多通道融合空间特征注意力模块mfsami(i＝1，2)用于将不同层级的特征融合，分别得到特征图s1和s2、s3；第一个多通道融合空间特征注意力模块mfsam1的输入为特征图c2和u1；第二个多通道融合空间特征注意力模块mfsam2的输入为特征图c3和u2；所述的特征图u2为特征图s1经过上采样模块upsample得到；所述的特征图u1为特征图s2经过上采样模块upsample得到；所述的下采样模块downsample用于将特征c1、c3进行下采样处理得到与s1、s3相同尺度大小的特征图c1′、c3′；所述特征深度细化模块djrm1对特征s1进行处理后与特征c1′进行拼接得到特征d1；特征d1经过c2f模块得到第一个输出特征p1；特征p1分别输出至解耦头和特征深度细化模块djrm2；所述特征深度细化模块djrm2对特征p1进行处理后与特征s2进行拼接得到特征d2；特征d2经过c2f模块得到第二个输出特征p2；特征p2分别输出至解耦头和特征深度细化模块djrm3；所述特征深度细化模块djrm3对特征p2进行处理后与特征s3、c3'进行拼接得到特征d3；特征d3经过c2f模块得到第三个输出特征p3；特征p3输出至解耦头。
9、可选地，所述的多通道融合空间特征注意力模块mfsami(i＝1，2)包含如下步骤：mfsami(i＝1，2)包含两个输入特征图，分别为特征图ci+1(i＝1，2)和ui(i＝1，2)；输入特征图ui(i＝1，2)通过3×3卷积模块得到特征图m1，特征图m1通过深度扩张卷积模块dwconv得到特征图m2，再将特征图m2与特征图m1拼接，得到特征图m3；然后，对特征图m3使用channel-shuffle操作，得到mcs，再通过1×1卷积核降低特征图mcs的通道数，得到特征图mcs'；将特征图mcs'与特征m1进行逐元素相乘，得到注意力加强特征msa；最后，将注意力加强特征msa与输入特征图ci+1(i＝1，2)逐元素相加，得到输出特征si(i＝1，2)。
10、可选地，所述的特征深度细化模块djrm1的输入为特征s1和特征c1；特征s1输入依次级联的最大池化模块maxpooling和1×1卷积核，得到特征p1_1；特征s1输入依次级联的simam无参数注意力和1×1卷积核，得到特征p1_2；然后，将特征p1_1、特征p1_2与特征c1拼接，最后通过一个1×1卷积核，得到特征d1；所述的特征深度细化模块djrm2的输入特征为p1和s2，本文档来自技高网...
【技术保护点】
1.一种PCB外观缺陷检测与识别方法，其特征在于，将采集到的图像输入预先训练好的PCB外观缺陷检测模型，得到检测结果，构建PCB外观缺陷检测模型的步骤包括：
2.根据权利要求1所述的一种PCB外观缺陷检测与识别方法，其特征在于所述的信息强化感知模块EPM包含如下步骤：首先，对输入的特征图Z依次通过1×1的卷积操作和GELU激活函数，得到特征图Z'；然后，将特征图Z'通过3×3的卷积操作，得到Z1；将特征Z1分别通过卷积核大小为7×7的可变形卷积和卷积核大小为3×3的可变形卷积，得到特征图Z1_1和Z1_2，再将特征图Z1_1、Z1_2和Z'进行逐元素相加，得到变形特征Zdef；将变形特征Zdef依次送入卷积核大小为3×1、膨胀率为2的可分离卷积和卷积核大小为1×3、膨胀率为2的可分离卷积，得到膨胀特征Zd_def；将膨胀特征Zd_def与变形特征Zdef逐元素相乘后，通过一个1×1的卷积，得到最终的输出特征图Zepm。
3.根据权利要求1所述的一种PCB外观缺陷检测与识别方法，其特征在于所述的多通道特征融合网络MCFFN由SPPCSPC模块、多通道融合空间
4.根据权利要求3所述的一种PCB外观缺陷检测与识别方法，其特征在于，所述的多通道融合空间特征注意力模块MFSAMi(i＝1，2)包含如下步骤：MFSAMi(i＝1，2)包含两个输入特征图，分别为特征图Ci+1(i＝1，2)和Ui(i＝1，2)；输入特征图Ui(i＝1，2)通过3×3卷积模块得到特征图M1，特征图M1通过深度扩张卷积模块DWconv得到特征图M2，再将特征图M2与特征图M1拼接，得到特征图M3；然后，对特征图M3使用channel-shuffle操作，得到Mcs，再通过1×1卷积核降低特征图Mcs的通道数，得到特征图Mcs'；将特征图Mcs'与特征M1进行逐元素相乘，得到注意力加强特征Msa；最后，将注意力加强特征Msa与输入特征图Ci+1(i＝1，2)逐元素相加，得到输出特征Si(i＝1，2)。
5.根据权利要求4所述的一种PCB外观缺陷检测与识别方法，其特征在于，所述的特征深度细化模块DJRM1的输入为特征S1和特征C1；特征S1输入依次级联的最大池化模块MaxPooling和1×1卷积核，得到特征P1_1；特征S1输入依次级联的SimAM无参数注意力和1×1卷积核，得到特征P1_2；然后，将特征P1_1、特征P1_2与特征C1拼接，最后通过一个1×1卷积核，得到特征D1；所述的特征深度细化模块DJRM2的输入特征为P1和S2，将特征P1输入依次级联的最大池化模块MaxPooling和1×1卷积核，得到特征P2_1；将特征P1输入依次级联的SimAM无参数注意力和1×1卷积核，得到特征P2_2；将特征P2_1、特征P2_2与特征S2拼接，最后通过一个1×1卷积核，得到特征D2；所述的特征深度细化模块DJRM3的输入为特征P2、S3和C3'；将特征P2输入依次级联的最大池化模块MaxPooling和1×1卷积核，得到特征P3_1；将特征P2输入依次级联的SimAM无参数注意力和1×1卷积核，得到特征P3_2，再将特征P3_1、特征P3_2与特征S3、特...
【技术特征摘要】
1.一种pcb外观缺陷检测与识别方法，其特征在于，将采集到的图像输入预先训练好的pcb外观缺陷检测模型，得到检测结果，构建pcb外观缺陷检测模型的步骤包括：
2.根据权利要求1所述的一种pcb外观缺陷检测与识别方法，其特征在于所述的信息强化感知模块epm包含如下步骤：首先，对输入的特征图z依次通过1×1的卷积操作和gelu激活函数，得到特征图z'；然后，将特征图z'通过3×3的卷积操作，得到z1；将特征z1分别通过卷积核大小为7×7的可变形卷积和卷积核大小为3×3的可变形卷积，得到特征图z1_1和z1_2，再将特征图z1_1、z1_2和z'进行逐元素相加，得到变形特征zdef；将变形特征zdef依次送入卷积核大小为3×1、膨胀率为2的可分离卷积和卷积核大小为1×3、膨胀率为2的可分离卷积，得到膨胀特征zd_def；将膨胀特征zd_def与变形特征zdef逐元素相乘后，通过一个1×1的卷积，得到最终的输出特征图zepm。
3.根据权利要求1所述的一种pcb外观缺陷检测与识别方法，其特征在于所述的多通道特征融合网络mcffn由sppcspc模块、多通道融合空间特征注意力模块mfsam、下采样模块downsample、上采样模块upsample、特征深度细化模块djrm和c2f模块组成；所述的多通道特征融合网络mcffn的输入为主干特征提取网络的特征图c1，c2，c3，c4；所述sppcspc模块和两个多通道融合空间特征注意力模块mfsami(i＝1，2)用于将不同层级的特征融合，分别得到特征图s1和s2、s3；第一个多通道融合空间特征注意力模块mfsam1的输入为特征图c2和u1；第二个多通道融合空间特征注意力模块mfsam2的输入为特征图c3和u2；所述的特征图u2为特征图s1经过上采样模块upsample得到；所述的特征图u1为特征图s2经过上采样模块upsample得到；所述的下采样模块downsample用于将特征c1、c3进行下采样处理得到与s1、s3相同尺度大小的特征图c1'、c3'；所述特征深度细化模块djrm1对特征s1进行处理后与特征c1'进行拼接得到特征d1；特征d1经过c2f模块得到第一个输出特征p1；特征p1分别输出至解耦头和特征深度细化模块djrm2；所述特征深度细化模块djrm2对特征p1进行处理后与特征s2进行拼接得到特征d2；特征d2经过c2f模块得到第二个输出特征p2；特征p2分别输出至解耦头和特征深度细化模块djrm3；所述特征深度细化模块djrm3对特征p2进行处理后与特征s3、c3'进行拼接得到特征d3；特征d3经过c2f模块得到第三个输出特征p3；特征p3输出至解耦头。
4.根据权利要求3所述的一种pcb外观缺陷检测与识别方法，其特征在于，所述的多通道融合空间特征注意力模块mfsami(i＝1，2)包含如下步骤：mfsami(i＝1，2)包含两个输入特征图，分别为特征图ci+1(i＝1，2)和ui(i＝1，2)；输入特征图ui(i＝1，2)通过3×3卷积模块得到特征图m1，特征图m1通过深度扩张卷积模块dwconv得到特征图m2，再将特征图m2与特征图m1拼接，得到特征图m3；然后，对特征图m3使用channel-shuffle操作，得到mcs，再通过1×1卷积核降低特征图mcs的通道数，得到特征图mcs'；将特征图mcs'与特征m1进行逐元素相乘，得到注意力加强特征msa；最后，将注意力加强特征msa与输入特征图ci+1(i＝1，2)逐元素相加，得到输出特征si(i＝1，2)。
5.根据权利要求4所述的一种pcb外观缺陷检测与识别方法，其特征在于，所述的特征深度细化模块djrm1的输入为特征s1和特征c1；特征s1输入...
【专利技术属性】
技术研发人员：朱江，左丝诺，李建奇，余洪山，陈才学，杨云芳，裴瑞宏，
申请(专利权)人：湘潭大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。