一种基于密集预测的少量PCB缺陷样本检测方法及系统技术方案

本发明专利技术公开了一种基于密集预测的少量PCB缺陷样本检测方法及系统，将任一PCB图像输送到已训练完成的深度学习模型中，以输出PCB图像中的缺陷位置和缺陷类型；所述深度学习模型包括特征提取网络、多尺度特征融合网络、特征增强网络和特征重加权网络；使用特征增强网络来突出关注关键区域特征，提高了查询样本的特征提取能力；该检测方法及系统使用了多尺度特征融合网络提取支持样本的多尺度特征并将其融合成高质量的特征图，提高了小尺度缺陷的检测精度；具有面对少量缺陷样本达到较高检测精度的优点，即便缺陷类只有几个(小于10)样本，也可以达到较好的检测效果。也可以达到较好的检测效果。也可以达到较好的检测效果。

【技术实现步骤摘要】
一种基于密集预测的少量PCB缺陷样本检测方法及系统


[0001]本专利技术涉及PCB板缺陷检测
，尤其涉及一种基于密集预测的少量PCB缺陷样本检测方法及系统。

技术介绍

[0002]印刷电路板(PCB)的需求正随着电子行业的发展变得越来越大。在PCB生产制造工业中，可能会因为工艺及生产机器精度等造成PCB的缺陷瑕疵，影响产品使用，提高生产成本。随着深度学习的提出，PCB缺陷检测也变得自动化。通常，当深度学习网络具有足量训练样本时，可以达到很好的检测效果，对缺陷检测具有很大的帮助。
[0003]然而在实际生产过程中，大多数情况得到的缺陷样本很少，不足以训练深度学习网络。如果使用缺陷数据来微调已有语义分割模型，可能会出现欠拟合的问题，检测精度远远达不到生产要求，这给PCB缺陷检测任务带来了很大的困难。

技术实现思路

[0004]基于
技术介绍
存在的技术问题，本专利技术提出了一种基于密集预测的少量PCB缺陷样本检测方法及系统，具有面对少量缺陷样本达到较高检测精度的优点，提高了小尺度缺陷的检测精度。
[0005]本专利技术提出的一种基于密集预测的少量PCB缺陷样本检测方法，将任一PCB图像输送到已训练完成的深度学习模型中，以输出PCB图像中的缺陷位置和缺陷类型；所述深度学习模型包括特征提取网络、多尺度特征融合网络、特征增强网络和特征重加权网络；
[0006]所述深度学习模型的训练过程具体如下：
[0007]S1：获取PCB缺陷图像样本集，将所述PCB缺陷图像样本集划分为不带有缺陷标签的查询集和带有缺陷标签的支持集；
[0008]S2：基于特征提取网络初步提取查询集中的查询PCB图像特征；
[0009]S3：基于特征增强网络对所述查询PCB图像特征进行特征增强，得到混合注意力缺陷特征图E
A
；
[0010]S4：基于多尺度特征融合网络初步提取支持集中的支持PCB图像特征；
[0011]S5：基于特征重加权网络对所述支持PCB图像特征进行重加权，得到重加权向量v；
[0012]S6：将混合注意力缺陷特征图E
A
和重加权向量v进行逐元素相乘获得重新加权的缺陷特征向量；
[0013]S7：将所述缺陷特征向量输送到检测头中以输出缺陷位置和缺陷类型。
[0014]进一步地，在步骤S2中，具体为：使用DarkNet
‑
53作为特征提取网络对查询集中的PCB缺陷图像进行初步提取，获得通道数为C、高为H、宽为W的查询缺陷特征E，将查询缺陷特征E作为查询PCB图像特征。
[0015]进一步地，在步骤S3中，具体包括：
[0016]对步骤S2输出的所述查询缺陷特征E在通道上进行并行处理后拼接，得到聚合缺
陷特征；
[0017]将聚合缺陷特征进行逐元素相加后通过sigmoid函数生成查询缺陷特征图P
L
，将所述查询缺陷特征图P
L
与所述查询缺陷特征E按元素相乘获得通道注意力缺陷特征图E
′
；
[0018]对通道注意力缺陷特征图E
′
在通道上进行并行处理后拼接，并将拼接后的特征图通过深度可分离卷积后进行sigmoid函数生成查询缺陷特征图P
H
；
[0019]将所述查询缺陷特征图P
H
与所述通道注意力缺陷特征图E
′
按元素相乘得到混合注意力缺陷特征图E
A
。
[0020]进一步地，在所述对步骤S2输出的所述查询缺陷特征E在通道上进行并行处理后拼接，得到聚合缺陷特征中，具体包括：
[0021]对步骤S2输出的所述查询缺陷特征E在不同通道上依次进行最大池化和一维卷积处理，得到第一缺陷特征；
[0022]对步骤S2输出的所述查询缺陷特征E在不同通道上依次进行平均池化和一维卷积处理，得到第二缺陷特征；
[0023]将第一缺陷特征和第二缺陷特征拼接得到聚合缺陷特征。
[0024]进一步地，所述通道注意力缺陷特征图E
′
的计算公式如下：
[0025][0026]E
′
＝Mul(E；P
L
)
[0027]其中，s表示sigmoid，表示卷积核大小为l的一维卷积，AvP表示平均池化，MaP表示最大池化，Mul(；)表示按元素相乘，P
L
表示查询缺陷特征图，E表示查询缺陷特征，P
H
表示查询缺陷特征图。
[0028]进一步地，所述混合注意力缺陷特征图E
A
的计算公式如下：
[0029][0030]E
A
＝Mul(P
H
；E
′
)
[0031]其中，表示卷积核大小为5的深度可分离卷积。
[0032]进一步地，在步骤S4中，具体包括：
[0033]使用5个块的VGG16网络作为多尺度特征融合网络对支持集中的PCB缺陷图像进行初步提取，输出每个块的支持缺陷特征；
[0034]将5个块输出的支持缺陷特征输入双向特征融合网络获取不同尺度的支持缺陷特征图；
[0035]将五个支持缺陷特征图使用卷积进行压缩后得到含有不同权重的缺陷特征压缩向量b1,b2,b3,b4,b5；
[0036]对缺陷特征压缩向量b1,b2,b3,b4,b5实行逐元素相加得到包含不同尺度的多尺度缺陷特征图，将所述多尺度缺陷特征图作为支持PCB图像特征。
[0037]进一步地，在步骤S5中，具体包括：所述多尺度缺陷特征图通过1
×
1深度卷积得到N个1
×1×
c的缺陷特征向量v，其中N是缺陷类别数，c是通道数。
[0038]一种基于密集预测的少量PCB缺陷样本检测系统，将任一PCB图像输送到已训练完成的深度学习模型中，以输出PCB图像中的缺陷位置和缺陷类型；
[0039]所述深度学习模型包括特征提取网络、多尺度特征融合网络、特征增强网络和特征重加权网络；
[0040]所述深度学习模型的训练过程具体如下：
[0041]S1：获取PCB缺陷图像样本集，将所述PCB缺陷图像样本集划分为不带有缺陷标签的查询集和带有缺陷标签的支持集；
[0042]S2：基于特征提取网络初步提取查询集中的查询PCB图像特征；
[0043]S3：基于特征增强网络对所述查询PCB图像特征进行特征增强，得到混合注意力缺陷特征图E
A
；
[0044]S4：基于多尺度特征融合网络初步提取支持集中的支持PCB图像特征；
[0045]S5：基于特征重加权网络对所述支持PCB图像特征进行重加权，得到重加权向量v；
[0046]S6：将混合注意力缺陷特征图E
A
和重加权向量v进行逐元素相乘获得重新加权的缺陷特征向量；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于密集预测的少量PCB缺陷样本检测方法，其特征在于，将任一PCB图像输送到已训练完成的深度学习模型中，以输出PCB图像中的缺陷位置和缺陷类型；所述深度学习模型包括特征提取网络、多尺度特征融合网络、特征增强网络和特征重加权网络；所述深度学习模型的训练过程具体如下：S1：获取PCB缺陷图像样本集，将所述PCB缺陷图像样本集划分为不带有缺陷标签的查询集和带有缺陷标签的支持集；S2：基于特征提取网络初步提取查询集中的查询PCB图像特征；S3：基于特征增强网络对所述查询PCB图像特征进行特征增强，得到混合注意力缺陷特征图E
A
；S4：基于多尺度特征融合网络初步提取支持集中的支持PCB图像特征；S5：基于特征重加权网络对所述支持PCB图像特征进行重加权，得到重加权向量v；S6：将混合注意力缺陷特征图E
A
和重加权向量v进行逐元素相乘获得重新加权的缺陷特征向量；S7：将所述缺陷特征向量输送到检测头中以输出缺陷位置和缺陷类型。2.根据权利要求1所述的基于密集预测的少量PCB缺陷样本检测方法，其特征在于，在步骤S2中，具体为：使用DarkNet
‑
53作为特征提取网络对查询集中的PCB缺陷图像进行初步提取，获得通道数为C、高为H、宽为W的查询缺陷特征E，将查询缺陷特征E作为查询PCB图像特征。3.根据权利要求2所述的基于密集预测的少量PCB缺陷样本检测方法，其特征在于，在步骤S3中，具体包括：对步骤S2输出的所述查询缺陷特征E在通道上进行并行处理后拼接，得到聚合缺陷特征；将聚合缺陷特征进行逐元素相加后通过sigmoid函数生成查询缺陷特征图P
L
，将所述查询缺陷特征图P
L
与所述查询缺陷特征E按元素相乘获得通道注意力缺陷特征图E
′
；对通道注意力缺陷特征图E
′
在通道上进行并行处理后拼接，并将拼接后的特征图通过深度可分离卷积后进行sigmoid函数生成查询缺陷特征图P
H
；将所述查询缺陷特征图P
H
与所述通道注意力缺陷特征图E
′
按元素相乘得到混合注意力缺陷特征图E
A
。4.根据权利要求3所述的基于密集预测的少量PCB缺陷样本检测方法，其特征在于，在所述对步骤S2输出的所述查询缺陷特征E在通道上进行并行处理后拼接，得到聚合缺陷特征中，具体包括：对步骤S2输出的所述查询缺陷特征E在不同通道上依次进行最大池化和一维卷积处理，得到第一缺陷特征；对步骤S2输出的所述查询缺陷特征E在不同通道上依次进行平均池化和一维卷积处理，得到第二缺陷特征；将第一缺陷特征和第二缺陷特征拼接得到聚合缺陷特征。5.根据权利要求4所述的基于密集预测的少量PCB缺陷样本检测方法，其特征在于，所述通道注意力缺陷特征图E
′
的计算公式...

【专利技术属性】
技术研发人员：许镇义，史珂豪，康宇，曹洋，柏鹏，黄俊，胡峰，
申请(专利权)人：安徽工业大学，
类型：发明
国别省市：