基于小样本学习的印刷电路板缺陷检测方法、介质及设备技术

本发明专利技术的一种基于小样本学习的印刷电路板缺陷检测方法、系统及设备，包括先训练印刷电路板缺陷检测网络，训练步骤如下，对于输入PCB图像利用实例级嵌入主干网络进行缺陷特征提取获取全局特征；通过位置权重分配模块对最后一个块的输出进行细化，生成缺陷位置权重图；根据权重图从输入PCB图像中切割出对应区域再输入实例级嵌入主干，生成局部特征，进而为每幅输入图像生成嵌入；将样本权重分配模块应用于每个缺陷支持类的嵌入集，以形成每个缺陷类别的注意原型，利用交叉熵损失函数训练网络。本发明专利技术即一种从少量PCB缺陷类样本中学习的缺陷类感知辅助和抑制网络方案，将异常缺陷值的分布拉向缺陷类簇，减少对缺陷类描述的负面影响。面影响。面影响。

【技术实现步骤摘要】
基于小样本学习的印刷电路板缺陷检测方法、介质及设备


[0001]本专利技术涉及智能制造领域印刷电路板(PCB)缺陷检测
，具体涉及一种基于小样本学习的印刷电路板缺陷检测方法、介质及设备。

技术介绍

[0002]PCB作为电子产品的关键元器件广泛应用于自动驾驶、电脑生产以及家电等众多领域，具有很大的市场。但受限于生产技术，在实际生产时会出现一些缺陷。而对PCB的缺陷检测也经常带来额外的成本。
[0003]目前，深度学习的出现，使得目标检测得以快速发展，也对PCB缺陷检测行业有一定帮助，降低了一定成本。通常，在PCB缺陷数据充足的情况下，深度学习在进行缺陷检测时具有良好的性能。然而，注释足够的PCB缺陷数据是昂贵、耗时和费力的。在实际生产过程中，获取到的缺陷数据可能较少，且每一种缺陷类型下存在的缺陷样本数也较为欠缺。过少的缺陷样本给检测任务带来较大困难。本专利技术着重研究在少量缺陷数据支持的情况下，对PCB缺陷种类进行学习(小样本学习)的能力。

技术实现思路

[0004]本专利技术提出的一种基于小样本学习的印刷电路板缺陷检测方法、系统及设备，可至少解决
技术介绍
中的技术问题之一。
[0005]为实现上述目的，本专利技术采用了以下技术方案：
[0006]一种基于小样本学习的印刷电路板缺陷检测方法，通过计算机设备执行以下步骤，
[0007]包括以下步骤，先训练印刷电路板缺陷检测网络，再利用训练好的印刷电路板缺陷检测网络对待检测的印刷电路板进行检测，其中，印刷电路板缺陷检测网络的训练步骤如下，
[0008]步骤1：对于输入PCB图像利用实例级嵌入主干网络进行缺陷特征提取获取全局特征；
[0009]步骤2：通过位置权重分配模块对最后一个块的输出进行细化，生成缺陷位置权重图；
[0010]步骤3：根据权重图从输入PCB图像中切割出对应区域再输入实例级嵌入主干，生成局部特征，进而为每幅输入图像生成嵌入；
[0011]步骤4：将样本权重分配模块应用于每个缺陷支持类的嵌入集，以形成每个缺陷类别的注意原型，利用交叉熵损失函数训练网络。
[0012]进一步地，所述步骤S1具体包括，
[0013]S11：输入要预测的含有缺陷的PCB图像；
[0014]S12：将PCB图像输入到实例级嵌入主干网络进行缺陷特征提取；
[0015]S13：将实例级嵌入主干网络输出的特征图进行全局平均池化处理，获得缺陷全局
特征。
[0016]进一步地，所述步骤S2具体包括，
[0017]S21：对于来自含有缺陷种类标签的支持集的缺陷样本，令L
ij
表示主干网络输出的第i个缺陷支持类中的第j个图像的全局特征映射，对L
ij
使用全局平均池化，得到样本级的全局缺陷特征S
ij
；
[0018]S22：平均第i个缺陷支持类中的所有样本级缺陷特征S
ij
，计算出受异常PCB图像值影响较小的类级全局缺陷特征；
[0019]S23：按照下式计算每个位置的缺陷类内相似性的正注意度O
ij
以及每个位置的总抑制强度Z
ij
，进而获得支持集PCB图像的权重图W
ij
。W
ij
在抑制强度Z
ij
的作用下将其他缺陷类中可能干扰特定缺陷类识别的异常缺陷特征划入特定缺陷类特征的考虑范围内，提高特定缺陷类的可区分性；
[0020][0021][0022]W
ij
＝O
ij
+Z
ij
[0023]式中K表示缺陷类的样本数，N表示缺陷类别数；
[0024]S24：对于不含缺陷种类标签的查询集中的第q个图像，计算缺陷特征图L
q
与其样本级全局缺陷特征S
q
之间的点积，得到相应的权重图对上述获得的W
ij
和W
q
，在所有位置应用softmax进行分类。
[0025]进一步地，所述步骤S3具体包括，
[0026]S31：将全局缺陷特征图由(1+W
ij
)和(1+W
q
)加权，生成细化的缺陷注意力图，将缺陷注意力图和输入的PCB图像都上采样到一个预定义的大小，选择缺陷注意力地图中值最大的位置作为被选区域的中心；
[0027]S32：根据被选区域从输入PCB图像中裁剪下一个固定大小的补丁，然后再次输入主干网络，将其输出进行全局平均池化后作为一个缺陷局部特征；
[0028]S33：将上述得到的全局缺陷特征以及局部缺陷特征连接起来形成实例级缺陷嵌入；对于第i个缺陷支持类的第j个PCB图像的缺陷嵌入记为m
ij
，缺陷查询集中的第q个PCB图像嵌入记为m
q
。
[0029]进一步地，所述步骤S4具体包括，
[0030]S41：获得第i类缺陷的K个缺陷嵌入的集合为M
i
＝(m
i1
，m
i2
，
…
，m
ik
)，取M
i
的平均值mean(M
i
)；
[0031]S42：根据下式计算缺陷正注意力以及缺陷负注意力。根据o
i
以及z
i
，该模块将识别与同一缺陷类的描述具有较大相似度而与其他缺陷类的描述具有较低相似度的缺陷特征，进一步加强对异常缺陷特征的识别能力；
[0032][0033][0034]S43：采用加权和将每个支持缺陷类别的所有缺陷嵌入进行组合获得缺陷注意原型t
i
，并添加K个支持缺陷特征的平均值作为残差连接；
[0035]t
i
＝mean(M
i
)+exp(α)
·
softmax(o
i
+z
i
)
·
M
i
[0036]式中α是在训练过程中学习到的一个参数，对于N缺陷类单缺陷样本分类，采用sigmod代替softmax，防止权重简化为1；
[0037]S44：利用欧氏距离来计算缺陷原型和缺陷查询嵌入之间的距离，根据下式计算得到缺陷查询原型对属于同一缺陷类支持集的概率，然后利用交叉熵损失函数训练模型，测试阶段，取概率最高的缺陷种类作为最终结果输出；
[0038][0039]式中，t
i
是第i类缺陷的注意原型，m
g
是查询缺陷样本的缺陷嵌入，D(t
i
，m
q
)是t
i
和m
q
之间的欧氏距离。
[0040]又一方面，本专利技术还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于小样本学习的印刷电路板缺陷检测方法，其特征在于，包括以下步骤，先训练印刷电路板缺陷检测网络，再利用训练好的印刷电路板缺陷检测网络对待检测的印刷电路板进行检测，其中，印刷电路板缺陷检测网络的训练步骤如下，步骤1：对于输入PCB图像利用实例级嵌入主干网络进行缺陷特征提取获取全局特征；步骤2：通过位置权重分配模块对最后一个块的输出进行细化，生成缺陷位置权重图；步骤3：根据权重图从输入PCB图像中切割出对应区域再输入实例级嵌入主干，生成局部特征，进而为每幅输入图像生成嵌入；步骤4：将样本权重分配模块应用于每个缺陷支持类的嵌入集，以形成每个缺陷类别的注意原型，利用交叉熵损失函数训练网络。2.根据权利要求1所述的基于小样本学习的印刷电路板缺陷检测方法，其特征在于：所述步骤S1具体包括，S11：输入要预测的含有缺陷的PCB图像；S12：将PCB图像输入到实例级嵌入主干网络进行缺陷特征提取；S13：将实例级嵌入主干网络输出的特征图进行全局平均池化处理，获得缺陷全局特征。3.根据权利要求1所述的基于小样本学习的印刷电路板缺陷检测方法，其特征在于：所述步骤S2具体包括，S21：对于来自含有缺陷种类标签的支持集的缺陷样本，令L
ij
表示主干网络输出的第i个缺陷支持类中的第j个图像的全局特征映射，对L
ij
使用全局平均池化，得到样本级的全局缺陷特征S
ij
；S22：平均第i个缺陷支持类中的所有样本级缺陷特征S
ij
，计算出受异常PCB图像值影响较小的类级全局缺陷特征；S23：按照下式计算每个位置的缺陷类内相似性的正注意度O
ij
以及每个位置的总抑制强度Z
ij
，进而获得支持集PCB图像的权重图W
ij
；；W
ij
＝O
ij
+Z
ij
式中K表示缺陷类的样本数，N表示缺陷类别数；S24：对于不含缺陷种类标签的查询集中的第q个图像，计算缺陷特征图L
q
与其样本级全局缺陷特征S
q
之间的点积，得到相应的权重图对上述获得的W
ij
和W
q
，在所有位置应用softmax进行分类。4.根据权利要求3所述的基于小样本学习的印刷电路板缺陷检测方法，其特征在于：所述步骤S3具体包括，S31：将全局缺陷特征图由(1+W
ij
)和(1+W
q
)加权，生成细化的缺陷注意力图，将缺陷注
...

【专利技术属性】
技术研发人员：康宇，史珂豪，柏鹏，许镇义，曹洋，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：