一种基于从像素到全局双边指导网络的少样本缺陷检测方法技术

本发明专利技术公开了一种基于从像素到全局双边指导网络的少样本缺陷检测方法，涉及图像识别领域，为了建立准确的像素级对应关系，采用了一种交互式特征加权方案，由两个互补分支组成，分别对前景和背景图像的自依赖性和相互依赖性进行建模，克服纹理偏移、前景和背景相似度高的问题，再通过全局双边语义指导的方式建立全局双边对应关系，进一步提高模型的鲁棒性，解决样本缺陷检测算法对大规模数据集的依赖，实现对未见过缺陷类别进行准确分割，以克服生产制造中的罕见缺陷类型的无法被检测的问题。问题。问题。

【技术实现步骤摘要】
一种基于从像素到全局双边指导网络的少样本缺陷检测方法


[0001]本专利技术涉及图像识别领域，尤其涉及一种基于从像素到全局双边指导网络的少样本缺陷检测方法。

技术介绍

[0002]在制造业中，复杂的制造工艺会导致产品表面出现各种缺陷。因此，缺陷分割对于确保制造过程中的产品质量起着重要作用。视觉缺陷分割是一种非接触式的缺陷检测技术，具有灵活性和准确性的优势。此外，深度学习显着提高了该任务的性能。受经典语义分割网络的启发，缺陷分割的主要思想是融合多尺度特征或引入注意机制使模型可以准确分割不同大小的缺陷。上述方法在缺陷分割方面取得了良好的性能，但它们严重依赖于大规模的标记数据集，当应用于未见过的类别时，性能急剧下降。
[0003]对于未见过的缺陷分割主要面临四个挑战：(1)缺陷样本不足；(2)尺度变化；(3)纹理偏移；(4)图像中前景和背景的高相似度。
[0004]少样本学习技术可以用来解决样本缺陷检测算法对大规模数据集的依赖，而不是通过数据增强等方式对数据进行扩充。在少镜头语义分割中有两种被广泛使用的方法：原型学习和相似性学习。
[0005]原型学习技术将支持图像中的前景目标特征压缩成一个或多个原型向量，然后在查询图像中找到相似特征的像素位置，以分割所需的对象。原型学习的一个关键优势是，原型特征比像素特征对噪声更具鲁棒性。但单个原型不可避免地会丢失局部上下文信息。
[0006]相似性学习方法在支持图像和查询图像之间建立密集的像素级相关性，这比原型学习方法更好地保留了空间信息。但是基于相似性学习方法更容易受到噪声干扰。
[0007]由于制造业中的缺陷往往表现出有限的外观信息，这增加了特征学习的难度，导致分割失败的情况也很多。因此，我们将相似性学习和原型学习结合起来进行少样本缺陷分割，充分挖掘和利用有限的缺陷信息，同时提升算法的鲁棒性。

技术实现思路

[0008]本专利技术要解决的技术问题是针对上述现有技术的不足，提供一种基于从像素到全局双边指导网络的少样本缺陷检测方法；采用的是少样本学习技术来解决样本缺陷检测算法对大规模数据集的依赖，实现对未见过缺陷类别进行准确分割，以克服生产制造中的罕见缺陷类型的无法被检测的问题。
[0009]为解决上述技术问题，本专利技术所采取的技术方案是：
[0010]一种基于从像素到全局双边指导网络的少样本缺陷检测方法，包括以下步骤：
[0011]S1：使用特征提取器将支持图像、背景图像和查询图像映射到同一特征空间；通过多尺度特征编码器生成多尺度支持特征、多尺度查询特征和多尺度背景特征；
[0012]S2：将所述多尺度支持特征、多尺度查询特征和多尺度背景特征输入到像素级双边语义指导模块与全局双边语义指导模块中；其中，所述像素级双边语义指导模块，基于交
叉注意力得到前景指导特征和背景指导特征；用于建立支持图像以及背景图像和查询图像之间的像素级双边语义对应，以获得前景指导特征和背景指导特征；所述全局双边语义指导模块用于建立支持图像、背景图像和查询图像之间的全局双边语义对应，以获得全局双边指导图；
[0013]S3：将前景指导特征、背景指导特征、查询特征和全局双边指导图在通道域中拼接，采用解码器进行解码，获得缺陷分割结果，用于指导查询图像缺陷分割。
[0014]所述多尺度编码器采用四种尺寸的卷积核对ResNet50主干网络输出的特征进行多尺度特征提取。
[0015]所述像素级双边语义指导模块包括，基于自注意力对支持特征、背景特征和查询特征进行特征增强；利用交叉注意力权重建立支持图像与查询图像间前景区域的前景特征传递，同时，利用交叉注意力权重建立背景图像与查询图像间背景区域的背景特征传递。
[0016]所述特征增强，采用自注意力增强查询特征背景特征和支持特征表示，自注意力的接收一组支持特征其中，H是特征的高度，W是特征的宽度，C是通道数；
[0017]将支持特征尺寸调整为其中，N
S
＝H
×
W，计算自注意力权重，如式(1)所示：
[0018][0019]其中，Softmax为激活函数，为多层感知机；
[0020]基于自注意力权重A
S
→
S
，得到加权支持特征A
S
→
S
S'，将其作为残差项添加到支持特征中得到增强的支持特征如式(2)所示：
[0021]F
S
＝Norm(A
S
→
S
S'+S')
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0022]其中，Norm是层归一化；
[0023]调整查询特Q的征尺寸为背景特征B的尺寸为然后,Q'和B'被输入到自注意力，得到增强的查询特征和增强的背景特征如式(3)、式(4)所示:
[0024]F
Q
＝Norm(A
Q
→
Q
Q'+Q')
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0025]F
B
＝Norm(A
B
→
B
B'+B')
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0026]其中，表示查询特征自意力权重，表示背景特征自注意力权重。
[0027]所述前景特征传递，计算增强的支持特征F
S
和增强的查询特征F
Q
之间的前景交叉注意力权重，如式(5)所示：
[0028][0029]将支持特征掩码调整形状为其中，N
M
＝H
×
W；
[0030]支持特征掩码屏蔽支持图像中的背景信息干扰，基于交叉注意力权重与支持特征掩码相乘得到的A
S
→
Q
M'，构建从支持特征掩码到查询特征的注意力权重；
[0031]基于前景交叉注意力权重A
S
→
Q
,通过传递支持特征掩码M'到增强的查询特征F
Q
；通过A
S
→
Q
F
S
传递支持特征到增强的查询特征F
Q
，将其作为一个残差项与增强的查询特征相加A
S
→
Q
F
S
+F
Q
，将与A
S
→
Q
F
S
+F
Q
归一化后相加，如式(6)所示：
[0032][0033]其中，为广播像素级相乘，T
S
为前景指导特征。
[0034]所述背景特征传递，利用背景图像作为先验信息，建立从背景图像到查询图像的背景语义指导，计算所述增强的查询特征和增强的背景特征的交叉注意力权重，如式(7)所示：
[0035]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于从像素到全局双边指导网络的少样本缺陷检测方法，包括以下步骤：S1：使用特征提取器将支持图像、背景图像和查询图像映射到同一特征空间；通过多尺度特征编码器生成多尺度支持特征、多尺度查询特征和多尺度背景特征；S2：将所述多尺度支持特征、多尺度查询特征和多尺度背景特征输入到像素级双边语义指导模块与全局双边语义指导模块中；其中，所述像素级双边语义指导模块，基于交叉注意力得到前景指导特征和背景指导特征；用于建立支持图像以及背景图像和查询图像之间的像素级双边语义对应，以获得前景指导特征和背景指导特征；所述全局双边语义指导模块用于建立支持图像、背景图像和查询图像之间的全局双边语义对应，以获得全局双边指导图；S3：将前景指导特征、背景指导特征、查询特征和全局双边指导图在通道域中拼接，采用解码器进行解码，获得缺陷分割结果，用于指导查询图像缺陷分割。2.如权利要求1所述的基于从像素到全局双边指导网络的少样本缺陷检测方法，其特征在于：所述多尺度编码器采用四种尺寸的卷积核对ResNet50主干网络输出的特征进行多尺度特征提取。3.如权利要求1所述的基于从像素到全局双边指导网络的少样本缺陷检测方法，其特征在于：所述像素级双边语义指导模块包括，基于自注意力对支持特征、背景特征和查询特征进行特征增强；利用交叉注意力权重建立支持图像与查询图像间前景区域的前景特征传递，同时，利用交叉注意力权重建立背景图像与查询图像间背景区域的背景特征传递。4.如权利要求3所述的基于从像素到全局双边指导网络的少样本缺陷检测方法，其特征在于：所述特征增强，采用自注意力增强查询特征背景特征和支持特征表示，自注意力的接收一组支持特征其中，H是特征的高度，W是特征的宽度，C是通道数；将支持特征尺寸调整为其中，N
S
＝H
×
W，计算自注意力权重，如式(1)所示：其中，Softmax为激活函数，为多层感知机；基于自注意力权重A
S
→
S
，得到加权支持特征A
S
→
S
S'，将其作为残差项添加到支持特征中得到增强的支持特征如式(2)所示：F
S
＝Norm(A
S
→
S
S'+S')
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中，Norm是层归一化；调整查询特Q的征尺寸为背景特征B的尺寸为然后,Q'和B'被输入到自注意力，得到增强的查询特征和增强的背景特征如式(3)、式(4)所示:F
Q
＝Norm(A
Q
→
Q
Q'+Q')
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)F
B
＝Norm(A
B
→
B
B'+B')
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)其中，表示查询特征自
意力权重，表示背景特征自注意力权重。5.如权利要求3所述的基于从像素到全局双边指导网络的少样本缺陷检测方法，其特征在于：所述前景特征传递，计算增强的支持特征F
S
和增强的查询特征F
Q
之间的前景交叉注意力权重，如式(5)所示：将支持特征掩码调整形状为其中，N
M
＝H
×
W；支持特征掩码屏蔽支持图像中的背景信息干扰，基于交叉注意力权重与支持特征掩码相乘得到的A
S
→
Q
M'，构建从支持特征掩码到查询特征的注意力权重；基于前景交叉注意力权重A
S
→
Q
,通过传递支持特征掩码M'到增强的查询特征F
Q
；通过A
S
→
Q
F
S
传递支持特征到增强的查询特征F
Q
...

【专利技术属性】
技术研发人员：张云洲，单德兴，刘世同，胡自强，刘晓正，赵家奇，
申请(专利权)人：东北大学，
类型：发明
国别省市：