一种小样本产品表面缺陷识别方法及系统技术方案

本发明专利技术属于神经网络缺陷识别相关技术领域，其公开了一种小样本产品表面缺陷识别方法及系统，包括以下步骤：(1)基于图像金字塔构建小样本缺陷图像的空间多尺度特征提取器；(2)针对每个层级单独构建基于自注意力机制深度学习的缺陷识别模型；(3)将提取到的缺陷空间多尺度特征图分别输入到对应的缺陷识别模型，根据对应的缺陷类别标记进行训练；(4)将待测产品的缺陷图像输入到空间多尺度特征提取器，进而将提取到的缺陷空间多尺度特征图输入到对应的缺陷识别模型中，并将每个缺陷识别模型输出的结果进行加权融合，以得到缺陷图像对应的缺陷类别。本发明专利技术缓解了小样本导致的深度学习模型缺陷识别过拟合问题。习模型缺陷识别过拟合问题。习模型缺陷识别过拟合问题。

【技术实现步骤摘要】
一种小样本产品表面缺陷识别方法及系统


[0001]本专利技术属于神经网络缺陷识别相关
，更具体地，涉及一种小样本产品表面缺陷识别方法及系统。

技术介绍

[0002]表面缺陷是生产过程质量管控中面临的重要问题，其存在一方面影响着产品的出厂质量造成不必要的经济损失，另一方面也会影响产品服役过程的性能，严重的还会造成重大事故，危害国家和人民财产安全。因此，发展智能化、自动化的表面缺陷识别技术具有十分重要的研究价值和应用前景。
[0003]传统的表面缺陷大多采用人工检测为主，检测速度缓慢、稳定性较差，且成本昂贵，难以大面积推广普及。近年来，随着人工智能、工业大数据等技术的飞速发展，以及自动化技术的普通，基于机器视觉的表面缺陷识别逐渐成为当前学术界和工业界关注的技术热点。尤其是以卷积神经网络为代表的深度学习方法，因其良好的缺陷识别效果以及较低的先验知识门槛，成为表面缺陷识别领域的重点发展趋势之一。
[0004]相较于传统的机器视觉方法，如支持向量机、随机森林等，卷积神经网络采用端到端的特征提取方式，可以实现表面缺陷图像特征的自动化提取，避免了传统方法特征提取过程对专家先验知识的依赖。然而，这种端到端的特征自动提取依赖大量的训练样本，而在实际生产中，由于缺陷发生属于小样本事件，因此，可用于训练的样本数量相对较少，属于典型的小样本问题。一旦样本数量较少，则模型可以学习到的信息有限，极易陷入过拟合问题，即在测试过程的结果与训练过程差异巨大，严重影响了缺陷识别的正常进行，影响产品最终的出厂质量。
专利技术内容
[0005]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种小样本产品表面缺陷识别方法及系统，其利用图像金字塔实现提取小样本缺陷图像的空间多尺度特征，并利用多个自注意力机制深度学习模型实现特征的抽象化表达，利用加权融合的方式将最终的识别结果进行融合，从而避免单一尺度下小样本信息不足所导致的模型过拟合问题，提升小样本缺陷图像的识别效果，确保产品表面缺陷检测的正常进行。
[0006]为实现上述目的，按照本专利技术的一个方面，提供了一种小样本产品表面缺陷识别方法，所述方法主要包括以下步骤：
[0007](1)基于图像金字塔构建小样本缺陷图像的空间多尺度特征提取器，以用于提取缺陷图形在多层级下的特征图；
[0008](2)针对每个层级单独构建基于自注意力机制深度学习的缺陷识别模型，并采用基于ImageNet预训练的权重作为模型初始化参数；
[0009](3)将提取到的缺陷空间多尺度特征图分别输入到其对应的缺陷识别模型，并利用Focal loss作为损失函数，根据对应的缺陷类别标记进行训练；
[0010](4)将待测产品的缺陷图像输入到空间多尺度特征提取器，进而将提取到的缺陷空间多尺度特征图输入到对应的缺陷识别模型中，并将每个缺陷识别模型输出的结果进行加权融合，以得到缺陷图像对应的缺陷类别。
[0011]进一步地，构建空间多尺度特征提取器时，采用图像金字塔的形式将一张原始的缺陷图像映射为多幅不同空间尺度下的特征图像，从而反映缺陷图像在空间尺度下不同层级的特征信息。
[0012]进一步地，缺陷识别模型用于识别对应层级特征图所对应缺陷类别，每个缺陷识别模型具有独立且相同的模型结构。
[0013]进一步地，所述缺陷识别模型包括嵌入层、编码器和分类器，其中嵌入层采用one
‑
hot形式进行位置信息编码。
[0014]进一步地，编码器采用多头注意力机制模块叠加而成，其初始参数为基于ImageNet预训练的权重。
[0015]进一步地，分类器采用两层全连接层神经网络，并采用Softmax作为激活函数，以计算不同缺陷类别对应的概率。
[0016]进一步地，损失函数为：
[0017]L
ft
＝
‑
(1
‑
t
)
β
log(
t
)
[0018]其中，p
t
为第t个模型的输出结果，表示其对应每种缺陷类别的概率，n表示模型的数量，y为最终的识别结果。
[0019]进一步地，采用加权融合的方式输出最终缺陷识别结果，对应的计算公式为：
[0020][0021]其中，p
t
为第t个模型的输出结果，n表示模型的数量，y为最终的识别结果。
[0022]进一步地，通过Adam优化方法对每个缺陷识别模型单独训练，以优化模型参数。
[0023]按照本专利技术的另一个方面，提供了一种小样本产品表面缺陷识别系统，所述系统包括存储器及处理器，所述存储器储存有计算机程序，所述处理器自行所述计算机程序时执行如上所述的小样本产品表面缺陷识别方法。
[0024]总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，本专利技术提供的小样本产品表面缺陷识别方法及系统主要具有以下有益效果：
[0025]1.本专利技术通过图像金字塔构建小样本缺陷图像的空间多尺度特征提取器，实现了缺陷图像的空间多尺度特征提取，避免了单一尺度下，小样本缺陷图像特征信息不足的问题，有效缓解了小样本导致的深度学习模型缺陷识别过拟合问题。
[0026]2.在缺陷识别模型中采用了自注意力机制模型，并利用Focal loss损失函数对缺陷区域的感知能力，从而在有限样本条件下，提升了模型的缺陷识别效果。
[0027]3.采用了加权融合的方式将各层级的输出结果结合相应权重进行融合，一方面避免了传统特征融合方式多个模型同时训练带来的高昂训练成本，另一方面，可以有效提升模型的识别效果，避免了单一尺度下模型的误判。
附图说明
[0028]图1是本专利技术实施例提供的一种基于空间多尺度特征融合自注意力深度学习模型
的小样本产品表面缺陷识别方法的流程图；
[0029]图2是本专利技术实施例构建的基于高斯特征金字塔的空间多尺度特征提取器示意图；
[0030]图3是本专利技术实施例构建的基于ImageNet预训练的自注意力机制深度学习模型Vision Transformer的结构示意图；
[0031]图4是本专利技术实施例加权融合策略示意图。
具体实施方式
[0032]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0033]请参阅图1，本专利技术提供了一种小样本产品表面缺陷识别方法，该识别方法主要包括以下步骤：
[0034]步骤一，基于图像金字塔构建小样本缺陷图像的空间多尺度特征提取器，以用于提取缺陷图形在多层级下的特征图。
[0035]其中，采用图像金字塔的形式，将一张原始的缺陷图像映射为多幅不同空间尺度下的特征图像，从而反映缺陷图像在空间尺度下不同层级本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种小样本产品表面缺陷识别方法，其特征在于，该方法包括以下步骤：(1)基于图像金字塔构建小样本缺陷图像的空间多尺度特征提取器，以用于提取缺陷图形在多层级下的特征图；(2)针对每个层级单独构建基于自注意力机制深度学习的缺陷识别模型，并采用基于ImageNet预训练的权重作为模型初始化参数；(3)将提取到的缺陷空间多尺度特征图分别输入到其对应的缺陷识别模型，并利用Focalloss作为损失函数，根据对应的缺陷类别标记进行训练；(4)将待测产品的缺陷图像输入到空间多尺度特征提取器，进而将提取到的缺陷空间多尺度特征图输入到对应的缺陷识别模型中，并将每个缺陷识别模型输出的结果进行加权融合，以得到缺陷图像对应的缺陷类别。2.如权利要求1所述的小样本产品表面缺陷识别方法，其特征在于：构建空间多尺度特征提取器时，采用图像金字塔的形式将一张原始的缺陷图像映射为多幅不同空间尺度下的特征图像，从而反映缺陷图像在空间尺度下不同层级的特征信息。3.如权利要求1所述的小样本产品表面缺陷识别方法，其特征在于：缺陷识别模型用于识别对应层级特征图所对应缺陷类别，每个缺陷识别模型具有独立且相同的模型结构。4.如权利要求3所述的小样本产品表面缺陷识别方法，其特征在于：所述缺陷识别模型包括嵌入层、编码器和分类器，其中嵌入层采用one
‑
hot形式进行位置信息编码。5.如权利要求4所述的小样本产品表面缺陷识别方法，其特征在于：编码器采用多头注意力机制模块叠加而成，其初始参数...

【专利技术属性】
技术研发人员：高艺平，李新宇，高亮，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：