基于多类别分解编辑的纹理表面缺陷检测模型的构建方法技术

本发明专利技术属于图像处理领域，并公开了一种基于多类别分解编辑的纹理表面缺陷检测模型的构建方法。首先，通过随机组合生成基础变换图像与随机高斯掩膜图像，融合得到混合缺陷图像；其次，将混合缺陷图像的特征分解到不同基础变换上，得到的各个基础异常分数图通过融合获得融合异常分数图，从而定位缺陷特征；最后，通过加权抑制缺陷部分特征成为空洞区域，再利用其邻域信息对空洞进行编辑补全得到编辑特征，从而实现抑制缺陷并重构图像背景，以此提升缺陷检测精度。检测时，将输入图像与重构纹理背景图像间的残差图与融合异常分数图进行融合，即可检出缺陷。如此，本发明专利技术在无缺陷样本情况下，对不同纹理表面上的各类缺陷有较高的检测精度。检测精度。检测精度。

【技术实现步骤摘要】
基于多类别分解编辑的纹理表面缺陷检测模型的构建方法


[0001]本专利技术属于图像处理领域，更具体地，涉及一种基于多类别分解编辑的纹理表面缺陷检测模型的构建方法。

技术介绍

[0002]工业场景中，由于材料种类多样、制造过程复杂繁琐，各种类型的纹理缺陷在许多工业产品中普遍存在，例如纺织物、皮革、纳米材料和新型显示器件(TFT
‑
LCD、OLED)等。此类缺陷被定义为局部亮度不均或纹理结构损坏，对用户体验与产品质量有重大影响，为了提高生产质量，纹理缺陷的检测已成为工业制造过程中不可或缺的一部分。
[0003]纹理表面缺陷检测方法中，相较于耗时耗力的传统人工观察检测方法，具有非接触、高速、精度高等优点的自动光学检测(AOI)被广泛用于纹理表面缺陷检测中。在自动光学检测系统的各个步骤中，缺陷检测算法为系统的关键与核心，直接决定了检测系统的性能。由于纹理背景复杂非规则、缺陷形状大小多变等特性，同时工业场景下缺陷样本通常十分稀少且难以收集标注，给缺陷检测算法带来了极大的挑战。
[0004]近年来，随着深度学习在机器视觉领域的快速发展，越来越多的基于深度学习的纹理缺陷检测方法被应用于工业场景。根据训练数据是否包含标注的缺陷样本，这些方法可以分为监督和无监督方法。监督方法的检测效果往往受限于训练的缺陷样本，难以适用于工业场景；无监督方法不需要缺陷样本训练，成为主要采用的方法。由于无监督方法中没有对缺陷信息进行描述，实际使用的效果难以提升，目前主要通过人工制作缺陷的方式补充缺陷信息，但人工缺陷与实际缺陷间往往存在一定的差异，导致检测效果往往欠佳。因此，如何克服制作缺陷与真实缺陷间的差异，并提出一种基于无监督学习的纹理表面缺陷检测算法是提升检测精度与工业产品质量的关键。

技术实现思路

[0005]针对现有技术的不足或改进需求，本专利技术提供了一种基于多类别分解编辑的纹理表面缺陷检测模型的构建方法，其目的在于通过制作多种基础类型的混合缺陷用于训练，并对混合缺陷进行基础类型分解，使模型学习到纹理缺陷通用的分解表达方式而不拘泥于制作的缺陷，从而克服制作缺陷与真实缺陷间的差异，可有效提升缺陷检测精度。
[0006]为实现上述目的，第一方面，本专利技术提供了一种基于多类别分解编辑的纹理表面缺陷检测模型的构建方法，包括：
[0007]搭建纹理表面缺陷检测模型；其中，所述纹理表面缺陷检测模型包括：
[0008]随机组合生成模块，用于生成不同形状大小的高斯缺陷掩膜I
mask
；从训练集中随机选取一张正常图像作为参考图像I
f
；构造随机编码c，c中每个元素表示一种图像变换种类的权重，利用所述每个元素生成对应的图像变换参数，作为图像变换函数的参数；利用所述图像变换函数对所述参考图像I
f
进行变换操作，得到变换图像I
t
；由I
mask
控制区域，将I
t
和正常图像I
n
融合得到缺陷图像I
a
；
[0009]多类别特征库模块，用于提取缺陷图像I
a
的特征Z
a
；构建K个缺陷特征库L
k
,k＝1,...,K，K为图像变化种类的个数，每一个缺陷特征库中均包含M个长度与特征Z
a
通道数C
l
相同的特征向量条目且各缺陷特征库中的所有特征向量条目与其他库中所有特征向量条目正交；计算特征Z
a
中每个特征向量z
a
与第k个特征库中的每个特征条目l
k,m
的相似度，取最大相似度记为d
k
；基于K个特征库对应的最大相似度，得到异常分数d＝[d1,...,d
K
]；由特征Za中所有特征向量组合得到异常分数图W
l
和H
l
为特征Z
a
的宽度和高度；将k维异常分数图进行融合，得到融合异常分数图
[0010]多尺度卷积编辑模块，用于将特征Z
a
和反相的S
a
进行逐像素相乘，抑制缺陷区域特征，得到加权特征Z
w
；采用多尺度特征编辑方法对Z
w
进行编辑补全使其成为正常特征Z
e
；对Z
e
进行解码，得到重构图像
[0011]以最小化I
n
与的差异、以及最小化S
t
与分解标签C
t
的差异为目标，对所述纹理表面缺陷检测模型进行训练；其中，所述分解标签C
t
为随机编码c与高斯缺陷掩膜I
mask
按像素相乘后降采样的结果。
[0012]进一步地，所述利用所述每个元素生成对应的图像变换参数，包括：所述图像变换参数包括基础值和变化程度，所述变化程度由随机编码c中对应元素表示的图像变换种类的权重控制。
[0013]进一步地，所述提取缺陷图像I
a
的特征Z
a
，包括：
[0014]通过编码器提取缺陷图像I
a
的特征Z
a
；所述编码器包括3个卷积层和2个残差块；每个卷积层的卷积核均为3x3，步长分别为1、2、2，每层的滤波核数量分别为16、32、64；每个残差块包含两个卷积核为3x3、步长为1、滤波核数量为64的卷积层，残差块前后通过残差跳层连接。
[0015]进一步地，所述计算特征Z
a
中每个特征向量z
a
与第k个特征库中的每个特征条目l
k,m
的相似度，包括：
[0016]特征Z
a
中每个特征向量z
a
与第k个特征库中的每个特征条目l
k,m
之间的距离d
k,m
由以下余弦相似度度量：
[0017][0018]其中，l
k,mT
表示l
k,m
的转置，||
·
||2表示L2范数。
[0019]进一步地，所述采用多尺度特征编辑方法对Z
w
进行编辑补全使其成为正常特征Z
e
，包括：
[0020]采用多个不同核大小的卷积层对Z
w
进行补全，得到正常编辑特征Z
e
：
[0021]Z
e
＝f
c
(Z
w
；θ
c
)
[0022]其中，f
c
(
·
)与θ
c
分别表示多尺度卷积层的函数及其参数。
[0023]进一步地，所述对Z
e
进行解码，得到重构图像包括：
[0024]通过解码器对Z
e
进行解码，得到重构图像所述解码器包括2个残差块本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多类别分解编辑的纹理表面缺陷检测模型的构建方法，其特征在于，包括：搭建纹理表面缺陷检测模型；其中，所述纹理表面缺陷检测模型包括：随机组合生成模块，用于生成不同形状大小的高斯缺陷掩膜I
mask
；从训练集中随机选取一张正常图像作为参考图像I
f
；构造随机编码c，c中每个元素表示一种图像变换种类的权重，利用所述每个元素生成对应的图像变换参数，作为图像变换函数的参数；利用所述图像变换函数对所述参考图像I
f
进行变换操作，得到变换图像I
t
；由I
mask
控制区域，将I
t
和正常图像I
n
融合得到缺陷图像I
a
；多类别特征库模块，用于提取缺陷图像I
a
的特征Z
a
；构建K个缺陷特征库L
k
,k＝1,...,K，K为图像变化种类的个数，每一个缺陷特征库中均包含M个长度与特征Z
a
通道数C
l
相同的特征向量条目且各缺陷特征库中的所有特征向量条目与其他库中所有特征向量条目正交；计算特征Z
a
中每个特征向量z
a
与第k个特征库中的每个特征条目l
k,m
的相似度，取最大相似度记为d
k
；基于K个特征库对应的最大相似度，得到异常分数d＝[d1,...,d
K
]；由特征Z
a
中所有特征向量组合得到异常分数图W
l
和H
l
为特征Z
a
的宽度和高度；将k维异常分数图进行融合，得到融合异常分数图多尺度卷积编辑模块，用于将特征Z
a
和反相的S
a
进行逐像素相乘，抑制缺陷区域特征，得到加权特征Z
w
；采用多尺度特征编辑方法对Z
w
进行编辑补全使其成为正常特征Z
e
；对Z
e
进行解码，得到重构图像以最小化I
n
与的差异、以及最小化S
t
与分解标签C
t
的差异为目标，对所述纹理表面缺陷检测模型进行训练；其中，所述分解标签C
t
为随机编码c与高斯缺陷掩膜I
mask
按像素相乘后降采样的结果。2.根据权利要求1所述的基于多类别分解编辑的纹理表面缺陷检测模型的构建方法，其特征在于，所述利用所述每个元素生成对应的图像变换参数，包括：所述图像变换参数包括基础值和变化程度，所述变化程度由随机编码c中对应元素表示的图像变换种类的权重控制。3.根据权利要求1所述的基于多类别分解编辑的纹理表面缺陷检测模型的构建方法，其特征在于，所述提取缺陷图像I
a
的特征Z
a
，包括：通过编码器提取缺陷图像I
a
的特征Z
a
；所述编码器包括3个卷积层和2个残差块；每个卷积层的卷积核均为3x3，步长分别为...

【专利技术属性】
技术研发人员：尹周平，杨华，李俊逸，侯岳，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：