基于终身学习的多类别纹理表面缺陷检测模型的构建方法技术

本发明专利技术属于图像处理领域，并公开了一种基于终身学习的多类别纹理表面缺陷检测模型的构建方法。整个模型以新提出的自适应卷积/反卷积模块为基础模块，具体地，自适应卷积/反卷积模块为每个类别设置独立的卷积核/反卷积核掩膜，用于分配权重衡量模型参数与当前训练类别的相关性，并通过卷积核/反卷积核掩膜设置参数剪枝和冷冻操作，参数剪枝保证了模型在后续类别训练时，仍然有足够多的参数可以用于新类别的训练，从而更好地拟合新任务；参数冷冻保证了模型在已训练类别上的知识记忆，允许相似类别的模型参数重叠，在旧任务测试时仍然具备较高的精度。从而，使模型具备终身学习的能力，实现单个模型的多类别纹理表面缺陷检测。实现单个模型的多类别纹理表面缺陷检测。实现单个模型的多类别纹理表面缺陷检测。

【技术实现步骤摘要】
基于终身学习的多类别纹理表面缺陷检测模型的构建方法


[0001]本专利技术属于图像处理领域，更具体地，涉及一种基于终身学习的多类别纹理表面缺陷检测模型的构建方法。

技术介绍

[0002]随着工业制造水平的不断提高，国家和企业对工业产品的质检愈发严格，产品表面质量越来越受到重视。在工业制造领域中，如OLED等新型显示器件、木材、钢材等工业产品表面常常会产生各种纹理表面缺陷。纹理表面缺陷主要是指与周边结构和模式不同的局部区域，或者具有不规则亮度变化的局部区域。纹理表面缺陷的出现，主要源于工业产品的原材料品质种类各异，生产制造工艺相当复杂。工业产品的纹理表面缺陷会直接降低产品品质，严重影响消费者的使用体验。因此，在工业产品的制造过程中实现纹理表面缺陷自动化检测至关重要。
[0003]以OLED新型显示器件为例，在制造过程中，其表面缺陷具有以下特点：类型复杂多样、尺度变化不一、对比度低、形状亮度多变。除此之外，由于OLED新型显示器件制造水平的提高，生产线上的产品合格率较高，导致可用的缺陷样本数量较少；即便花费大量时间收集缺陷样本，仍需耗费大量的时间和人力进行手动标注，给视觉检测带来了极大的困难。因此，以OLED新型显示器件为代表的纹理表面缺陷检测仍然是工业产品质量控制中的挑战性任务。
[0004]近年来，随着深度学习的发展，深度神经网络模型得到了广泛的研究和应用。然而，深度神经网络模型的训练需要大量的实验样本。在实际的工业场景下，实验样本的获得往往随着时间的变化而变化，因此要求深度神经网络模型具备不断学习新数据特征的能力，这种能力被称为终身学习。当深度神经网络模型在处理连续任务时，模型参数会不断更新以适应新任务数据，而在旧任务上往往表现欠佳，产生灾难性遗忘现象。终身学习要求模型从动态的数据分布中学习到多个任务，在保持原有知识的基础上不断学习新的知识，从而克服灾难性遗忘。
[0005]目前，已有大量深度学习模型被提出来解决纹理表面缺陷的检测难题。但已有的研究成果尚未考虑实际的工业场景需求，检测模型不具备终身学习的能力。在面对连续的多种纹理表面缺陷的检测时，只能针对不同类别单独训练，无法实现单个模型对多种表面缺陷的较高精度检测。

技术实现思路

[0006]针对现有技术的以上缺陷或改进需求，本专利技术提供了一种基于终身学习的多类别纹理表面缺陷检测模型的构建方法，其目的在于利用深度学习强大的数据建模能力进行多类别纹理表面缺陷检测，由此解决多类别纹理表面缺陷检测中的类型复杂多样、尺度变化不一、对比度低、形状亮度多变等原因引起的检测精度不高的问题，同时满足实际工业场景下模型需具备终身学习能力的需求，在保持原有知识的基础上不断学习新的知识，实现单
个模型对多种纹理表面缺陷的较高精度检测。
[0007]为实现上述目的，第一方面，本专利技术提供了一种基于终身学习的多类别纹理表面缺陷检测模型的构建方法，包括：
[0008]搭建纹理表面缺陷检测模型；所述纹理表面缺陷检测模型包括自适应异常分解模块，自适应异常分解模块由特征提取器、背景编码器、背景解码器、缺陷编码器和缺陷解码器组成，用于获得正常样本和异常样本的背景重构图像以及异常样本的缺陷前景分割图像；
[0009]以损失函数训练所述纹理表面缺陷检测模型；
[0010]其中，所述特征提取器、背景编码器、背景解码器、缺陷编码器和缺陷解码器均由若干自适应卷积/反卷积模块构成；任一所述自适应卷积/反卷积模块包括一个卷积核/反卷积核、N个卷积核/反卷积核掩膜、一个修正函数、N个批归一化层和一个激活函数，N为类别总数；
[0011]在训练第i个类别时，所述自适应卷积/反卷积模块利用卷积核/反卷积核参数与修正后的第i个类别对应的卷积核/反卷积核掩膜相乘的结果，对输入做卷积/反卷积操作；再将操作结果输入第i个类别对应的批归一化层进行标准化处理；并将处理结果通过激活函数进行非线性映射；
[0012]若所述卷积核/反卷积核参数与第i个类别相关性大于预设阈值，则在此后训练过程中不更新该参数；否则，更新该参数；其中，所述相关性通过第i个类别对应的卷积核/反卷积核掩膜分配给所述卷积核/反卷积核参数的权重来衡量。
[0013]进一步地，当时，认为所述卷积核/反卷积核参数θ
j
与第i个类别相关性大于预设阈值，则设置并在此后训练过程中不更新该参数θ
j
；否则，设置并在此后训练过程中更新该参数θ
j
；
[0014]其中，表示第i个类别对应的卷积核/反卷积核掩膜分配给所述卷积核/反卷积核参数θ
j
的权重，j表示卷积核/反卷积核参数的索引；μ1和μ2分别表示第一参数剪枝阈值和第二参数剪枝阈值。
[0015]进一步地，所述特征提取器用于分别提取输入的正常样本和异常样本的特征，获得相应的正常特征和异常特征；所述背景编码器用于将所述正常特征和异常特征分别编码为正常背景特征和异常背景特征；所述背景解码器用于分别对所述正常背景特征和异常背景特征进行重构，获得正常样本和异常样本的背景重构图像；所述缺陷编码器用于将所述异常特征编码为缺陷特征；所述缺陷解码器用于对所述缺陷特征进行分割，获得异常样本的缺陷前景分割图像。
[0016]进一步地，所述损失函数L
i
为：
[0017][0018][0019][0020][0021][0022]式中，i表示第i个类别，λ
r
,λ
E
,λ
s
分别表示重建损失特征嵌入损失和分割损失的权重；表示正常样本，表示正常样本的背景重构图像，表示异常样本的背景重构图像；表示正常样本的背景特征，表示异常样本的背景特征；表示异常样本的缺陷前景分割图像，表示掩膜图像；
⊙
、||
·
||1和||
·
||2分别表示期望、点积、L1范数和L2范数。
[0023]进一步地，所述异常样本通过以下方式获得：
[0024]将正常样本添加颜色抖动并均匀划分为多个网格，再随机排列生成缺陷图像；
[0025]将所述缺陷图像与柏林噪声的掩膜图像融合生成缺陷前景；
[0026]融合所述缺陷前景与正常样本，生成异常样本。
[0027]进一步地，所述纹理表面缺陷检测模型还包括：
[0028]自适应分割判别模块，自适应分割判别模块由判别器组成，用于引导背景与前景分离并进一步分割缺陷区域，获得缺陷判别结果；且所述判别器由若干所述自适应卷积/反卷积模块构成。
[0029]第二方面，本专利技术提供了一种基于终身学习的多类别纹理表面缺陷检测方法，包括：
[0030]将待测纹理图像及所属类别输入到采用第一方面所述的基于终身学习的多类别纹理表面缺陷检测模型的构建方法所构建的纹理表面缺陷检测模型中，得到所述待测纹理图像的背景重构图像以及缺陷前景分割图像；
[0031]将所述待测纹理图像与背景重构图像之差和缺陷前景分割图像进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于终身学习的多类别纹理表面缺陷检测模型的构建方法，其特征在于，包括：搭建纹理表面缺陷检测模型；所述纹理表面缺陷检测模型包括自适应异常分解模块，自适应异常分解模块由特征提取器、背景编码器、背景解码器、缺陷编码器和缺陷解码器组成，用于获得正常样本和异常样本的背景重构图像以及异常样本的缺陷前景分割图像；以损失函数训练所述纹理表面缺陷检测模型；其中，所述特征提取器、背景编码器、背景解码器、缺陷编码器和缺陷解码器均由若干自适应卷积/反卷积模块构成；任一所述自适应卷积/反卷积模块包括一个卷积核/反卷积核、N个卷积核/反卷积核掩膜、一个修正函数、N个批归一化层和一个激活函数，N为类别总数；在训练第i个类别时，所述自适应卷积/反卷积模块利用卷积核/反卷积核参数与修正后的第i个类别对应的卷积核/反卷积核掩膜相乘的结果，对输入做卷积/反卷积操作；再将操作结果输入第i个类别对应的批归一化层进行标准化处理；并将处理结果通过激活函数进行非线性映射；若所述卷积核/反卷积核参数与第i个类别相关性大于预设阈值，则在此后训练过程中不更新该参数；否则，更新该参数；其中，所述相关性通过第i个类别对应的卷积核/反卷积核掩膜分配给所述卷积核/反卷积核参数的权重来衡量。2.根据权利要求1所述的基于终身学习的多类别纹理表面缺陷检测模型的构建方法，其特征在于，当and时，认为所述卷积核/反卷积核参数θ
j
与第i个类别相关性大于预设阈值，则设置并在此后训练过程中不更新该参数θ
j
；否则，设置并在此后训练过程中更新该参数θ
j
；其中，表示第i个类别对应的卷积核/反卷积核掩膜分配给所述卷积核/反卷积核参数θ
j
的权重，j表示卷积核/反卷积核参数的索引；μ1和μ2分别表示第一参数剪枝阈值和第二参数剪枝阈值。3.根据权利要求1所述的基于终身学习的多类别纹理表面缺陷检测模型的构建方法，其特征在于，所述特征提取器用于分别提取输入的正常样本和异常样本的特征，获得相应的正常特征和异常特征；所述背景编码器用于将所述正常特征和异常特征分别编码为正常背景特征和异常背景特征；所述背景解码器用于分别对所述正常背景特征和异常背景特征进行重构，获得正常样本和异常样本的背景重构图像；所述缺陷编码器用于将所述异常特征编码为缺陷特征；所述缺陷解码器用于对所述缺陷特征进行分割，获得异常样本的缺陷前景分割图像。4.根据权利要求3所述的基于终身学习的多类别纹理表面缺陷检测模型的构建方法，其特征在于，...

【专利技术属性】
技术研发人员：尹周平，杨华，何大伟，陈建魁，朱钦淼，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：