一种基于无监督特征组合的产品图像缺陷检测方法及装置制造方法及图纸

本发明专利技术公开了一种基于无监督特征组合的产品图像缺陷检测方法及装置，该方法包括收集少量无缺陷产品图像作为训练样本，并将图像划分为大小相等的小块；把每张图像分成两部分，一部分是图像小块，一部分是将对应图像小块部分遮盖后得到的遮盖图像；利用图像小块与遮盖图像训练记忆网络与图像修复网络，所述记忆网络和图像修复网络的特征进行组合，并且共享解码器；使用经过练得到的记忆网络与图像修复网络对待检产品图像进行缺陷检测。本发明专利技术使用记忆网络提取图像小块的整体结构信息，同时使用图像修复网络提取相邻图像小块的局部领域信息，并最终融合了整体信息与局部信息，所以能重构出复杂图像的细节，检测精度高而误检率极低。低。低。

【技术实现步骤摘要】
一种基于无监督特征组合的产品图像缺陷检测方法及装置


[0001]本专利技术涉及产品缺陷检测
，尤其涉及一种基于无监督特征组合的产品图像缺陷检测方法及装置。

技术介绍

[0002]产品图像缺陷检测是确保产品质量合格的最重要环节之一。以前，产品图像缺陷由培训过的工人进行人工检测，这种方式非常耗时、低效。后来，经典机器视觉的方法在很多场合取代了人工。然而，随着工业4.0时代的到来，生产线正朝着通用化方向发展，由手工设计特征的经典机器视觉方法开发周期长，特征不通用，无法确保快速灵活的适应新产品。深度学习发展起来后，由于其可以自动提取特征，泛化能力强，逐渐取代了经典机器视觉的方法。
[0003]有监督深度学习模型进行产品图像缺陷检测时，需要带标注信息的样本；然而实际生产制造过程中，有的产品某些缺陷类型极少出现，几乎无法收集样本，有的产品缺陷标注则需要花费大量的时间和人力。如中国专利CN202110669165.8、中国专利CN202011493629.6等，描述的就是有监督缺陷检测方法，这类方法样本收集与标注成本较为高昂。
[0004]无监督深度学习模型进行产品图像缺陷检测时，不需要标注，只需要无缺陷的训练样本，但其检测精度通常不如有监督模型。中国专利CN202110649145.4提出了一种基于自编码器的无监督缺陷检测方案，然而这种方案对复杂图像的重建较为模糊，从而影响检测准确性；中国专利CN202110415805.2提出利用知识蒸馏进行缺陷检测，但是要蒸馏的工业数据集的构建费时费力；中国专利CN202110196131.1使用生成对抗网络来检测缺陷，但生成对抗网络模式崩塌的问题一直难以解决；以文献《PaDiM:a Patch Distribution Modeling Framework for Anomaly Detection and Localization》为代表，一些方法从ImageNet数据集上预训练出初始网络，然后通过蒸馏压缩在特征层面上找出缺陷，然而这种方法忽略了工业产品和自然图像的差别。

技术实现思路

[0005]本专利技术提供了一种基于无监督特征组合的产品图像缺陷检测方法及装置，以解决在实际生产制造过程中，有的产品某些缺陷类型极少出现，几乎无法收集样本，有的产品缺陷标注则需要花费大量的时间和人力的问题，以及无监督深度学习模型进行产品图像缺陷检测时，检测精度通常不如有监督模型的问题。
[0006]本专利技术采用的技术方案是：公开一种基于无监督特征组合的产品图像缺陷检测方法，包括
[0007]S1：收集少量无缺陷产品图像作为训练样本，并将图像划分为大小相等的小块；
[0008]S2：把每张图像分成两部分，一部分是图像小块，一部分是将对应图像小块部分遮盖后得到的遮盖图像；
[0009]S3：利用图像小块与遮盖图像训练记忆网络与图像修复网络，所述记忆网络和图像修复网络的特征进行组合，并且共享解码器；
[0010]S4：使用经过练得到的记忆网络与图像修复网络对待检产品图像进行缺陷检测。
[0011]作为基于无监督特征组合的产品图像缺陷检测方法的一种优选方式，所述将图像划分为大小相等的小块，是指将各个图像用网格分隔成大小相等的不同图像区域，扩大训练样本。
[0012]作为基于无监督特征组合的产品图像缺陷检测方法的一种优选方式，所述S2包括：
[0013]S2.1：选定训练样本的一张图像，取出图像上的某个图像小块；
[0014]S2.2：将该图像小块对应位置用全黑小块遮盖，得到遮盖图像；
[0015]S2.3：图像小块和对应的遮盖图像构成一个训练样本对；
[0016]S2.4：从S2.1所选的图像上，取出另一个图像小块，并进行S2.2、S2.3步的操作，形成另一个训练样本对；
[0017]S2.5：重复S2.4，直到S2.1所选的图像中每个图像小块都被选择，此时S2.1所选择的这一张图像形成多个训练样本对，训练样本对的数量等于该图像的图像小块个数；
[0018]S2.6：对训练样本的每张图像都执行步骤S2.1
‑
S2.5。
[0019]作为基于无监督特征组合的产品图像缺陷检测方法的一种优选方式，所述S3包括：
[0020]S3.1：构建记忆网络与图像修复网络，所述记忆网络和图像修复网络各自编码器部分输出的特征，进行组合，同时它们共享解码器；
[0021]S3.2：以步骤S2.1
‑
S2.6中形成的训练样本对为输入，训练所述记忆网络与图像修复网络，使得网络重构出基本相同的图像小块。
[0022]作为基于无监督特征组合的产品图像缺陷检测方法的一种优选方式，所述S3.2中，训练所述记忆网络与图像修复网络包括：
[0023]记忆网络的特征用记忆库中的记忆进行替换，替换公式如下：
[0024][0025]q代表记忆网络的编码器提取的特征，m
i
代表记忆，代表用记忆库中记忆替换后的特征，代表权重,j代表记忆库包含的记忆条数；
[0026]记忆网络中使用记忆替换后的特征，与图像修网络中提取的特征，按通道进行连接组合；
[0027]网络训练所使用的损失函数为：
[0028][0029]x代表原始图像小块，代表重构图像小块。
[0030]作为基于无监督特征组合的产品图像缺陷检测方法的一种优选方式，所述S4包括：
[0031]S4.1：将待检图像用网格分隔成大小相等的不同图像区域；
[0032]S4.2：按所述步骤S2.1
‑
S2.6将待检图像转化为图像小块和对应遮盖图像构成的训练样本对；
[0033]S4.3：将训练样本对输入经过练得到的记忆网络与图像修复网络，得到重构图像小块；
[0034]S4.4：将重构图像小块拼接成重构图像，并与待检图像比较，按逐像素差异判断出待检图像是否存在缺陷以及缺陷具体位置。
[0035]作为基于无监督特征组合的产品图像缺陷检测方法的一种优选方式，所述S4.4包括：
[0036]S4.41：计算重构图像与待检图像的逐像素绝对差，并对差值图像选择阈值进行二值化；
[0037]S4.42：使用腐蚀与膨胀运算消除噪声的影响；
[0038]S4.43：判断并输出待检图像是否存在缺陷以及缺陷具体位置，如果最终差值没有超过阈值，则输出待检图像是正常产品的图像；如果最终差值超过阈值，则输出待检图像是缺陷产品的图像，且对应区域即为缺陷存在的区域。
[0039]本专利技术还公开一种基于无监督特征组合的产品图像缺陷检测装置，包括相机和检测模块，所述相机固定在产品生产线上，拍摄产品图像；所述检测模块包括计算机可读存储介质和处理器，通过数据线与所述相机连接；所述计算机可读存储介质存有计算机程序，所述计算机程序通过所述处理器执行上述的基于无监督特征组合的产品图像缺陷检测方法中的步骤。
[0040]本专利技术的有益本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无监督特征组合的产品图像缺陷检测方法，其特征在于，包括S1：收集少量无缺陷产品图像作为训练样本，并将图像划分为大小相等的小块；S2：把每张图像分成两部分，一部分是图像小块，一部分是将对应图像小块部分遮盖后得到的遮盖图像；S3：利用图像小块与遮盖图像训练记忆网络与图像修复网络，所述记忆网络和图像修复网络的特征进行组合，并且共享解码器；S4：使用经过练得到的记忆网络与图像修复网络对待检产品图像进行缺陷检测。2.根据权利要求1所述的基于无监督特征组合的产品图像缺陷检测方法，其特征在于，所述将图像划分为大小相等的小块，是指将各个图像用网格分隔成大小相等的不同图像区域，扩大训练样本。3.根据权利要求1所述的基于无监督特征组合的产品图像缺陷检测方法，其特征在于，所述S2包括：S2.1：选定训练样本的一张图像，取出图像上的某个图像小块；S2.2：将该图像小块对应位置用全黑小块遮盖，得到遮盖图像；S2.3：图像小块和对应的遮盖图像构成一个训练样本对；S2.4：从S2.1所选的图像上，取出另一个图像小块，并进行S2.2、S2.3步的操作，形成另一个训练样本对；S2.5：重复S2.4，直到S2.1所选的图像中每个图像小块都被选择，此时S2.1所选择的这一张图像形成多个训练样本对，训练样本对的数量等于该图像的图像小块个数；S2.6：对训练样本的每张图像都执行步骤S2.1
‑
S2.5。4.根据权利要求3所述的基于无监督特征组合的产品图像缺陷检测方法，其特征在于，所述S3包括：S3.1：构建记忆网络与图像修复网络，所述记忆网络和图像修复网络各自编码器部分输出的特征，进行组合，同时它们共享解码器；S3.2：以步骤S2.1
‑
S2.6中形成的训练样本对为输入，训练所述记忆网络与图像修复网络，使得网络重构出基本相同的图像小块。5.根据权利要求4所述的基于无监督特征组合的产品图像缺陷检测方法，其特征在于，所述S3.2...

【专利技术属性】
技术研发人员：胡亮，张聃，郑敏娥，展华益，
申请(专利权)人：四川启睿克科技有限公司，
类型：发明
国别省市：