一种基于屏蔽重建的工业缺陷检测方法、装置及介质制造方法及图纸

本发明专利技术属于图像处理技术领域，提供了一种基于屏蔽重建的工业缺陷检测方法、装置及介质，包括步骤：S1、获取待检测的图像样本；S2、将获取的待检测图像样本进行预处理；S3、将预处理后的样本输入至第一级缺陷预检测网络，检测得到疑似缺陷区域；S4、将疑似缺陷区域进行屏蔽，并将未屏蔽的图像块送入第二级屏蔽自编解码网络，得到原图像的重建图像；S5、将待检测图像与重建图像进行重建误差计算，并判定样本是否为缺陷品以及确定缺陷区域。本发明专利技术的优点在于利用屏蔽自编码网络重建输入的部分屏蔽图像序列，解决了一般的自编码网络在小型缺陷数据集上的过拟合问题，并且该算法可以达到实时检测的要求，更加适合于工业缺陷检测等场景中的应用。的应用。的应用。

【技术实现步骤摘要】
一种基于屏蔽重建的工业缺陷检测方法、装置及介质


[0001]本专利技术涉及图像处理
，尤其涉及一种基于屏蔽重建的工业缺陷检测方法、装置及介质。

技术介绍

[0002]工业产品缺陷检测领域中主要有两大方向，一是基于目标检测，二是基于异常检测，基于目标检测的缺陷检测方法已经存在较多的研究，但是从异常检测的角度来解决缺陷检测还存在很多的挑战。
[0003]缺陷检测中存在着很多的难点和挑战：不确定性，缺陷和很多的不确定性相关联，例如不确定的视觉特征，有一些缺陷在没有实际出现之前都是不确定的；稀缺性，缺陷样本通常是相当稀缺的，想要收集一个带有大量标注的缺陷数据集是相当困难也是几乎不太可能的；异构性，缺陷是不规则的，因此一类缺陷可能和另一类缺陷表现出完全不同的视觉特征，甚至同一类缺陷也会存在特征上的变化。上述的缺陷特性使得基于目标检测的方法有时不能很好发挥作用，但基于异常检测的方法可以一定程度上解决上述的难点和挑战。
[0004]当前，异常检测主要是基于正常特征建模。该类方法通常只需要正常样本用于网络的训练，该类方法更关注于正常样本特征，在检测过程中通过特征对比将特征远离正常特征的样本视作异常样本，这类方法最大的优点在于不需要有标注的异常样本作为训练样本，这可以极大程度上减少数据收集中的人力和钱力开销，在异常并不是完全已知并且数据收集代价较高时更具有吸引力，但是这类方法的问题在于，可能将特征不同于正常特征的样本都归类于异常。由于该类方法在训练时只需要提取出正常特征并构建特征分布模型，测试时只需要计算测试样本的特征和分布模型之间的距离，就可以实现缺陷的检测，故该类方法往往是轻量级的和易于实现的，并且该类方法可能将特征不同于正常特征的样本都归类于异常，故具有高召回率，适合于定位出疑似缺陷的区域。
[0005]其他异常检测算法中主要有通过建立特定的学习任务来学习正常特征的方法，如自编码器网络。自编码器网络训练时在正常样本集中对输入的正常样本进行重建，由于有缺陷样本未参与训练，故缺陷样本中的缺陷区域会存在更大的重构误差，因此可以检测出样本中的缺陷区域。但是由于一般缺陷检测数据集数据规模较小，一般的自编码网络容易过拟合，学习出一个恒等映射关系，即重构样本和输入样本有着完全相等的视觉特征，因此有缺陷样本在通过自编码器网络后也可能输出完全一样的重构样本，故不再能有效检测和定位出缺陷位置。

技术实现思路

[0006]本专利技术从异常检测的角度来解决缺陷检测的问题，针对一般的自编码器网络容易在小规模的缺陷检测数据集上过拟合的问题，本专利技术的目的是提出一种基于屏蔽重建的工业缺陷检测方法、装置和介质。
[0007]为了实现上述目的，本专利技术采用的技术方案为：
本专利技术的第一方面提供一种基于屏蔽重建的工业缺陷检测方法，包括步骤：S1、获取待检测的图像样本；S2、将获取的待检测图像样本进行预处理；S3、将预处理后的待检测图像样本输入至第一级缺陷预检测网络，检测得到疑似缺陷区域；S4、将疑似缺陷区域进行屏蔽，并将未屏蔽的图像块送入第二级屏蔽自编解码网络进行编码和解码，得到待检测图像样本的重建图像；S5、将待检测图像与重建图像进行重建误差计算，并基于重建误差判定样本是否为缺陷品并确定图像样本中的缺陷区域。
[0008]进一步的，第一级缺陷预检测网络包括：特征提取网络，用于提取待检测图像样本中的特征；比对单元，用于计算提取的特征和相同位置处的多元高斯分布之间的马氏距离，并生成待检测图像样本的第一异常得分图。
[0009]进一步的，对第一级缺陷预检测网络进行训练的步骤包括：将数据集中的图像样本以局部图像块形式表示，并输入至特征提取网络提取每个图像块的特征；对每个位置的图像块特征以多元高斯分布形式建模，并将生成的多元高斯分布参数储存。
[0010]进一步的，通过训练后的第一级缺陷预检测网络定位待检测图像样本中疑似缺陷区域的步骤包括：获取预处理后的待检测图像样本；将预处理后的待检测图像样本以局部图像块的形式表示；通过特征提取网络提取局部图像块中每个图像块的特征；通过比对单元计算每个位置处图像块的特征和训练所得的相同位置处的多元高斯分布之间的马氏距离，并生成第一异常得分图；通过第一异常得分图结合异常阈值将待检测图像样本中疑似缺陷的区域定位。
[0011]进一步的，第二级屏蔽自编解码网络由编码器和解码器构成，编码器用于提取输入图像序列中未被屏蔽的图像块的特征，解码器用于结合未被屏蔽图像块的特征和被屏蔽图像块的编码特征，解码得到与待检测图像样本相同分辨率的重建图像。
[0012]进一步的，步骤S4具体包括：将所述第一级缺陷预检测网络定位所得的疑似缺陷区域屏蔽；将屏蔽后的图像块输入至第二级屏蔽自编解码网络的编码器中，通过编码器对未屏蔽的图像块进行编码，得到每一个未屏蔽图像块的编码特征块；根据每一个未屏蔽图像块的编码特征块通过解码器重建出被屏蔽的图像块，并得到与待检测图像样本相同分辨率的重建图像。
[0013]进一步的，步骤S5中将待检测图像与重建图像进行重建误差计算，并基于重建误差判定样本是否为缺陷品并确定图像样本中的缺陷区域的具体步骤包括：计算重建的图像样本和待检测图像样本之间的重建误差，并生成第二异常得分图；
选取第二异常得分图中的最大值作为所述待检测样本的图像级异常得分，若图像级异常得分大于预设图像级异常阈值时，则所述样本被判定为缺陷品，所述第二异常得分图中大于预设像素级异常阈值的区域则被判定为缺陷区域。
[0014]本专利技术第二方面，提供一种基于屏蔽重建的工业缺陷检测装置，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器能够执行基于屏蔽重建的工业缺陷检测方法。
[0015]本专利技术第三方面，提供一种计算机可读存储介质，当所述存储介质中的指令由设备内的处理器执行时，使得所述设备能够执行基于屏蔽重建的工业的缺陷检测方法。
[0016]本专利技术与现有技术相比，至少包含以下有益效果：（1）通过利用屏蔽自编解码网络重建输入的部分屏蔽图像序列，有效解决了一般的自编码网络在小型缺陷数据集上的过拟合问题；（2）利用正常样本建模，就可以实现缺陷检测及定位，避免了对大规模有标注的缺陷样本数据集的需求；（3）提供了一种在小型缺陷数据集上有效训练深层卷积网络的方式，并且由于本方法的主要开销在于运行一遍屏蔽自编码器，该方法可以达到实时检测的要求，更加适合于工业缺陷检测等场景中的应用。
附图说明
[0017]图1是本专利技术中基于屏蔽重建的工业缺陷检测方法的流程图。
[0018]图2是本专利技术中缺陷检测方法的示意图。
[0019]图3是本专利技术中对第一级缺陷预检测网络进行训练的步骤流程图。
[0020]图4是本专利技术中第一级缺陷预检测网络的示意图。
[0021]图5是本专利技术中定位待检测图像样本中疑似缺陷区域的步骤流程图。
[0022]图6是本专利技术中屏蔽自编解码网络的训练示意图。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于屏蔽重建的工业缺陷检测方法，其特征在于，包括步骤：S1、获取待检测的图像样本；S2、将获取的待检测图像样本进行预处理；S3、将预处理后的待检测图像样本输入至第一级缺陷预检测网络，检测得到疑似缺陷区域；S4、将疑似缺陷区域进行屏蔽，并将未屏蔽的图像块送入第二级屏蔽自编解码网络进行编码和解码，得到待检测图像样本的重建图像；S5、将待检测图像与重建图像进行重建误差计算，并基于重建误差判定样本是否为缺陷品并确定图像样本中的缺陷区域。2.根据权利要求1所述的一种基于屏蔽重建的工业缺陷检测方法，其特征在于，所述第一级缺陷预检测网络包括：特征提取网络，用于提取待检测图像样本中的特征；比对单元，用于计算提取的特征和相同位置处的多元高斯分布之间的马氏距离，并生成待检测图像样本的第一异常得分图。3.根据权利要求2所述的一种基于屏蔽重建的工业缺陷检测方法，其特征在于，对第一级缺陷预检测网络进行训练的步骤包括：将数据集中的图像样本以局部图像块形式表示，并输入至特征提取网络提取每个图像块的特征；对每个位置的图像块特征以多元高斯分布形式建模，并将生成的多元高斯分布参数储存。4.根据权利要求3所述的一种基于屏蔽重建的工业缺陷检测方法，其特征在于，通过训练后的第一级缺陷预检测网络定位待检测图像样本中疑似缺陷区域的步骤包括：获取预处理后的待检测图像样本；将预处理后的待检测图像样本以局部图像块的形式表示；通过特征提取网络提取局部图像块中每个图像块的特征；通过比对单元计算每个位置处图像块的特征和训练所得的相同位置处的多元高斯分布之间的马氏距离，并生成第一异常得分图；通过第一异常得分图结合异常阈值将待检测图像样本中疑似缺陷的区域定位。5.根据权利要求1所述的一种基于屏蔽重建的工业缺陷检测方法，其特征在于，所述第二级...

【专利技术属性】
技术研发人员：张重阳，姚欣成，马煜东，张保柱，
申请(专利权)人：宁波海棠信息技术有限公司，
类型：发明
国别省市：