一种复原式自监督疵点检测方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种复原式自监督疵点检测方法、装置及存储介质，包括获取无疵点图片；无疵点图片可选择添加或不添加伪异常；若添加伪异常，则可在无疵点图片中选择连续区域进行掩码，或随机裁剪任意区域并对区域内像素进行随机调整，也可同时选择这两种伪异常生成方法，得到生成的伪异常图片和异常标注图；将伪异常图片输入预先训练好的先验初定位模块，初步定位疵点区域，并对疵点区域进行掩码，得到掩码后的图片；将掩码后的图片送入预先训练好的疵点检测模块，得到预测的异常标注图；根据标注图的异常分数进行异常判断与定位；本发明专利技术可以预判断疵点区域进行掩码，保证图像复原期间模型不会学习疵点区域的信息，从而降低算法的漏检率。检率。检率。

【技术实现步骤摘要】
一种复原式自监督疵点检测方法、装置及存储介质


[0001]本专利技术涉及一种复原式自监督疵点检测方法、装置及存储介质，属于图片检测


技术介绍

[0002]工业疵点检测是工业生产中至关重要的步骤之一，直接影响着产品质量和生产效率。传统异常检测任务主要由熟练的工人手工完成，这将极大增加企业生产的成本。而且人工检测会受到疲劳、检测环境等客观因素的影响，导致误检和漏检，一定程度上降低了检测效率。随着人工智能技术在各行各业的广泛应用，智能化疵点检测方法成为了检测工业异常的重要手段。最近，许多研究人员提出了一系列基于CNN的疵点检测方法，包括全卷积网络、Unet模型、深度卷积自编码器网络模型等。
[0003]目前，基于CNN的重建异常检测算法大多是无监督的，利用无监督方法进行疵点检测的原理就在于假设整个检测过程CNN不能完成异常区域的重建。无监督疵点检测模型在训练时只对正常数据的分布进行建模，即在训练过程中，只输入正常样本，使得模型能够学习正常样本的分布，利用原始图像和基于重建的图像之间的误差来实现异常检测。例如基于GAN的Skip
‑
GaNormaly和基于多尺度特征聚类的MS
‑
FCAE方法，就在基于GAN和AE的基础上对正常样本进行学习。然而，在实践中，由于CNN具有很强的泛化能力，可以很好地重建异常，使得重建图片与疵点图片不能很好地显示出差异，导致漏检率高。
[0004]综上所述，疵点检测存在一些缺陷：
[0005](1)在无监督疵点检测中，由于CNN具有很强的泛化能力，可以很好地重建异常，所以在原始图像和基于重建的图像之间不能很好地显现差异，从而导致漏检率高；
[0006](2)基于CNN的疵点检测算法不能实现全局和远程语义信息交互，导致不能生成理想的复原图像；
[0007](3)输入图片与输出图片难以保持对齐，例如图像风格不一致或者存在偏移，因此在计算输出与输入的差异时，很容易造成像素级别的误检。

技术实现思路

[0008]本专利技术的目的在于克服现有技术中的不足，提供一种复原式自监督疵点检测方法、装置及存储介质，可以生成更接近真实的伪异常，并且提出了一种先验掩码机制，可以预判断疵点区域进行掩码，从而保证图像复原期间模型不会学习疵点区域的信息。疵点检测模块使用可变形注意力机制，减少了模型参数量，保证了模型的实时性。
[0009]为达到上述目的，本专利技术是采用下述技术方案实现的：
[0010]第一方面，本专利技术提供了一种复原式自监督疵点检测方法，包括：
[0011]获取无疵点图片；
[0012]选择添加伪异常和不添加伪异常；若选择添加伪异常，则在无疵点图片中选择任意连续区域进行掩码，引入透明度因子来融合掩码区域和图像，或者随机裁剪任意区域进
行旋转并对区域内像素进行随机调整，或者同时选择这两种伪异常生成方法，从而得到生成的伪异常图片和异常标注图；
[0013]将伪异常图片输入预先训练好的先验初定位模块，该模块采用异常扩散定位策略，将图片划分为32
×
32像素的patch，提取每一个patch中的纹理特征，得到代表纹理特征的向量；将向量输入先验初定位模块，运用先验初定位模块判断一个patch是否异常，若是异常则将其掩码，若无异常则不掩码，从而达到初步定位疵点区域，并对疵点区域进行掩码的目的，得到掩码后的图片；
[0014]将掩码后的图片送入预先训练好的疵点检测模块，得到预测的异常标注图，对异常标注图先进行最大值最小值归一化再进行高斯平滑，以去除预测异常标注图中的噪声；
[0015]得到去除噪声的异常标注图后，根据该图的异常分数进行异常判断与定位。
[0016]进一步的，所述先验初定位模块的训练方法包括：
[0017]获取训练集图片，所述训练集图片为无疵点图片；
[0018]将训练集图片划分为32
×
32像素的图像块，一张图片被划分为64个patch，提取每一个patch中的纹理特征；
[0019]对于每个patch中的像素，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0；
[0020]在3
×
3邻域内进行比较后产生了一个8位二进制数，该二进制数代表中心像素纹理值；
[0021]计算每个patch的直方图，然后对该直方图进行归一化处理，得到代表纹理特征的向量；
[0022]将向量输入先验初定位模块进行训练，得到训练后的先验初定位模块。
[0023]进一步的，所述将向量输入先验初定位模块进行训练，得到训练后的先验初定位模块，包括：
[0024]将向量输入先验初定位模块，计算由四种核函数确定的组合核K：
[0025][0026]μ
q
为第i个核的权重，且||ω||2＝1，K
i
是中心化后的第i个基核矩阵，一共有四个基核矩阵，权重μ为非零向量，计算公式如下所示：
[0027][0028]其中，b＝(<K1，yy
T
>
F
，...，<K
q
，yy
T
>F)
T
，y＝(1，1，...，1)
T
，M
ql
＝<K
q
，K
l
>
F
，q，l∈[1，4]，<.，.>
F
是Frobenius内积，将求得的μ引入单类支持向量机，则优化问题就为：
[0029][0030][0031][0032]其中，α
i
是样本点x
i
对应的拉格朗日乘子，μ
q
为第q个核的权重，K(
·
，
·
)为核函数；
[0033]决策函数如下所示：
[0034][0035]得到决策函数后，对先验初定位模块进行训练，得到训练好的先验初定位模块。
[0036]进一步的，所述伪异常图片和异常标注图的生成方法，包括：
[0037]将输入图像大小变换为256
×
256，设置均值和方差，对图像进行标准化；
[0038]定义三个变量分别为flag_1、flag_2和falg_3，flag_1、falg_2和falg_3的值为0或1，输入无疵点图片时随机为变量赋值；
[0039]若flag_1＝0，不生成伪异常；若flag_1＝1，生成伪异常；
[0040]若flag_1＝1、flag_2＝0、flag_3＝0，则随机裁剪该类别中任意图像区域，将该区域进行翻转和饱和度调整，并对该区域的像素位置进行随机调整，放置于无疵点图片的任意区域，得到生成的伪异常图像和异常标注图；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种复原式自监督疵点检测方法，其特征在于，包括：获取无疵点图片；选择添加伪异常和不添加伪异常；若选择添加伪异常，则在无疵点图片中选择任意连续区域进行掩码，引入透明度因子来融合掩码区域和图像，或者随机裁剪任意区域进行旋转并对区域内像素进行随机调整，或者同时选择这两种伪异常生成方法，从而得到生成的伪异常图片和异常标注图；将伪异常图片输入预先训练好的先验初定位模块，该模块采用异常扩散定位策略，将图片划分为32
×
32像素的patch，提取每一个patch中的纹理特征，得到代表纹理特征的向量；将向量输入先验初定位模块，运用先验初定位模块判断一个patch是否异常，若是异常则将其掩码，若无异常则不掩码，从而达到初步定位疵点区域，并对疵点区域进行掩码的目的，得到掩码后的图片；将掩码后的图片送入预先训练好的疵点检测模块，得到预测的异常标注图，对异常标注图先进行最大值最小值归一化再进行高斯平滑，以去除预测异常标注图中的噪声；得到去除噪声的异常标注图后，根据该图的异常分数进行异常判断与定位。2.根据权利要求1所述的复原式自监督疵点检测方法，其特征在于，所述先验初定位模块的训练方法包括：获取训练集图片，所述训练集图片为无疵点图片；将训练集图片划分为32
×
32像素的图像块，一张图片被划分为64个patch，提取每一个patch中的纹理特征；对于每个patch中的像素，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0；在3
×
3邻域内进行比较后产生了一个8位二进制数，该二进制数代表中心像素纹理值；计算每个patch的直方图，然后对该直方图进行归一化处理，得到代表纹理特征的向量；将向量输入先验初定位模块进行训练，得到训练后的先验初定位模块。3.根据权利要求2所述的复原式自监督疵点检测方法，其特征在于，所述将向量输入先验初定位模块进行训练，得到训练后的先验初定位模块，包括：将向量输入先验初定位模块，计算由四种核函数确定的组合核K：μ
q
为第i个核的权重，且||μ||2＝1，K
i
是中心化后的第i个基核矩阵，一共有四个基核矩阵，权重μ为非零向量，计算公式如下所示：其中，b＝(<K1，yy
T
>
F
，...，<K
q
，yy
T
>F)
T
，y＝(1，1，...，1）
T
，M
ql
＝<K
q
，K
l
>
F
，q，l∈[1，4]，<.，.>
F
是Frobenius内积，将求得的μ引入单类支持向量机，则优化问题就为：
其中，α
i
是样本点x
i
对应的拉格朗日乘子，μ
q
为第q个核的权重，K(
·
，
·
)为核函数；决策函数如下所示：得到决策函数后，对先验初定位模块进行训练，得到训练好的先验初定位模块。4.根据权利要求1所述的复原式自监督疵点检测方法，其特征在于，所述伪异常图片和异常标注图的生成方法，包括：将输入图像大小变换为256
×
256，设置均值和方差，对图像进行标准化；定义三个变量分别为flag_1、flag_2和falg_3，flag_1、falg_2和falg_3的值为0或1，输入无疵点图片时随机为变量赋值；若flag_1＝0，不生成伪异常；若flag_1＝1，生成伪异常；若flag_1＝1、flag_2＝0、flag_3＝0，则随机裁剪该类别中任意图像区域，将该区域进行翻转和饱和度调整，并对该区域的像素位置进行随机调整，放置于无疵点图片的任意区域，得到生成的伪异常图像和异常标注图；若flag_1＝1、flag_2＝1、flag_3＝0，则随机选取图像一点为中心点选择一块32
×
32像素图像区域，在图像区域内选择任意连续区域进行掩码，引入透明度因子来融合掩码区域和图像，得到生成的伪异常图片和异常标注图；若flag_1＝1、flag_3＝1，则同时使用两种异常生成方法，得到生成的伪异常图片和异常标注图。5.根据权利要求1所述的复原式自监督疵点检测方法，其特征在于，所述疵点检测模块的训练方法包括：将掩码后的图片输入疵点检测模块，所述疵点检测模块由两个U型结构组成，一个U型结构包括一个可变形的transformer模型，所述transformer模型包括由多层transformer组成的encoder和多层transformer组成的decoder以及跳跃链接，其中encoder的每一个模块由可变形注意力模块和Patch Merging层组成，decoder由可变形注意力模块和上采样模块构成；将输入图片分成多个patch，同时嵌入位置信息，进入可变形注意力模块进行特征学习；经过编码器的可变形注意力模块和Patch mering层后，再经过decoder进行上采样和可变形注意力机制操作，得到复原后的图像，其中上采样操作为PixelShuffle和双线性插值操作；U型的可变形transformer模型输出一张复原后的图片，与生成的伪异常图片进行拼接后送入Unet网络进行分类，得到一张预测的异常标注图，图的大小为256
×
256，对异常标注图进行最大值最小值归一化和高斯平滑操作，以去除噪声，对图片进行二值化操作，得到二值...

【专利技术属性】
技术研发人员：颜佩漪，江结林，朱加乐，许小龙，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：