一种基于高斯混合模型的无监督缺陷分割算法制造技术

本发明专利技术公开了基于高斯混合模型的无监督缺陷分割算法，包括：S1、对正常图像提取特征，得到第一特征图；S2、按照第一特征图每个通道上方差大小对其进行特征选择，筛选出方差最大的topK个维度，使用这K个维度的特征组成第一新特征图，同时保留这K个维度的K个索引；S3、通过高斯混合模型对第一新特征图上每个位置处的特征的概率分布进行建模，并计算模型参数；S4、对测试图像按照步骤S1的方式进行特征提取，得到第二特征图，再对第二特征图按步骤S2得到的K个索引进行维度筛选，获得第二新特征图；S5、基于步骤S3计算的参数，对第二新特征图上所有位置处的特征都分别计算异常分数，得到测试图像的异常图。测试图像的异常图。测试图像的异常图。

【技术实现步骤摘要】
一种基于高斯混合模型的无监督缺陷分割算法


[0001]本专利技术涉及计算机图像处理领域，具体涉及一种基于高斯混合模型的无监督缺陷分割算法。

技术介绍

[0002]缺陷分割是定位图像中异常区域的过程。在工业领域中，自动定位产品的缺陷是非常有价值的，然而训练样本的获得以及标定成本较高，而且异常的类型往往是多样化的。在这种情况下传统的监督学习方法效果不佳。近年来，无监督学习方法相继出现，这类方法只在正常样本上进行训练，即可使模型拥有识别异常样本的能力。而无监督分割算法更进一步，模型不仅能够识别异常样本，更能定位异常区域，这使得这类算法有着更大的工业应用前景。
[0003]例如，Thomas Defard等基于预训练模型和马氏距离提出的无监督分割算法PaDiM(Defard,Thomas；Setkov,Aleksandr；Loesch,Angelique；Audigier,Romaric(2020):PaDiM:a Patch Distribution Modeling Framework forAnomaly Detection and Localization.Available online at http://arxiv.org/pdf/2011.08785v1.)PaDiM算法流程概括如下：利用在ImageNet上预训练的WideResNet
‑
50模型对所有正常图片进行特征提取；之后将中间2、3、4层的Block输出的特征图提取出来，先统一缩放到56
×
56的大小，再将这三个特征图在通道维度拼接起来。由于此时特征图的通道数目非常大，使用随机抽取的方式选取550维特征。假设该特征图每个位置处的特征向量来源于一个多维高斯分布，则可通过所有正常图片的特征图计算出每个位置处高斯分布的均值向量和协方差矩阵。在测试新的图片的时候，首先也将该图片进行特征抽取和拼接，之后利用之前计算得到的均值和协方差计算该位置出的马氏距离，该数值即可作为该位置处的异常分数；最终将其放大至原图片的大小即可得到针对测试图片的异常图(Anomaly Map)；利用该异常图即可定位缺陷的位置。
[0004]现有的方法虽然使用了网络的中间特征，保留了多尺度的信息，但是在降低维度的过程中，使用了简单的随机选择固定维数特征的方式，损失了一定的信息。而且假设特征图某一位置的向量服从多维高斯分布，不足以充分描述特征向量真正的分布。在对图片进行测试的时候，只是使用测试图片特征图对应位置处的高斯分布参数进行异常分数的计算，使得该算法对进行平移、旋转之后的测试图片测试准确率下降，降低了算法的鲁棒性。

技术实现思路

[0005]本专利技术的主要目的是针对现有无监督缺陷分割算法在降维中丢失信息过多，模型对分布的建模不够精确以及算法鲁棒性不足的问题，提出一种基于高斯混合模型的无监督缺陷分割算法。
[0006]为达上述目的，本专利技术其中一方面提出以下技术方案：
[0007]一种基于高斯混合模型的无监督缺陷分割算法，包括如下步骤：S1、对正常图像进
行特征提取，得到第一特征图E
n
；S2、按照所述第一特征图E
n
每个通道上方差大小对其进行特征选择，筛选出方差最大的topK个维度，使用这K个维度的特征组成第一新特征图E
n
’
，同时保留这K个维度的K个索引；S3、通过高斯混合模型对所述第一新特征图E
n
’
上每个位置处的特征的概率分布进行建模，并计算模型参数；S4、对测试图像按照步骤S1的方式进行特征提取，得到第二特征图E
t
，再对所述第二特征图E
t
按步骤S2得到的K个索引进行维度筛选，获得第二新特征图E
t
’
；S5、基于步骤S3计算出的参数，对所述第二新特征图E
t
’
上所有位置处的特征都分别计算异常分数，得到测试图像的异常图。
[0008]本专利技术另一方面还提出一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时能实现前述无监督缺陷分割算法的步骤。
[0009]与现有技术相比，本专利技术提出的基于高斯混合模型的无监督缺陷分割算法，具备如下技术效果：其中针对维度的选择，使用基于方差的特征选择技术，选择方差较大的维度，降低在降维过程中的信息损失；使用高斯混合模型(Gaussian Mixture Model,GMM)对特征向量进行建模，能够比单一的多元高斯分布更精确地描述特征向量的分布特征，从而给出更精确的异常分数；最后，在推断的时候，针对测试图片的某一特征向量，融合其对应位置处周围多个分布计算的结果，使得算法更具有鲁棒性。
附图说明
[0010]图1是本专利技术实施例基于高斯混合模型的无监督缺陷分割算法的流程示意图。
具体实施方式
[0011]下面结合附图和具体的实施方式对本专利技术作进一步说明。本专利技术实施例提出一种基于高斯混合模型的无监督缺陷分割算法，请参考图1，该算法包括如下流程步骤S1～S5：
[0012]S1、对正常图像I
n
进行特征提取，得到其特征图，记为E
n
；其中I
n
代表N个正常图像样本中的第n张正常图像，因此n＝1,2,
…
,N。
[0013]在步骤S1中，用于特征提取的特征生成模块M1是使用在ImageNet上预训练的Wide ResNet
‑
50，针对N个样本中的第n个正常图像I
n
，n＝1,2,
…
,N，经过前向计算之后得到第2、3、4个block的中间特征，分别记为f2、f3、f4；然后将中间特征f2、f3、f4放大到最大特征图的尺度，本例中f2为最大特征图，因此将f3和f4放大到与f2相同的尺度，即56
×
56。将经过放大之后的中间特征在通道维度上进行拼接，即得到特征图E
n
。
[0014]S2、按照特征图E
n
每个通道上方差大小对其进行特征选择，筛选出方差最大的top K个维度，使用这K个维度的特征组成新的特征图E
n
’
，同时保留这K个维度的K个索引。如图1所示，模块V即用于执行该步骤。关于K的取值，与特征图原始维度(1792维)相比不宜太小，在实验中验证过K＝1000时，不会丢失太多信息、性能并不会有明显降低，因此可以理解的是，K在小于原始特征维度的范围内取1000以上皆可。
[0015]在步骤S2中，按照下面的公式求解特征图E
n
每个通道上的均值μ
c
和方差D(x
c
)：
其中，W和H分别为特征图E
n
的宽度和长度；x
ncij
代表第一特征图En的第c个通道，位置(i,j)处的值，x
c
代表特征图E
n...

【技术保护点】

【技术特征摘要】
1.一种基于高斯混合模型的无监督缺陷分割算法，其特征在于，包括如下步骤：S1、对正常图像进行特征提取，得到第一特征图E
n
；S2、按照所述第一特征图E
n
每个通道上方差大小对其进行特征选择，筛选出方差最大的topK个维度，使用这K个维度的特征组成第一新特征图E
n
’
，同时保留这K个维度的K个索引；S3、通过高斯混合模型对所述第一新特征图E
n
’
上每个位置处的特征的概率分布进行建模，并计算模型参数；S4、对测试图像按照步骤S1的方式进行特征提取，得到第二特征图E
t
，再对所述第二特征图E
t
按步骤S2得到的K个索引进行维度筛选，获得第二新特征图E
t
’
；S5、基于步骤S3计算出的参数，对所述第二新特征图E
t
’
上所有位置处的特征都分别计算异常分数，得到测试图像的异常图。2.如权利要求1所述的基于高斯混合模型的无监督缺陷分割算法，其特征在于，步骤S1具体包括：S11、使用在ImageNet上预训练的Wide ResNet
‑
50作为特征提取器，针对N个样本中的第n个正常图像I
n
，n＝1,2,
…
,N，经过前向计算之后得到第2、3、4个block的中间特征，分别记为f2、f3、f4；S12、将中间特征f2、f3、f4放大到预设尺度，将经过放大之后的中间特征在通道维度上进行拼接，得到所述第一特征图E
n
。3.如权利要求2所述的基于高斯混合模型的无监督缺陷分割算法，其特征在于，步骤S12中将中间特征f2、f3、f4放大到预设尺度的步骤包括：以中间特征f2、f3、f4三者中最大特征图尺度作为所述预设尺度，将另外两者放大到该预设尺度。4.如权利要求1所述的基于高斯混合模型的无监督缺陷分割算法，其特征在于，步骤S2中通过如下方式求解所述第一特征图E
n
每个通道上的均值μ
c
和方差D(x
c
)：)：其中，N为正常图像样本总数，W和H分别为所述第一特征图E
n
的宽度和长度；x
ncij
代表第一特征图En的第c个通道，位置(i,j)处的值，x
c
代表所述第一特征图E
n
在通道c处的值。5.如权利要求1所述的基于高斯混合模型的无监督缺陷分割算法，其特征在于，步骤S3中所述高斯混合模型由K个高斯模型组合而成，相应的概率分布为：其中，x表示所述第一新特征图E
n
’
上位置(i,j)处的特征向量，θ代表该概率分布的参数集合，P(x|θ)表示x在θ所代表的分布下的概率密度；α
k
是观测特征属于第k个高斯模型的概率，α
k
≥0，φ(x|θ
k
)代表第k个高斯模型分布的密度函数，由θ
k
确定，
μ
k
、σ
k
分别代表第k个高斯模型的均值和协方差；步骤S3计算的所述模型参数包括α
k
和每个高斯模型的参数θ
k
，计算方法为最大期望算法进行迭代计算。6.如权利要求5所述的基于高斯混合模...

【专利技术属性】
技术研发人员：李秀，刘鸿博，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：