基于自组织映射网络的无监督工业异常检测与定位方法技术

本发明专利技术提供了基于自组织映射网络的无监督工业异常检测与定位方法，将特征提取时不同层的特征视为不同视图以减少不同语义级别信息间的相互干扰，并将每个图像视为多个图片块，用自组织映射网络来学习这些图片块的分布信息，进而通过分布信息给出每个图片块的异常分数，最后设置确定异常的阈值，从而实现异常检测。检测。检测。

【技术实现步骤摘要】
基于自组织映射网络的无监督工业异常检测与定位方法


[0001]本专利技术属于机器学习领域，具体涉及基于自组织映射网络的无监督工业异常检测与定位方法。

技术介绍

[0002]异常检测是指检测不符合预期模式或正常分布的样本。它在工业生产的质量控制中起着重要作用，但在实际生产环境中很难以有监督的方式进行异常检测。一方面，有缺陷的样本比正常样本少得多；另一方面，某些类别的图像缺陷是无法获取的，即无法保证测试时的缺陷类型在训练阶段都遇到了。因此，异常检测模型通常以单类学习的形式进行，即该模型在训练期间只能访问正常样本而不能访问缺陷样本，并且可以在推理期间识别异常样本。
[0003]近年来，基于特征嵌入相似性的方法在工业异常检测场景中获得了巨大的成功，这类方法需要使用深度神经网络来提取图片有意义的信息，生成特征嵌入。对于异常检测任务来说，该方法会将整张图片描述为特征向量；对于异常定位任务来说，该方法往往将整张图片看作多个小图片块，然后将每个小图片块描述为特征向量。在这种情况下，异常检测往往通过比较测试图像的特征向量与对应正常图片的参考向量之间的距离实现。其中参考向量可以是由所有正常嵌入向量构成也可以是通过某些措施从中选择部分具有代表性的向量构成。前一种措施效果很好但是因为需要保存所有正常嵌入向量，所以需要巨大的存储空间并且由于保存的信息过多，在测试时所需的时间也较多，因此该方法在工业部署上有很大的局限性。后一种措施虽然大大减少了参考向量的规模，但是一方面选择具有代表性向量的方法复杂度太高所以只能采用无法保证参考向量质量的贪心策略，另一方面在这个挑选的过程中也会丢失很多信息。此外由于深度网络浅层的特征图更加关注细节信息而深层的特征图更加关注上下文信息，这两者恰好都对异常检测问题很重要，所以这类方法通常会综合使用多个层的特征图，以提高检测的精度。但是这些方法对多级特征的使用方式过于简陋，仅仅将深层的特征图上采样到和浅层相同尺寸，然后将多个特征图按照通道方向拼接起来。这会导致不同层的特征图相互干扰。尤其是深层的特征图本身维度就很高，经过上采样后还会出现很多相同的数值，这会对浅层特征的差异性产生严重负面影响。
[0004]自组织映射网络SOM是一种经典的无监督学习方法，由Kohonen提出。SOM的主要目的是在低维空间(通常是二维空间)中使用有限数量的神经元来表示输入数据项的分布，并在此过程中保留拓扑结构。它包含组织在二维网格中的M*N个神经元节点，其中c
i
表示神经元i的权重向量。在训练时，训练集中的所有数据都被输入到SOM中，并通过竞争找到最佳匹配单元，然后需要更新权重矩阵。为了使SOM保持拓扑空间中输入向量的邻域关系，不仅要更新最佳匹配单元的权重，还要更新了其邻居节点的权重。当模型收敛时，每个输入向量都被分配给一个神经元节点，并且具有拓扑保持的特性，即相似的向量在网格上靠得更近。这种邻域学习的特性也使其极其适合处理图片块类型的数据。
[0005]在工业异常检测场景中存在两个问题，一是各种算法为了综合考虑不同语义级别
的信息将不同层的特征图组合起来，但是操作过于简陋以至于忽略了不同层级信息间存在的相互干扰；二是为了提高测试阶段的效率，试图减少参考向量的规模，但是却难以做到在减少参考向量规模的同时尽可能多地保留信息。

技术实现思路

[0006]专利技术目的：本专利技术所要解决的技术问题是针对现有技术的不足，提供基于自组织映射网络的无监督工业异常检测与定位方法。
[0007]本专利技术将每个图像视为多个图片块并采用在ImageNet数据集上预训练的Wide
‑
Resnet50x2模型作为特征提取器。特征提取时，选择模型前三个layer提取的特征图作为图片的特征向量，并将每个layer的特征图视为独立视图，以减少相互干扰。此外为了减少测试时参考向量的规模，使用自组织映射网络来组织图片块特征嵌入，因为SOM是一种简单有效的在线学习方法，其邻域学习机制可以利用图片块的位置信息，所以很适合处理图片块。当SOM训练完成后，每个训练图片块都有一个对应的神经元节点，如此用有限数量的神经元节点保存了大量训练图片块的特征向量，从而极大地降低了算法的代价。最后通过计算投影到SOM中每个节点的所有图片块特征向量的均值和方差来对图片块的分布进行建模，从而更好地保存了训练图片块中包含的信息。所提出的方法已在MVTec AD的15个数据集上进行验证，在无监督异常检测和定位任务中取得了最先进的性能。
[0008]本专利技术具体实施过程如下：
[0009](1)将训练图片划分为图片块，并利用预训练模型作为特征提取器进行特征提取，将模型前三层提取到的特征图视为不同视图。如此对于训练图片x，其每个位置的图片块与三个特征向量相关联，其中i,j表示在图片中的位置，t表示该向量所属视图；
[0010](2)使用三个自组织映射网络分别处理三个视图的特征向量，将所有训练图片的特征向量都投影到节点上，并计算每个节点上所有特征向量的均值μ和方差Σ，构建正常图片块对应的分布；
[0011](3)对于训练图片中每个图片块对应的三个特征向量，在相应的SOM中寻找对应的获胜神经元节点并计算马氏距离，最后综合不同视图的马氏距离获得最终的异常分数；
[0012](4)利用得到的异常分数设置异常分数阈值θ；
[0013](5)将测试对象x分块并提取每个小块在不同视图上的特征向量，计算每个小块在不同视图上的马氏距离并获得相应的异常分数，并将其与异常分数阈值相比较，若小于阈值，被视为正常，否则被视为异常。
[0014]有益效果：本专利技术通过将模型不同层提取的特征图看做不同视图并分别处理，减少了视图间的相互干扰；通过将提取到的图片块特征向量投影到自组织映射网络上，大大缩减了特征向量的规模，降低算法成本；通过将图片分块处理的操作使得算法能高效的进行图片对齐，即相似的图片块都投影到相同的神经元上，这使得计算出来的分布更加准确。以上三种措施均实现了性能的提高。
附图说明
[0015]下面结合附图和具体实施方式对本专利技术做更进一步的具体说明，本专利技术的上述和/或其他方面的优点将会变得更加清楚。
[0016]图1是基于自组织映射网络的工业异常检测与定位算法流程图。
[0017]图2是基于自组织映射网络的工业异常检测与定位算法具体训练过程示意图。
[0018]图3是部分异常检测与定位结果示意图。
具体实施方式
[0019]本具体实施方式中实验数据均来自真实工业生产场景中获得的MVTec AD数据集，其中有五个纹理类数据集，包括地毯(carpet)，网格(grid)，皮革(leather)，瓷砖(tile)以及木材(wood)；还有十个物体类数据集，包括瓶子(bottle)，缆线(cable)，胶囊(capsule)，榛子(hazelnut)，金属螺母(metal_nut)，药片(pill)，钉子(screw)，牙刷(toothbrush)，晶体管(transistor)以及本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于自组织映射网络的无监督工业异常检测与定位方法，其特征在于，包括以下步骤：步骤1，将训练图片划分为n*n个图片块，n∈[2,size]，其中size是训练图片的像素级尺寸，并进行特征提取，每个图片块得到三个视图的特征向量；步骤2，使用三个自组织映射网络SOM分别处理三个视图的特征向量，将所有训练图片块的特征向量都投影到节点上，并计算每个节点上所有特征向量的均值μ和方差Σ，构建正常图片块对应的分布；步骤3，计算图片块的异常分数；步骤4，设置异常分数阈值θ；步骤5，对工业异常进行检测和定位。2.根据权利要求1所述的方法，其特征在于，步骤1包括：获取真实工业生产场景中的MVTec AD数据集，MVTec AD数据集包括纹理类数据集和物体类数据集，将纹理类数据集和物体类数据集中的图片作为训练图片，将训练图片划分为n*n个图片块，采用在ImageNet数据集上预训练的Wide
‑
Resnet50x2模型作为特征提取器，进行特征提取，将模型前三层提取到的特征图视为不同视图，并将提取到的特征图尺寸上采样到与图片块数量一致，使得每个图片块都有对应的特征向量。3.根据权利要求2所述的方法，其特征在于，步骤1中，对于训练图片x，其每个位置的图片块与三个特征向量相关联，其中i,j∈[1,n]，t∈[1,3]，表示第t个视图下在图片中横坐标i、纵坐标j位置处的特征向量。4.根据权利要求3所述的方法，其特征在于，步骤2包括：步骤2
‑
1，采用三个自组织映射网络分别处理三个视图的图片块特征向量，将步骤1获得的图片块特征向量作为训练集，每次从训练集中抽取一个特征向量f
t
，然后确定获胜神经元，公式如下：其中，i
t
为神经元的下标，f
t
为输入的特征向量，为第i个神经元的权值向量；然后更新神经元及其邻域内神经元的权值向量，公式如下：其中是第n+1次更新时第j个神经元的权值向量，α(n)是第n次更新时的学习率，h
j,i(f)
(n)是获胜神经元i(f)的邻域函数，f
t
(n)是第n次更新时输入的特征向量；步骤2
‑
2，重复步骤2
‑
1直至三个自组织映射网络的权值向量不再变化，训练完成，获得三个训练完成的自组织映射网络SOM，分别记为SOM1、SOM2、SOM3；步骤2
‑
3，计算每个投影到每个...

【专利技术属性】
技术研发人员：陈松灿，刘达，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：