一种加入Transformer的串式知识蒸馏的无监督缺陷检测方法技术

本发明专利技术公开了本发明专利技术公开一种加入Transformer的串式知识蒸馏的无监督缺陷检测方法，属于无监督缺陷检测技术领域，包含教师模型、学生模型结构、串式知识蒸馏结构、串式知识蒸馏训练方式；包括：教师模型，学生模型结构；串式知识蒸馏训练方式；在教师模型与学生模型之间加入基于Transformer的特征聚合过滤模块。将正常的样本加入模型进行进行压缩并重构训练，将训练好的网络在测试集上进行重构对重构结果进行对比实现像素级缺陷检测。本发明专利技术在无监督缺陷检测上实现了优秀的性能。在无监督缺陷检测上实现了优秀的性能。在无监督缺陷检测上实现了优秀的性能。

【技术实现步骤摘要】
一种加入Transformer的串式知识蒸馏的无监督缺陷检测方法


[0001]本专利技术涉及无监督缺陷检测
，一种加入Transformer的串式知识蒸馏的无监督缺陷检测方法。

技术介绍

[0002]缺陷检测是计算机视觉的一个重要的研究问题，其目的是从数据集中检测出与正常数据有差异的各类异常缺陷。根据应用场景不同，包括制造缺陷检测、医学图像分析和视频监控。传统异常检测方法:基于模板匹配、基于统计模型、基于图像分解等，但是由于传统方法的泛化能力和检测效果均不理想。因此主流的异常检测算法通常基于深度学习技术，按照使用的监督信息可以分为有监督方法、无监督方法、半监督方法。
[0003]有监督的方法需要收集大量的正常样本和缺陷样本并进行标注。实际中，缺陷样本往往是很稀缺的，通常难以收集足够数量的异常样本来训练模型，其次对缺陷样本进行界定及标注也会消耗大量的人工成本。因此无监督异常检测成为近年来的主要发展方向。

技术实现思路

[0004]本专利技术所要解决的技术问题是针对
技术介绍
的不足提供一种加入Transformer的串式知识蒸馏的无监督缺陷检测方法，在仅使用正常样本且无标注的情况下，实现了对测试样本进行缺陷检测和像素级缺陷定位，且实现了优秀的检测性能。
[0005]本专利技术为解决上述技术问题采用以下技术方案：
[0006]一种加入Transformer的串式知识蒸馏的无监督缺陷检测方法，包含教师模型、学生模型结构、串式知识蒸馏结构、串式知识蒸馏训练方式；具体包含如下步骤：r/>[0007]步骤1，在教师模型与学生模型结构之间加入基于Transformer的特征聚合过滤模块；
[0008]步骤2，将正常的样本加入模型进行进行压缩并重构训练；
[0009]步骤3，将训练好的网络在测试集上进行重构对重构结果进行对比实现像素级缺陷检测。
[0010]作为本专利技术一种加入Transformer的串式知识蒸馏的无监督缺陷检测方法的进一步优选方案，在步骤1中，基于Transformer的特征聚合过滤模块，是由一个多尺度特征融合模块、一个基于transformer的VIT模块和一个残差模块组成。
[0011]作为本专利技术一种加入Transformer的串式知识蒸馏的无监督缺陷检测方法的进一步优选方案，在步骤1中，基于Transformer的特征聚合过滤模块，使用CNN
‑
transformer混合模型，具体如下：
[0012]步骤1.1，使用CNN卷积作为多尺度特征融合来生成输入的特征映射；
[0013]步骤1.2，补丁嵌入应用于从CNN特征图中提取的1个1
×
1个补丁；
[0014]步骤1.3，在通过CNN
‑
transformer特征聚合之后，将特征图通过残差模块进行过
滤，以避免数据偏差引起的噪声。
[0015]作为本专利技术一种加入Transformer的串式知识蒸馏的无监督缺陷检测方法的进一步优选方案，所述步骤2具体如下：
[0016]步骤2.1，获取正常样本图像数据；
[0017]步骤2.2，对图像进行数据增强；
[0018]步骤2.3，将图像放入教师网络进行多尺度特征提取；
[0019]步骤2.4，讲多尺度特征放聚合过滤模块进行特征压缩；
[0020]步骤2.5，压缩后的特征通过学生网络进行重构多尺度特征；
[0021]步骤2.6，对比多尺度特征与重构多尺度特征更新聚合过滤模块、学生网络参数；
[0022]步骤2.7，完成预定轮次训练。
[0023]作为本专利技术一种加入Transformer的串式知识蒸馏的无监督缺陷检测方法的进一步优选方案，在步骤2中：
[0024]由于是对各层特征张量进行差异对比，Teacher
‑
Student模型中每一层的特征张量可表示为
[0025][0026]其中，E
i
和D
i
分别表示Teacher
‑
Student模型中的第i层特征提取层和特征重构层，F和F
bn
分别代表来自上一层的传入结果；
[0027]针对C
i
、H
i
、W
i
分别代表第i层激活层的通道数、高度和宽度，计算沿着通道轴方向的向量余弦相似度损失，得到一个异常特征图feature map：
[0028][0029]计算Student模型和Teacher模型对应层的输出特征间的余弦相似度，以此来作为Student模型和Teacher模型之间的损失差异；损失函数的计算公式，具体如下
[0030][0031]其中，I代表模型中编码器和解码器的层数；它代表着Teacher模型某一层编码器和Student模型对应层解码器的输出特征间的差异要尽可能小。
[0032]作为本专利技术一种加入Transformer的串式知识蒸馏的无监督缺陷检测方法的进一步优选方案，在步骤3中，
[0033]选择特征张量之间的异常feature map来作为该指标的计算方式，同时，考虑到三对编码器和解码器的尺度是不同的，对三对编码器和解码器进行双线性上采样至图像尺度，再将这几部分的feature map相加，来作为像素级别的异常分数，公式具体如下所示，
[0034][0035]对于异常检测的评价中，采用感受性曲线下方面积AUROC的面积作为评价度量；
[0036]对于图像级异常检测，测试图像级感受性曲线下方面积AUROC进行检测；
[0037]对于异常定位，测试每颗像素测量的感受性曲线下方面积AUROC。
[0038]作为本专利技术一种加入Transformer的串式知识蒸馏的无监督缺陷检测方法的进一步优选方案，所述串式知识蒸馏结构，采用串行上游的预训练Teacher模型、串行中游用于特征聚合过滤的模块以及串行下游可训练Student模型。
[0039]作为本专利技术一种加入Transformer的串式知识蒸馏的无监督缺陷检测方法的进一步优选方案，串式知识蒸馏训练方式，是通过教师模型提取多尺度特征；训练特征聚合过滤模块将多尺度特征进行压缩，学生模型将压缩数据重构回多尺度特征；
[0040]其中，采用串行的方式，即将老师模型作为串行上游，将正常样本只传入老师模型进行多尺度特征提取，将多尺度特征进行压缩过滤后，传入下游学生模型，通过学生模型来重构老师模型提取的多尺度数据。
[0041]作为本专利技术一种加入Transformer的串式知识蒸馏的无监督缺陷检测方法的进一步优选方案，教师模型采用预训练的主干网络WideResNet50，学生模型采用设计的多次反卷积网络模型。
[0042]作为本专利技术一种加入Transformer的串式知识蒸馏的无监督缺陷检测方法的进一步优选方案，在步骤1中，对数据集进行数据增强和预处理，是由一个多尺度特征融合模块本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种加入Transformer的串式知识蒸馏的无监督缺陷检测方法，其特征在于：包含教师模型、学生模型结构、串式知识蒸馏结构、串式知识蒸馏训练方式；具体包含如下步骤：步骤1，在教师模型与学生模型结构之间加入基于Transformer的特征聚合过滤模块；步骤2，将正常的样本加入模型进行进行压缩并重构训练；步骤3，将训练好的网络在测试集上进行重构对重构结果进行对比实现像素级缺陷检测。2.根据权利要求1所述的一种加入Transformer的串式知识蒸馏的无监督缺陷检测方法，其特征在于：在步骤1中，基于Transformer的特征聚合过滤模块，是由一个多尺度特征融合模块、一个基于transformer的VIT模块和一个残差模块组成。3.根据权利要求1所述的一种加入Transformer的串式知识蒸馏的无监督缺陷检测方法，其特征在于：在步骤1中，基于Transformer的特征聚合过滤模块，使用CNN
‑
transformer混合模型，具体如下：步骤1.1，使用CNN卷积作为多尺度特征融合来生成输入的特征映射；步骤1.2，补丁嵌入应用于从CNN特征图中提取的1个1
×
1个补丁；步骤1.3，在通过CNN
‑
transformer特征聚合之后，将特征图通过残差模块进行过滤，以避免数据偏差引起的噪声。4.根据权利要求1所述的一种加入Transformer的串式知识蒸馏的无监督缺陷检测方法，其特征在于：所述步骤2具体如下：步骤2.1，获取正常样本图像数据；步骤2.2，对图像进行数据增强；步骤2.3，将图像放入教师网络进行多尺度特征提取；步骤2.4，讲多尺度特征放聚合过滤模块进行特征压缩；步骤2.5，压缩后的特征通过学生网络进行重构多尺度特征；步骤2.6，对比多尺度特征与重构多尺度特征更新聚合过滤模块、学生网络参数；步骤2.7，完成预定轮次训练。5.根据权利要求4所述的一种加入Transformer的串式知识蒸馏的无监督缺陷检测方法，其特征在于：在步骤2中，由于是对各层特征张量进行差异对比，Teacher
‑
Student模型中每一层的特征张量可表示为其中，E
i
和D
i
分别表示Teacher
‑
Student模型中的第i层特征提取层和特征重构层，F和F
bn
分别代表来自上一层的传入结果；针对C
i
、H

【专利技术属性】
技术研发人员：许彩娥，李俊，干劲，王炳炎，吴明洋，
申请(专利权)人：浙江振亚控股集团有限公司，
类型：发明
国别省市：