System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于多学生网络知识蒸馏的工业异常检测方法及系统技术方案_技高网

基于多学生网络知识蒸馏的工业异常检测方法及系统技术方案

技术编号:40525308 阅读:8 留言:0更新日期:2024-03-01 13:44
本发明专利技术提供基于多学生网络知识蒸馏的工业异常检测方法及系统,方法包括:利用数据模块所用数据使用MVTecAD数据集,该数据集包括训练集和测试集,其中训练集皆为无异常的样本图片,测试集中包含异常样本和正常样本;利用数据预处理模块针对上述数据模块的训练集样本图片进行处理,包括图片尺寸处理、图片数据格式处理以及数据增强;利用特征提取模块对于上述数据预处理后的图片进行特征提取,主要通过教师网络和学生网络进行多分辨率特征提取;利用损失函数模块对于上述特征提取模块中教师网络和学生网络提取到的多分辨率特征进行损失计算。本发明专利技术解决了在检测精度较低、场景适用单一以及模型存在过度泛化的技术问题。

【技术实现步骤摘要】

本专利技术涉及工业设备监测领域,具体涉及基于多学生网络知识蒸馏的工业异常检测方法及系统


技术介绍

1、异常检测是工业和学术界的一项重要研究内容,具有实际应用价值,它通过无异常样本构建检测模型,能够检测出与正常分布模式存在差异的异常样本。在当下的各行业中,产品的外观质量检测主要依靠人工,检测效率低下,容易发生错检、漏检的问题。随着深度学习的发展,基于深度学习的异常检测在工业界表现出优越的性能。现有技术主要有:

2、1、基于传统方法的异常检测:在传统方法中,主要有基于模板匹配的异常检测、有基于统计模型的异常检测、有基于频域分析的异常检测以及基于稀疏编码重构等方法的异常检测技术。例如公布号为cn116385353a的现有专利技术专利申请文献《一种摄像头模组异常检测方法》前述现有方法包括:采用模板匹配方法定位图片中的模组及其相关组件的位置;基于图像处理完成模组中螺丝、标签、布线、划痕脏污异常情况的检测;基于特征配准网络框架完成模组中的划痕和镜头脏污检测;通过qt creator开发异常检测程序,用于模组异常情况的自动检测。然而,基于传统方法的异常检测,在传统的方法中需要人工设计和提取特征而有效特征一般难以挖掘,其次传统方法局限于单一场景推广性较弱,另外传统方法检测速度较慢检测精度较低。

3、2、基于深度学习的异常检测:采用深度学习的方法中,主要包括基于距离度量的异常检测技术、基于分类面重构的方法、基于图像重构的方法以及基于知识蒸馏的异常检测技术,其中基于知识蒸馏的异常检测表现优异。例如公布号为cn117036266a的现有专利技术专利申请文献《一种基于知识蒸馏的工业图像异常检测方法及系统》,该现有方法包括:将所述源域数据集输入教师网络进行训练优化,获得完成优化的教师网络并对其进行冻结;构建下采样学生网络和上采样学生网络,由冻结的教师网络、所述下采样学生网络和所述上采样学生网络构成双分支知识蒸馏网络;将所述工业数据集输入所述双分支知识蒸馏网络,通过最小化异常检测损失函数输出的函数值,获得完成优化的双分支知识蒸馏网络;将待检测图像输入至完成优化的双分支知识蒸馏网络,通过异常检测得分函数计算待检测图像的异常得分,若所述异常得分小于预设值,则判定待检测图像为正常图像,否则,判定待检测图像为异常图像。然而,基于深度学习的异常检测技术,需要大量的训练样本才能获得性能较好的检测模型,其次现有基于知识蒸馏的异常检测技术存在过度泛化的问题。

4、综上,现有技术存在在检测精度较低、场景适用单一以及模型存在过度泛化的技术问题。


技术实现思路

1、本专利技术所要解决的技术问题在于:如何解决现有技术中在检测精度较低、场景适用单一以及模型存在过度泛化的技术问题。

2、本专利技术是采用以下技术方案解决上述技术问题的:基于多学生网络知识蒸馏的工业异常检测方法包括:

3、s1、对多学生网络知识蒸馏模型进行模型训练,获取并预处理mvtecad的训练集数据,以得到预处理图片;

4、s2、在训练过程中,将预处理图片分别输入到教师网络以及学生网络,利用教师网络、学生网络,分别提取并保存多分辨率特征:

5、s3、在多学生网络知识蒸馏模型的训练过程中,将多分辨率特征,按照教师网络、学生网络,计算网络对应损失函数,并进行反向传播操作,据以训练多学生网络知识蒸馏模型,以得到适用多学生网络知识蒸馏模型;

6、s4,循环执行步骤s1至步骤s2,以对适用多学生网络知识蒸馏模型进行测试,据以获取测试多分辨率特征;

7、s5、根据测试多分辨率特征,利用教师网络、学生网络,处理得到网络对应损失特征图;

8、s6、插值处理网络对应损失特征图,以得到还原损失特征图,利用预置投票机制,获取并根据最终损失特征图,判断被检测工业设备是否出现异常。

9、本专利技术基于多学生网络知识蒸馏模型进行工业异常检测,通过知识蒸馏的主体异常检测框架,辅以多学生网络投票机制,提供检测精度性能优越的异常检测模型,能够适应多场景多类型的异常检测方法,通过设置投票机制有效降低知识蒸馏异常检测模型的过度泛化问题,现性能优越的检测模型,提高了工业异常检测精度。

10、针对现有技术采用的教师-学生网络模型皆为单教师和单学生,存在着模型过度拟合从而导致模型的泛化性能较低的问题,本专利技术采用了多学生投票机制,正是从此角度出发,每一个学生分支都会输出自己的结果,通过对多个学生的结果进行投票可以避免模型过度拟合的风险,从而提高泛化能力。

11、在更具体的技术方案中,步骤s1中,预处理操作包括:尺寸缩放操作、标注化处理。

12、在更具体的技术方案中,步骤s2中,教师网络采用的结构包括:预训练wideresnet50_2。

13、在更具体的技术方案中,学生网络包括:第一学生网络、第二学生网络以及第三学生网络。

14、在更具体的技术方案中,步骤s2中,使得预处理图片分别通过教师网络、学生网络,在教师网络、学生网络的中间层,提取差异分辨率特征图,以获取多分辨率特征。

15、在更具体的技术方案中,利用下述逻辑,提取差异分辨率特征图teacher_features、studenti_features:

16、teacher_features={tfm1,tfm2,tfm3,tfm4}

17、studenti_features={sifm1,sifm2,sifm3,sifm4},i=1,2,3

18、式中,tfm表示教师网络在不同中间层提取的特征图,sfm表示学生网络在不同中间层提取的特征图。

19、在更具体的技术方案中,步骤s3中,损失函数包括:余弦相似度函数。

20、在更具体的技术方案中,步骤s3包括:

21、s31、利用下述逻辑,对教师网络与每一学生网络,处理得到多分辨损失student1_loss、student2_loss、student3_loss:

22、

23、

24、

25、s32、利用下述逻辑,处理得到损失特征图:

26、

27、

28、

29、式中,tfm1、tfm2、tfm3表示教师网络在不同中间层提取的特征图,sfm1、sfm2、sfm3表示学生网络在不同中间层提取的特征图。

30、在更具体的技术方案中,步骤s6包括:

31、s61、第一学生网络、第二学生网络以及第三学生网络,分别获得对应网络损失特征图;

32、s62、通过缩放操作,将对应网络损失特征图,缩放至输入原图尺寸,以得到缩放损失特征图;

33、s63、将缩放损失特征图对应的像素点相加,据以获取学生网络整合损失函数图;

34、s64、根据学生网络整合损失函数图,根据预设阈值,确定异常定位图;

35、s65、针对每一个像素点,通过学生投票,确本文档来自技高网...

【技术保护点】

1.基于多学生网络知识蒸馏的工业异常检测方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于多学生网络知识蒸馏的工业异常检测方法,其特征在于,所述步骤S1中,所述预处理操作包括:尺寸缩放操作、标注化处理。

3.根据权利要求1所述的基于多学生网络知识蒸馏的工业异常检测方法,其特征在于,所述步骤S2中,所述教师网络采用的结构包括:预训练WideResNet50_2。

4.根据权利要求1所述的基于多学生网络知识蒸馏的工业异常检测方法,其特征在于,所述学生网络采用的结构包括:第一学生网络、第二学生网络以及第三学生网络。

5.根据权利要求1所述的基于多学生网络知识蒸馏的工业异常检测方法,其特征在于,所述步骤S2中,使得所述预处理图片分别通过所述教师网络、所述学生网络,在所述教师网络、所述学生网络的中间层,提取差异分辨率特征图,以获取所述多分辨率特征。

6.根据权利要求5所述的基于多学生网络知识蒸馏的工业异常检测方法,其特征在于,利用下述逻辑,提取所述差异分辨率特征图:

7.根据权利要求1所述的基于多学生网络知识蒸馏的工业异常检测方法,其特征在于,所述步骤S3中,所述损失函数包括:余弦相似度函数。

8.根据权利要求1所述的基于多学生网络知识蒸馏的工业异常检测方法,其特征在于,所述步骤S3包括:

9.根据权利要求1所述的基于多学生网络知识蒸馏的工业异常检测方法,其特征在于,所述步骤S6包括:

10.基于多学生网络知识蒸馏的工业异常检测系统,其特征在于,所述系统包括:

...

【技术特征摘要】

1.基于多学生网络知识蒸馏的工业异常检测方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于多学生网络知识蒸馏的工业异常检测方法,其特征在于,所述步骤s1中,所述预处理操作包括:尺寸缩放操作、标注化处理。

3.根据权利要求1所述的基于多学生网络知识蒸馏的工业异常检测方法,其特征在于,所述步骤s2中,所述教师网络采用的结构包括:预训练wideresnet50_2。

4.根据权利要求1所述的基于多学生网络知识蒸馏的工业异常检测方法,其特征在于,所述学生网络采用的结构包括:第一学生网络、第二学生网络以及第三学生网络。

5.根据权利要求1所述的基于多学生网络知识蒸馏的工业异常检测方法,其特征在于,所述步骤s2中,使得所述预处理图片分别通过...

【专利技术属性】
技术研发人员:张伟徐嘉文张宏钰
申请(专利权)人:合肥国轩高科动力能源有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1