本发明专利技术提供一种基于知识蒸馏的非对称自编码器的异常检测方法，为了减少重构误差失灵，自编码器的解码网络相对于编码器卷积核个数更少，形成非对称的结构形式。非对称结构设计能够大幅减少自编码网络的参数量，一定程度上避免了因模型泛化性过强导致的重构误差失灵问题。将自编码器与知识蒸馏算法进行结合，采用知识蒸馏方法进行网络训练，在减少网络参数的同时，利用教师网络强大的特征提取能力，指导学生网络，提升其特征重构能力。为了让知识蒸馏过程中作为教师网络的编码器能将知识完整的蒸馏到作为学生网路的解码网络，提出了分层多级损失函数，并且设计两类损失函数，保证了像素级相似性的同时通过引入全局的方向损失增大网络感受野。损失增大网络感受野。损失增大网络感受野。
【技术实现步骤摘要】
一种基于知识蒸馏的非对称自编码器的异常检测方法
[0001]本专利技术属于计算机视觉与机器学习技术，特别涉及基于深度学习和自编码器的异常检测技术。
技术介绍
[0002]异常检测技术结合了模式识别、机器学习、等多个学科，数据中偏离大部分观察数据区域的数据即为异常数据，而异常检测任务的目标是在不使用真实异常样本的情况下，利用现有的正常样本构建模型以检测可能出现的各种异常数据。早期的异常检测算法大多应用于数据挖掘领域，而近些年随着计算机视觉和深度学习等相关技术的发展，许多相关工作将异常检测引入到图像处理领域来解决样本匮乏情况下的目标检测问题。在工业外观缺陷检测、医学图像分析、高光谱图像处理等领域具有重要的研究意义和应用价值。
[0003]随着深度学习的发展，图像异常检测中主要的深度学习方法可以分为两类，分别是基于重构的异常检测方法和基于特征嵌入异常检测方法。基于重构的异常检测方法的核心思想是构建模型学习正常样本分布特点以及表达方式，模型将输入图像进行特征提取后再进行重构还原，最后根据输入与输出图像之间的重构误差进行异常检测。现在主流的方案是基于自编码器来实现这一方法，首先训练阶段仅使用正常样本训练自编码网络，编码器在这个过程中将学习到正常样本在潜层的特征以及分布，而解码网络需要根据潜层特征完成图像的重构输出。之后在测试阶段，由于整个自编码网络未曾见过异常样本，重构过程中无法重构异常，生成的重构图将会一定程度的忽略异常信息，呈现出一种修复异常部位的效果。最终通过计算原图与重构图之间的重构误差进行异常判别，重构误差可以通过计算原图与重构图之间的均方误差得到。除此之外，生成对抗网络GAN也常被应用于基于重构方法的异常检测中，GANomaly是由Samet Akcay等提出的一种基于对抗生成网络和自编码网络的异常检测网络，与朴素的自编码网络不同，GANomaly引入对抗生成网络的方法，利用生成器和判别器对抗过程，保证生成器能够学习到正常样本的分布特征。
[0004]深度学习在异常检测领域中另一主要方法即是基于特征嵌入的异常检测，将输入送入模型中，提取特征，在特征空间中进行样本的判别。与重构方法的主要区别在于它不检测原始空间中的异常，而是在高维特征空间中检测异常，主要考虑的是特征空间的差异。目前该方法的主流实现方式是基于知识蒸馏，将知识蒸馏应用于异常检测的主要思想是：训练阶段将正常样本同时输入到经过大型数据集预训练的教师网络和未经训练随机初始化的学生网络中，通过最小化教师网络与学生网络在特征空间的损失函数实现将教师网络的知识蒸馏到学生网络，在测试阶段输入异常样本，由于学生网络未见过异常样本，而教师网络经过大型数据集的训练具有强大的特征提取能力，两者最终在高维特征空间的表达将不同，所以根据教师网络和学生网络在高维特征空间之间的差异即可判断样本的类别。
[0005]目前两类主流异常检测方法能够完成一些异常检测任务，但是我们认为它们仍然存在以下问题：
[0006]1)重构误差失灵:基于重构方法并不是总有效，实际过程中可能存在重构误差失
灵的现象。由于模型的泛化能力，在训练过程中解码网络可能对于特征具有良好的重建能力，进而导致解码网络不仅能够重构正常样本，同时对于异常样本也能很好的重构，导致输入输出的重构误差变小，最后模型也无法准确的分辨正常和异常样本。
[0007]2)缺失RGB空间信息：与基于重构的异常检测方法相比，基于特征嵌入的方法能够避免重构误差失灵的问题，一定程度上提高异常检测准确率，但是该方法需要在高维空间进行异常检测，无法得到RGB空间的生成图。该方法无法用以辅助需要RGB空间信息的检测任务，只能独立使用。
技术实现思路
[0008]本专利技术所要解决的技术问题是，提供一种通过提升其特征重构能力的来增强异常检测性能的方法。
[0009]本专利技术所解决上述技术问题所采用的技术方案是，一种基于知识蒸馏的非对称自编码器的异常检测方法，它能够改善基于重构方法的重构误差失灵问题，同时结合知识蒸馏方法提高网络的异常检测精度。
[0010]包括如下步骤：
[0011]1)训练阶段，仅将正常样本输入非对称自编码器，编码网络输出正常样本的特征至解码网络，解码网络输出重建的正常样本；
[0012]所述非对称自编码器由结构不对称的编码网络和解码网络组成，使用损失函数约束训练过程，使得解码网络输出的重建的正常样本最大程度还原输入非对称自编码器的正常样本；训练时，将编码网络作为教师网络，将解码网络作为学生网络，使用知识蒸馏算法将教师网络知识迁移到学生网络；
[0013]编码网络包括L个的特征提取阶段，每个特征提取阶段由3
×
3卷积核堆叠而成，每个特征提取阶段的输出与池化模块连接；解码网络包括L个的数据重构阶段，每个数据重构阶段采用比同序号的特征提取阶段少的3
×
3卷积核堆叠而成，形成了非对称的结构，每个数据重构阶段的输出与上采样模块连接；
[0014]2)检测阶段，将待检测图像输入完成训练的非对称自编码器，编码网络输出待检测图像的特征至解码网络，解码网络输出重建的待检测图像，比较待检测图像与重建的待检测图像之间的差异，如差异大于阈值则判断待检测图像异常，否则判断待检测图像正常。
[0015]因为训练过程中仅使用正常样本进行训练。而在测试阶段，由于网络没有见过异常数据，在解码网络重构过程必然会出现异常部位的缺失，导致异常样本的重建效果差，从而可以通过比较原图与重构生成图进行异常判断。
[0016]损失函数L
total
通过像素级的误差损失L
val
以及全局性的方向损失L
dir
组成：L
total
＝L
val
+αL
dir
，α是调整L
val
与L
dir
权重的超参数。
[0017]像素级的误差损失L
val
：
[0018][0019]其中，l为第l阶段，N
l
表示第l阶段的像素总数，f
Tl
(
·
)代表教师网络第l阶段的映射函数，代表学生网络第l阶段的映射函数，表示教师网络第l阶段的逐像素的输入，
学生网络第l阶段的逐像素的输出。
[0020]全局性的方向损失L
dir
：
[0021][0022]其中，vec(
·
)是将任意维的矩阵转换为一维向量的向量化函数，||
·
||代表的是向量的取模函数，x
l
为教师网络第l阶段的输入，y
l
为学生网络第l阶段的输出。
[0023]区别于常见的对称自编码器，我们为了减少重构误差失灵的现象，设计了更佳轻量化的解码网络，该解码网络相对于编码器而言结构类似，但是卷积核个数更少，形成非对称的结构形式。非对称结构设计能够大幅减少自编码网络的参数量，一定程度本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于知识蒸馏的非对称自编码器的异常检测方法，其特征在于，包括以下步骤：1)训练阶段，仅将正常样本输入非对称自编码器，编码网络输出正常样本的特征至解码网络，解码网络输出重建的正常样本；所述非对称自编码器由结构不对称的编码网络和解码网络组成，使用损失函数约束训练过程，使得解码网络输出的重建的正常样本最大程度还原输入非对称自编码器的正常样本；训练时，将编码网络作为教师网络，将解码网络作为学生网络，使用知识蒸馏算法将教师网络知识迁移到学生网络；编码网络包括L个的特征提取阶段，每个特征提取阶段由3
×
3卷积核堆叠而成，每个特征提取阶段的输出与池化模块连接；解码网络包括L个的数据重构阶段，每个数据重构阶段采用比同序号的特征提取阶段少的3
×
3卷积核堆叠而成，形成了非对称的结构，每个数据重构阶段的输出与上采样模块连接；2)检测阶段，将待检测图像输入完成训练的非对称自编码器，编码网络输出待检测图像的特征至解码网络，解码网络输出重建的待检测图像，比较待检测图像与重建的待检测图像之间的差异，如差异大于阈值则判断待检测图像异常，否则判断待检测图像正常。2.如权利要求1所述方法，其特征在于，L为5，按照数据处理顺序，编码网络中5个特征提取阶段依次：第一阶段的卷积核为3
×3×
64、3
×3×
64，第二阶段的卷积核3
×3×
128、3
×3×
128，第三阶段的卷积核3
×3×
256、3
×3×
256、3
×3×
256，第四阶段的卷积核3
×3×
512、3
×3×
512、3
×3×
512，第五阶段的卷积核3
×3×
512、3
×3×
512、3
×3×
512；解码网络中5个数据重构阶段依次：第五阶段的卷积核3
×3×
【专利技术属性】
技术研发人员：于力，吴不为，刘鉴钦，彭超，邹见效，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。