一种结合注意力机制及信息熵最小化的异常图像检测方法技术

一种结合注意力机制及信息熵最小化的异常图像检测方法，所述方法包括以下步骤：(1)挑选整合当前主流的数据集，用作训练数据集；(2)选择一类新奇性检测的深度神经网络，并改进主流检测模型的结构；(3)样本图像预处理，以适合网络输入；(4)训练检测模型；(5)用已经训练好的检测模型进行检测，得出检测结果。本发明专利技术提供了一种结合注意力机制及信息熵最小化的异常图像检测方法，通过在主流方法上做出一定改进，使得模型在训练过后对正常样本特性有较好的表示，对异常样本的敏感能力比较强，提高新奇性检测对正常样本与异常样本的鉴别能力。

An anomaly detection method based on attention mechanism and information entropy minimization

【技术实现步骤摘要】
一种结合注意力机制及信息熵最小化的异常图像检测方法
本专利技术提出一种结合注意力机制及信息熵最小化的异常图像检测方法，具有更强的识别新的或未知的样本的能力。
技术介绍
异常图像检测具有广泛的应用价值。异常图像检测任务要求模型具有识别出新的或未知的样本的能力。异常图像检测的关键是使模型对正常样本具有好的表达能力，且对异常样本保持一定的灵敏性。总的来说，模型的这两种能力在训练时都应该被增强。异常图像检测的一个普遍假设是：异常样本不仅在高维数据空间内与正常样本存在特征差异，且在低维数据空间中也是如此。因此，异常图像检测任务的关键变为如何更好地重构正常样本的高维数据空间和低维数据空间。在异常图像检测任务中，异常样本的稀缺性、多变性和不可预测性使得模型对异常样本的检测更为困难，因此无监督学习通常被认为是处理此类任务的理想方法。传统的解决方案包括一类支持向量机(SVM)，该方法将正常样本限制在一个子空间中，达到区分正常、异常样本的目的；还有研究基于局部异常因子算法(LOF)利用k聚类和密度估计完成异常检测。但是传统方法训练过程中仍依赖于正常样本和异常样本。如今，深度学习在图像处理领域取得了巨大成就，目前的主流策略是借助深度深神网络从重建、概率分布角度来解决此问题。在基于重建的策略中，重建前后图像的重建误差作为检测依据。例如，在AnoGAN中，第一次将生成对抗网络(GAN)应用到异常图像检测任务中，它通过反向传播找到合适的编码向量，借助自动编码器完成图像重建，并计算图像重建误差来判断图像是否异常。在ALOCC中，自动编码器被用作生成器并同时扮演两个角色，一个用于增强正常样本，另一个用于毁坏异常样本。在基于概率分布的策略中，方法的重点被放在研究低维编码层的概率分布上。例如，在Abati等人的研究中，模型通过自回归过程学习编码层的概率分布。在OCGAN模型中，其将去噪自编码器作为生成器，通过对抗训练机制，使正常样本与低维编码空间能实现一对一映射。然而，目前这些深度神经网络模型仍面临一个问题：只经过正常样本训练得的模型不止对正常样本有较好的泛化能力，其对异常样本仍存在一定泛化能力，导致应用模型推理时对异常样本没有较好的辨别能力。而本专利技术通过在GANomaly方法上做出一定改进，使得训练过后的模型对正常样本特性有较好的表示，同时对异常样本的敏感能力增强，最终提高模型对正常样本与异常样本的鉴别能力。
技术实现思路
针对现有技术中存在的不足，本专利技术提供了一种基于新颖性检测的异常图像检测方法。其在网络结构、损失函数等方面对GANomaly模型做出改进，提升该模型的应用效果。为了解决上述技术问题，本专利技术提供如下的技术方案：一种结合注意力机制及信息熵最小化的异常图像检测方法，包括以下步骤：：(1)挑选整合当前主流的数据集，用作训练数据集；(2)选择GANomaly作为待改进神经网络模型，并对模型优化；(3)样本图像预处理，以适合网络输入；(4)训练检测模型；(5)用已经训练好的检测模型进行检测，得出检测结果。进一步，所述步骤(1)中，选择三个常用的经典数据集，分别为COIL100、MNIST和CIFAR10；再进一步地，所述步骤(2)中，通过非监督对抗学习方式来处理异常检测问题，在无监督信息的情况下通过对抗训练方式训练去噪自编码器，能在图像重建任务中取得较好效果。具体地，本专利技术选择GANomaly作为待改进神经网络模型，并对该模型做出如下改进：a.引入注意力机制，基于注意力机制来提升模型的特征提取能力，达到特征选择的目的；b.新增信息熵最小化优化目标，消除编码层编码冗余，保留正常样本的独特的编码信息。进一步地，所述步骤(3)中，统一将步骤(1)中提到的三个数据集做预处理：所有图像的像素值都被缩放到在[-1，1]范围内，图像的尺寸缩放为32*32像素以适应GANomaly网络模型输入。此外不需要对样本图像做其他预处理工作。进一步地，所述步骤(4)中，划分数据集以及选择合适的超参数来训练模型，具体为：a.为GANomaly模型配置超参数。GANomaly网络待定参数包含：子损失函数间的权重α,β,γ,δ、异常值计算权重λ,μ、自编码器中隐层向量长度hlen、注意力机制模块中隐藏层神经元的数量的比例R；b.为了与比较的方法保持一致，按照不同的训练集和测试集划分标准，对COIL100、MNIST、CIFAR10三个数据集分别划分出训练集与测试集。对COIL100数据集，使用80％的正常样本进行训练，其余20％的正常样本数据用于测试。之后随机选择异常测试样本，使其构成测试集的一半。针对MNIST、CIFAR10数据集，使用给定数据集的训练集-测试集拆分标准来进行训练。正常样本的训练集用于训练和验证，所有样本的测试数据都用于测试。进一步地，所述步骤(5)中，GANomaly模型训练完毕后，将COIL100、MNIST、CIFAR10三个数据集的测试数据样本输入到GANomaly模型中，根据样本的异常得分判断样本是否为正常样本。最终以实验的接收机工作特性曲线(ROC)下的区域面积(AUC)值量化本专利技术的应用效果；所述方法还包括以下步骤：(6)对比试验分析本专利技术做出的改进的提升效果：为验证本专利技术提出的改进方案的有效性，现分别提出以下三种对比方案：仅使用原有模型的方案一，加入信息熵损失的方案二，在方案二基础上加入注意力机制的方案三。分别计算三种方案的AUC值，分析本专利技术在改进异常图像检测任务中的改进效果。与现有技术相比，本专利技术具有以下优点：(1)本专利技术将深度学习的对抗神经网络应用到图像领域的异常检测问题中，仅需正常样本训练深度神经网络模型，能有效处理异常样本数量不足、异常样本种类不全等异常检测问题。另外，在对GANomaly方法做出改进后，本专利技术训练的模型对异常样本具有更强的灵敏度，且对正常样本保持良好的泛化能力；(2)本专利技术在保留GANomaly方法损失函数的同时，在训练阶段另加入了新的损失函数，即隐层特征信息熵最小化，使编码层特征稀疏化。该改进思想力求网络能提的信息冗余少，正常样本的重要特征保留量大的隐层特性。另外，本专利技术还在网络结构中引入通道注意力机制，该改动希望网络对正常样本的重要特征提取能力更强，且对重要特征的重建能力也更强。综上，本专利技术经过以上两处改进，使网络对正常样本具有较强的泛化能力，且对异常样本具有良好的灵敏度；(3)本专利技术在推理阶段，同时考虑了高维全局特征与低维编码特征，信息利用率更高。该特点使网络在训练过程中能获取正常样本更多的重要特征，经过训练的网络对正常样本的重构能力更强，使得正常样本与重构样本之间的差异性不大；而在网络推导的过程中，异常样本则会在重构过程中丢失较大的重要信息，使得重构前后样本的差异性较大。附图说明图1为本专利技术异常图像检测模型的结构示意图；具体实施方式为使本专利技术更容易理解、优势更加清楚，下本文档来自技高网...

【技术保护点】
1.一种结合注意力机制及信息熵最小化的异常图像检测方法，其特征在于，所述方法包括以下步骤：/n(1)挑选整合当前主流的数据集，用作训练数据集；/n(2)选择一类新颖性检测的深度神经网络，并改进主流检测模型的结构；/n(3)样本图像预处理，以适合网络输入；/n(4)训练检测模型；/n(5)用已经训练好的检测模型进行检测，得出检测结果。/n

【技术特征摘要】
1.一种结合注意力机制及信息熵最小化的异常图像检测方法，其特征在于，所述方法包括以下步骤：
(1)挑选整合当前主流的数据集，用作训练数据集；
(2)选择一类新颖性检测的深度神经网络，并改进主流检测模型的结构；
(3)样本图像预处理，以适合网络输入；
(4)训练检测模型；
(5)用已经训练好的检测模型进行检测，得出检测结果。


2.如权利要求1所述的一种结合注意力机制及信息熵最小化的异常图像检测方法，其特征在于，所述步骤(1)中，效果测试选择三个常用的数据集，分别为COIL100、MNIST和CIFAR10。


3.如权利要求1或2所述的一种结合注意力机制及信息熵最小化的异常图像检测方法，其特征在于，所述步骤(2)中，选择非监督对抗学习类型的网络处理新颖性检测问题，该类神经网络在无监督信息的情况下通过对抗训练方式训练自编码器，能在图像重建任务中取得较好效果，选择GANomaly作为待改进神经网络模型，并对该模型做出如下改进：
a.引入注意力机制，基于注意力机制来提升模型的特征提取能力；
b.新增熵最小化优化目标，消除隐层编码冗余，保留样本的独特信息。


4.如权利要求1或2所述的一种结合注意力机制及信息熵最小化的异常图像检测方法，其特征在于，所述步骤(3)中，同一将步骤(1)中提到的三个数据集的样本尺寸做预处理：所有图像的像素值都被缩放到在[-1，1]范围内，图像的尺寸缩放为23*23，以适...

【专利技术属性】
技术研发人员：郭东岩，吴宇鹏，田苗，邵燕燕，张剑华，陈胜勇，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江;33