基于生成对抗网络的高维数据故障异常检测方法及系统技术方案

本发明专利技术提供了一种基于生成对抗网络的高维数据故障异常检测方法及系统，涉及多维数据中的异常检测技术领域，该方法包括：步骤S1：生成对抗网络架构；步骤S2：生成对抗网络架构后，稳定生成对抗网络训练，获取训练模型；步骤S3：根据训练模型，设定评分函数，并对对抗网络进行异常评分。本发明专利技术能够检测到之前未出现的异常数据，处理半导体晶片二维和三维图像数据的异常检测。

【技术实现步骤摘要】
基于生成对抗网络的高维数据故障异常检测方法及系统
本专利技术涉及多维数据中的异常检测
，具体地，涉及一种基于生成对抗网络的高维数据故障异常检测方法及系统。
技术介绍
多维数据中的异常检测是一个具有重大现实意义的问题，包含我们现实世界中大量的实际应用，包括网络安全制造、欺诈检测和医学成像等。通常的异常检测方法需要对正常数据的模式进行建模，用以识别不符合正常数据模式的异常样本。虽然异常检测已经过了大量的研究，但开发适合复杂和高维数据的有效方法仍然面临着巨大的挑战。生成对抗网络是一种强大的高维数据建模框架，可以应对这项挑战。标准的生成对抗网络由两个神经网络组成，一个是生成网络(G)，一个是判别网络(J)在训练期间，生成网络通过学习从隐数据变量(z)(假设服从于高斯分布或均匀分布)映射到虚拟真实数据空间来学习映射模式，而判别网络用于学习区分真实数据和生成网络生成的虚拟真实数据的样本。生成对抗网络在虚拟图像生成的应用上已经取得很大的成功，而且越来越多地用于语音和医学成像应用。公开号为US6292582B1的专利技术专利，公开了一种用本文档来自技高网...

【技术保护点】
1.一种基于生成对抗网络的高维数据故障异常检测方法，其特征在于，包括：/n步骤S1：构建生成对抗网络架构；/n步骤S2：构建生成对抗网络架构后，稳定生成对抗网络训练，获取训练模型；/n步骤S3：根据训练模型，设定评分函数，对生成对抗网络进行异常评分，并用生成对抗网络对高维数据进行异常检测。/n

【技术特征摘要】
1.一种基于生成对抗网络的高维数据故障异常检测方法，其特征在于，包括：
步骤S1：构建生成对抗网络架构；
步骤S2：构建生成对抗网络架构后，稳定生成对抗网络训练，获取训练模型；
步骤S3：根据训练模型，设定评分函数，对生成对抗网络进行异常评分，并用生成对抗网络对高维数据进行异常检测。


2.根据权利要求1所述的基于生成对抗网络的高维数据故障异常检测方法，其特征在于，所述步骤S1具体步骤如下：
步骤S1.1：标准生成对抗网络包括生成网络G和判别网络J，将生成网络G和判别网络J在一组M个数据样本上进行训练，其中，i＝1，2，…，M；
生成网络G在服从特定分布的隐数据空间中，采集的随机隐变量z映射到输入数据空间X；
判别网络J尝试将实际数据样本x(i)与G生成的样本G(z)进行判别；
将px(x)定义为真实数据x在样本空间X中的分布概率，而为隐数据z在隐数据空间中的分布概率；pG(x)定义为生成网络G在样本空间X中的分布概率；
生成对抗网络模型将联合分布pG(x，z)＝p(z)pG(x|z)和pE(x，z)＝pX(x)pE(z|x)与以x和z为输入的对抗判别网络Jxz相匹配；
生成对抗网络将判别网络Jxz、生成网络G和编码网络E确定为鞍点问题MING，EMAXJxzV(Jxz，E，G)的解，其中V(Jxz，E，，G)被定义为：



其中，分别表示X和Z数据空间中数据分布的概率期望函数；
步骤S1.2：对于编码网络E和生成网络G固定值，最优判别网络为：



对于最优判别网络当且仅当pE(x，z)＝pG(x，z)时，实现训练判据C(E，G)＝MAXJxzV(Dxz，E，G)的全局最小值。


3.根据权利要求1所述的基于生成对抗网络的高维数据故障异常检测方法，其特征在于，所述步骤S2具体步骤如下：
使用一个额外的对抗学习判别网络Jzz将隐空间条件Hπ(x|z)＝-Eπ(x，z)[logπ(x|z)]正则化，其中π(x，z)是x和z上的联合分布，具有以下的鞍点目标：






其中，V(JXZ，JXX，JZZ，E，G)定义为
V(Jxz，Jxx，Jzz，E，G)＝V(Jxz，E，G)+V(Jxx，E，G)+V(Jzz，E，G)
其中，Jzz、Jxz和Jxx均表示判别网络，G表示生成网络，E表示编码器。


4.根据权利要求1所述的基于生成对抗网络的高维数据故障异常检测方法，其特征在于，所述步骤S3具体步骤如下：
步骤S3.1：对数据分布进行有效建模，利用生成网络G学习正常数据pG(x)＝pX(x)的分布，其中
步骤S3.2：学习数据的分布，以便精确恢复潜数据空间的重表达；
步骤S3.3：确保正常样本能精准重建。


5.根据权利要求4所述的基于生成对抗网络的高维数据故障异常检测方法，其特征在于，所述步骤S3.3如下：
计算在Jxx学习的特征空间中投影的两个向量之间的距离，A(x)＝||fxx(x，x)-fxx(x，G(E(x)))||1；
其中，f()是模型Jxx的最后一个全连接层；
对正常数据训练一个模型来提供E、G、Jxz、Jxx和Jzz后，定义一个评分函数U(x)，该函数根据重建样本和异常样本的差异性来衡量实例x的异常程度：
U(x)＝||fxx(x，x)-fxx(x，G(E(x)))||2
U(x)值大的样本被...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：上海联麓半导体技术有限公司，
类型：发明
国别省市：上海;31