基于局部异常数据提升全局异常检测性能的方法及系统技术方案

本发明专利技术提出一种基于局部异常数据提升全局异常检测性能的方法及系统，涉及异常检测的技术领域，基于双向生成对抗网络异常检测模型学习正常训练图像数据的概率分布，同时输入模型的还有异常图像数据，即可收集的局部异常数据融入至正常训练图像数据的概率分布学习过程中，使得学习过程可明确感知到异常数据的存在，避免学习到的概率分布赋予异常数据较高的概率值，保证最终学习到的概率分布更准确地刻画正常数据真实分布，通过构建的异常感知目标函数对异常图像数据的感知能力约束其被分配较低的概率值，使得异常样本能够通过重构误差的判断，被显著地区分开来，提升检测效果及性能，且基于异常感知目标函数，能检测出训练集当中出现的新颖异常。当中出现的新颖异常。当中出现的新颖异常。

【技术实现步骤摘要】
基于局部异常数据提升全局异常检测性能的方法及系统


[0001]本专利技术涉及异常检测的
，更具体地，涉及一种基于局部异常数据提升全局异常检测性能的方法及系统。

技术介绍

[0002]异常数据是与数据集中其他数据有十分明显不同的数据，将异常数据检测出来的方法称为异常检测或者离群点检测方法。随着数据量的不断增加，异常检测在包含大型数据集的应用领域中得到了越来越多的研究关注，如检测CT照片中的质量结构和其他医疗诊断问题、复杂工业系统中的故障和故障检测、结构损坏等，以及网络安全系统中的入侵，金融行业的欺诈行为，如信用卡或手机欺诈检测，视频监控，移动机器人，传感器网络，天文目录和文本挖掘等，而现代系统的复杂性使得在各部分关系之间仅可以获得有限的信息。因此，不可避免的导致大量可能异常的模式存在，并且，其中一些异常模式的先验可能不是已知的，导致传统的多分类方法不再适合。
[0003]目前，比较主流的异常检测方法建立在无监督或半监督场景下。其中，无监督场景仅使用含有正常数据的数据集进行训练，希望模型可以学习到正常数据的一些特征，然后将该模型应用在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于局部异常数据提升全局异常检测性能的方法，其特征在于，所述方法包括：S1.确定图像数据集，从图像数据集中明确正常训练图像数据集、测试图像数据集及可收集的异常图像数据；S2.构建双向生成对抗网络异常检测模型；S3.将正常训练图像数据集及异常图像数据输入双向生成对抗网络异常检测模型，利用双向生成对抗网络异常检测模型学习正常训练图像数据的概率分布，最后输出图像数据判别分数；S4.构建异常感知目标函数，将图像数据判别分数带入异常感知目标函数，更新双向生成对抗网络异常检测模型的模型参数；S5.在双向生成对抗网络异常检测模型达到纳什均衡时，获得最优判别器和生成器的概率分布；S6.将测试图像数据集输入双向生成对抗异常检测模型，得到重构图片，计算重构图片与其本身的重构误差；S7.设置误差阈值，将重构误差与误差阈值相比，重构误差大于误差阈值的测试图像数据样本判别为异常样本类别；否则，判别为正常样本类别。2.根据权利要求1所述的基于局部异常数据提升全局异常检测性能的方法，其特征在于，步骤S2所述构建的双向生成对抗网络异常检测模型包括：编码器E，用于对图像数据进行压缩降维操作，将图像数据从原始空间压缩至低维隐含层空间，得到隐含层向量；生成器G，用于对隐含层向量进行重构；判别器D，用于对输入的图像数据样本所属类别进行判断区分。3.根据权利要求2所述的基于局部异常数据提升全局异常检测性能的方法，其特征在于，步骤S3中，正常训练图像数据集输入双向生成对抗网络异常检测模型时，设正常训练图像数据集中的正常训练图像数据样本为x
+
，x
+
通过编码器E进行压缩降维操作，得到隐含层向量E(x
+
)，隐含层向量E(x
+
)再通过生成器G重构得到重构图片G(E(x
+
))；构建隐含层先验分布，表达式为：其中，μ和σ表示隐含层先验分布所服从的标准高斯分布的均值和方差；从标准高斯分布中采样得到隐含层随机向量z，隐含层随机向量z通过生成器G得到生成图片G(z)；基于正常训练图像数据样本x
+
、重构图片G(E(x
+
))、隐含层随机向量z及生成图片G(z)，构建正常数据样本对(x
+
，E(x
+
))及生成数据样本对(G(z)，z)；将正常数据样本(x
+
，E(x
+
))对及生成数据样本(G(z)，z)对输入判别器D中得到正常图像数据判别分数D(x
+
，E(x
+
))和生成图像数据判别分数D(G(z)，z)。4.根据权利要求3所述的基于局部异常数据提升全局异常检测性能的方法，其特征在于，步骤S3中，异常图像数据输入双向生成对抗网络异常检测模型时，设异常训练图像数据样本为x
‑
，x
‑
通过编码器E进行压缩降维操作，得到隐含层向量E(x
‑
)，隐含层向量E(x
‑
)再通过生成器G重构得到重构图片G(E(x
‑
))；
基于异常训练图像数据样本x
‑
、重构图片G(E(x
‑
))，构造异常数据样本对(x
‑
，E(x
‑
))，将异常数据样本对(x
‑

【专利技术属性】
技术研发人员：苏勤亮，田博文，
申请(专利权)人：中山大学，
类型：发明
国别省市：