一种独立于数据类型的无监督异常检测方法技术

本发明专利技术提供了一种独立于数据类型的无监督异常检测方法，涉及传感器网络，可靠系统等的异常检测领域，包括：(1)对给定的任意类型的数据进行预处理，构建训练数据集；(2)构建自编码器网络，对数据进行维度压缩和特征提取；(3)构建正常数据提取层，对数据进行进一步正常特征提取；(4)用概率密度函数高斯混合模型对正常特征的数据分布进行拟合；(5)对无监督异常检测网络进行训练；(6)使用训练完成的神经网络对测试数据集进行预测，当测试数据的异常概率大于指定阈值时，将该数据视为异常。克服异常检测中异常标签难以获得和针对特定数据类型设计的模型无法应用于其他数据类型的挑战，提高性能的同时又保证了数据类型可扩展性。

【技术实现步骤摘要】
一种独立于数据类型的无监督异常检测方法
本专利技术涉及异常检测领域，特别涉及工业生产中传感器网络，可靠系统等的一种独立于数据类型的无监督异常检测方法。
技术介绍
异常检测是保证系统运行可靠性和安全性的基础技术之一。在大数据时代，各种数据无时无刻不在被收集。收集的数据通常反映运行系统的质量。当异常发生时，系统中可能会出现意外情况。如何检测异常成为一个迫切需要解决的问题。异常检测的目的是监控这些系统，发现异常，以便操作人员及时做出反应。对于异常检测，虽然有监督异常检测和半监督异常检测在精度上取得比较好的成果，但在现实数据中，异常标签的获得通常是耗费很大的人力物力的，所以采用无监督的异常检测方法更为现实。而如今的无监督异常检测方法的假设前提是，正常数据的数据量是远远大于异常数据的，所以在训练中不区分正常数据和异常数据是可行的。但当训练数据中的异常数据占据了一定数据量后，这些无监督异常检测方法的性能就会大大下降，因此，如何在训练中保证正常数据和异常数据的分离是必不可少的。此外，现有的方法都是针对一到两种具体的数据类型进行异常检测，而不能适用于其他类型的数据，而为一种新的数据类型设计一个新的方法的成本是巨大的。因此，异常检测所面临的挑战包括，异常标签通常是很难获得的，并且针对特定数据类型设计的模型无法应用于其他数据类型。一方面，异常标签难以获得，例如文献(Zong,B.,Song,Q.,Min,M.R.,Cheng,W.,Lumezanu,C.,Cho,D.,Chen,H.:Deepautoencodinggaussianmixturemodelforunsupervisedanomalydetection.I)(Zhai,S.,Cheng,Y.,Lu,W.,Zhang,Z.:Deepstructuredenergybasedmodelsforanomalydetection.arXivpreprintarXiv:1605.07717(2016).)的性能在无监督的条件下表现良好，但当训练数据中的异常数据逐渐增加时性能会降低。另一方面，大多数为特定数据类型而设计的模型在处理其他数据类型的数据时表现较差，例如文献(Yang,B.,Fu,X.,Sidiropoulos,N.D.,Hong,M.:Towardsk-means-friendlyspaces:Simultaneousdeeplearningandclustering.In:internationalconferenceonmachinelearning,pp.3861-3870.PMLR(2017).)被证明是有效的，但仅适用于静态数据类型。有些处理图像数据表现出良好的性能，但它们在其他数据类型上的结果一般。现有的为时序数据设计的模型也面临着同样的难题。
技术实现思路
本专利技术的目的在于针对异常检测所面临的异常标签难以获得和针对特定数据类型设计的模型无法应用于其他数据类型的挑战，如何在训练中分离正常数据和异常数据，并且在不改变核心步骤的基础下适用多种数据类型。本专利技术至少通过如下技术方案之一实现。一种独立于数据类型的无监督异常检测方法，包括以下步骤：(1)对给定的任意类型的数据进行预处理，构建训练数据集；(2)构建自编码器网络，对数据进行维度压缩和特征提取；(3)构建正常数据提取层，对数据进行进一步正常特征提取；(4)用概率密度函数高斯混合模型对正常特征的数据分布进行拟合；(5)对无监督异常检测网络进行训练；(6)使用训练完成的神经网络对测试数据集进行预测，当测试数据的异常概率大于指定阈值时，将该数据视为异常。优选的，步骤(1)中，对给定的任意类型的数据进行预处理包括：对于静态数据类型，对每一个特征维度进行标准差标准化，即均值为0，标准差为1，使得经过处理后的数据服从标准正态分布；对于图像数据类型，对每一个像素点进行简单缩放，使得经过处理后的数据分布在[0,1]的区间范围内；对于时间序列数据类型，先对每一个特征维度进行标准差标准化，即均值为0，标准差为1，使得经过处理后的数据服从标准正态分布，再以步长为s的固定大小的滑动窗口对序列进行采样。优选的，所述自编码器网络对数据进行维度压缩和特征提取如下：z＝ε(x)其中，x表示为输入数据；ε为采用的自编码器网络，根据不同的数据类型的特点和输入数据的表示形式不同，自适应地选择不同的自编码器网络对相应的数据类型数据进行维度压缩和特征提取。优选的，对于静态数据类型，输入数据表示为[批数，特征数]，自编码器网络为采用全连接层的自编码器网络，对数据进行维度压缩和非线性特征提取；对于图像数据类型，输入数据表示为[批数，图片高度，图片宽度，通道数]，自编码器网络为采用卷积神经网络的自编码网络，对数据进行维度压缩和空间特征提取；对于时间序列数据类型，输入数据表示为[批数，步长，特征数]，自编码器网络为采用长短期记忆网络的自编码器网络，对数据进行维度压缩和时间依赖特征提取。优选的，步骤(3)具体为：假定数据中的异常是由于数据的部分特征发生异常而引起的，那么原始数据被划分为正常的数据特征和异常的数据特征，基于此，正常的数据特征用低秩的矩阵表示，异常的数据特征用一个稀疏的矩阵表示；通过线性转换找到子空间，使正常的数据特征都分布在这个子空间上，而异常的数据特征分布在这个子空间外，从而进行正常数据的提取：z′＝M×z其中，M是一个服从正态分布的正交矩阵，z为特征向量，经过线性转换后的z′被视为仅包含正常数据的特征表示。优选的，所述概率密度函数高斯混合模型为K个高斯分布函数线性组合的模型，每个高斯分布函数都有一组参数，这组参数包括：混合模型权重γ、混合模型分布φ、混合模型均值μ、混合模型方差Σ；使用多层感知器来生成初始的混合模型权重γ，再在这基础上计算合模型分布φ、混合模型均值μ和混合模型方差Σ：γ＝softmax(MLP(z′))其中，γi,k表示混合权重，φk、μk、Σk分别表示K个模型分布，混合模型均值和混合模型方差，z′表示仅包含正常数据的特征表示，MLP为多层感知器，softmax()为归一化指数函数，K为高斯混合模型的高斯分布函数个数，N为数据批数。优选的，训练中使用的目标函数为：其中，L表示目标函数，xi表示原始数据，x′i表示重建数据，zi表示特征向量，M为正交矩阵，I为和MMT维数相同的单位矩阵，为l2,1范数，||·||F为F范数，λ1、λ2、λ3、λ4均为平衡因子；目标函数的第一项为自编码器的重建数据和原始数据间的误差，第二项为正常数据提取层的投影误差，第三项为正常数据提取层的正则项，用来保证投影矩阵M接近于正交矩阵，第四项为高斯混合模型的输出结果，即数据是异常的概率，第五项为高斯混合模型的正则项，用来防止高斯混合模型中有可能出现的奇异解问题；训练达到一定轮次直到收敛即可停止训练。优选的，步骤本文档来自技高网...

【技术保护点】
1.一种独立于数据类型的无监督异常检测方法，其特征在于，包括以下步骤：/n(1)对给定的任意类型的数据进行预处理，构建训练数据集；/n(2)构建自编码器网络，对数据进行维度压缩和特征提取；/n(3)构建正常数据提取层，对数据进行进一步正常特征提取；/n(4)用概率密度函数高斯混合模型对正常特征的数据分布进行拟合；/n(5)对无监督异常检测网络进行训练；/n(6)使用训练完成的神经网络对测试数据集进行预测，当测试数据的异常概率大于指定阈值时，将该数据视为异常。/n

【技术特征摘要】
1.一种独立于数据类型的无监督异常检测方法，其特征在于，包括以下步骤：
(1)对给定的任意类型的数据进行预处理，构建训练数据集；
(2)构建自编码器网络，对数据进行维度压缩和特征提取；
(3)构建正常数据提取层，对数据进行进一步正常特征提取；
(4)用概率密度函数高斯混合模型对正常特征的数据分布进行拟合；
(5)对无监督异常检测网络进行训练；
(6)使用训练完成的神经网络对测试数据集进行预测，当测试数据的异常概率大于指定阈值时，将该数据视为异常。


2.如权利要求1所述的一种独立于数据类型的无监督异常检测方法，其特征在于，步骤(1)中，对给定的任意类型的数据进行预处理包括：
对于静态数据类型，对每一个特征维度进行标准差标准化，即均值为0，标准差为1，使得经过处理后的数据服从标准正态分布；
对于图像数据类型，对每一个像素点进行简单缩放，使得经过处理后的数据分布在[0,1]的区间范围内；
对于时间序列数据类型，先对每一个特征维度进行标准差标准化，即均值为0，标准差为1，使得经过处理后的数据服从标准正态分布，再以步长为s的固定大小的滑动窗口对序列进行采样。


3.如权利要求2所述的一种独立于数据类型的无监督异常检测方法，其特征在于，所述自编码器网络对数据进行维度压缩和特征提取如下：
z＝ε(x)
其中，x表示为输入数据；ε为采用的自编码器网络，根据不同的数据类型的特点和输入数据的表示形式不同，自适应地选择不同的自编码器网络对相应的数据类型数据进行维度压缩和特征提取。


4.如权利要求3所述的一种独立于数据类型的无监督异常检测方法，其特征在于，
对于静态数据类型，输入数据表示为[批数，特征数]，自编码器网络为采用全连接层的自编码器网络，对数据进行维度压缩和非线性特征提取；
对于图像数据类型，输入数据表示为[批数，图片高度，图片宽度，通道数]，自编码器网络为采用卷积神经网络的自编码网络，对数据进行维度压缩和空间特征提取；
对于时间序列数据类型，输入数据表示为[批数，步长，特征数]，自编码器网络为采用长短期记忆网络的自编码器网络，对数据进行维度压缩和时间依赖特征提取。


5.如权利要求4所述的一种独立于数据类型的无监督异常检测方法，其特征在于，步骤(3)具体为：假定数据中的异常是由于数据的部分特征发生异常而引起的，那么原始数据被划分为正常的数据特征和异常的数据特征，基于此，正常的数据特征用低秩的矩阵表示，异常的数据特征用一个稀疏的矩阵表示；通过线性转换找到子空间，使正常的数据特征都分布在这个子空间上，而异常的数据特征分布在这个子空间外，从而进行正常数据的提取：
z′＝M×z
其中，M是一个服从正态分布的...

【专利技术属性】
技术研发人员：何克晶，罗钲宇，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44