一种基于潜在特征分解的无监督异常检测方法技术

本发明专利技术提出一种基于潜在特征分解的无监督异常检测方法，属于通用异常检测领域；具体包括：首先，对给定的待检测数据进行预处理，构建无标签训练数据集；然后，搭建包括编码模块，解码模块和特征分解模块的FDAE；利用编码模块将数据转化到潜在空间，得到潜在特征；利用特征分解模块分别提取潜在特征的正常和异常特征；然后，利用解码模块分别对正常特征和异常特征进行解码；基于解码结果，采用两阶段的训练策略和无标签数据集训练FDAE；利用测试集输入训练好的FDAE中，分别计算正常重构误差和异常重构误差，判断该测试数据是否异常；本发明专利技术训练速度更快，所需要的超参数更少，能够处理复杂结构的数据。复杂结构的数据。复杂结构的数据。

【技术实现步骤摘要】
一种基于潜在特征分解的无监督异常检测方法


[0001]本专利技术属于通用异常检测领域，具体涉及一种基于潜在特征分解的无监督异常检测方法。

技术介绍

[0002]机器学习的任务是识别数据并利用数据不断改善自身；但是，经常有很多不遵循正常(常规)模式的异常数据会干扰模式识别，这些异常数据的规模较之于正常数据较小，且通常属于新的非正常模式的类别或者是难以定义的噪声，被称为离群点或者异常点(《Anomaly detection:A survey》)，识别异常数据的异常检测应运而生。
[0003]在很多实际应用中，通常没有足够的标签来使得异常检测模型从大规模数据中，识别出异常数据，因此需要使用无监督的方法来进行异常检测。比如搜索引擎在检索图片时经常需要在没有先验信息的情况下，从检索的结果中排除异常图片；很多工业场景需要在无明确定义异常的情况下，根据多个传感器产生的时间序列自动找出机器存在异常运转情况的时刻。在这些例子中唯一的假设是异常数据规模低于正常数据的规模。由于类别严重不均横，而且异常定义模糊，所以很难使用二分类或者多分类方法来进行异常检测。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于潜在特征分解的无监督异常检测方法，其特征在于，具体步骤如下：针对给定的待检测原始数据，首先进行预处理，将原始数据处理成统一尺寸，构建无标签训练数据集；然后，根据待检测数据类型构建包括编码模块，解码模块和特征分解模块的特征分解自编码机FDAE；所述编码模块包含一个编码器，特征分解模块包含一个RSR层和一个噪声提取器，解码模块包含正常数据解码器和异常数据解码器；利用编码器将原始数据转化到潜在空间，得到原始数据的潜在特征；利用RSR层从潜在特征提取数据的正常本质特征Az
(n)
，利用噪声提取模块从潜在特征中提取数据的异常特征s
(n)
；并利用正常数据解码器和异常数据解码器，对数据的正常本质特征Az
(n)
和异常特征s
(n)
分别进行解码，得到正常副本和异常副本接着，利用正常副本和异常副本结合两阶段的训练策略和无标签数据集训练FDAE，直至达到预定的训练轮数；最后，将新的测试数据输入训练好的FDAE中，计算正常解码器的输出，异常解码器的输出分别与测试数据之间的重构误差，分别记为正常重构误差和异常重构误差，进而判断该测试数据是否为异常。2.如权利要求1所述的一种基于潜在特征分解的无监督异常检测方法，其特征在于，所述的利用编码器得到原始数据的潜在特征，具体为：编码器E将原始数据映射到一个高维的k维潜在空间，该空间内的潜在特征记为N表示训练数据的数量，K表示原始向量数据的维度，k表示编码器的输出z的维度。3.如权利要求1所述的一种基于潜在特征分解的无监督异常检测方法，其特征在于，所述的特征分解模块中RSR层的损失函数L
RSR
包括两个损失函数和具体计算为：其中λ1和λ2是超参数；A
T
表示RSR层的参数矩阵的转置矩阵，I
d
表示d
×
d的单矩阵，将A视为潜在特征的编码器，A
T
视为潜在特征的解码器；噪声提取器F用来提取潜在特征中的异常信息s
(n)
，即s
(n)
＝F(z
(n)
)，并将其作为异常特征。4.如权利要求1所...

【专利技术属性】
技术研发人员：胡铮，郭翊豪，朱新宁，张春红，温志刚，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：