使用无监督深度神经网络的多维时序数据实时异常检测方法技术

本发明专利技术提供的一种使用无监督深度神经网络的多维时序数据实时异常检测方法可以分为两个阶段，分别为训练阶段和检测阶段。训练阶段需要利用历史采集的数据训练模型，拟合出符合这一应用场景的监测系统。在检测阶段，在真实数据产生之前，提前预测出接下来要到达的数据，根据真实到达的数据与预测数据之间的差异判断是否异常。一旦新到达的数据与预测数据之间的距离大于系统设定的阈值，判断该时刻采集的数据为异常数据，并发出异常提醒。本发明专利技术融合多种深度学习模型的优点，建立了一个自动实时检测多维时间序列中异常事件的模型。本发明专利技术具有很好的可扩展性，适用于多种场景下的多维时间序列异常检测。时间序列异常检测。时间序列异常检测。

【技术实现步骤摘要】
使用无监督深度神经网络的多维时序数据实时异常检测方法


[0001]本专利技术涉及一种多维时间序列异常检测的方法。

技术介绍

[0002]随着信息时代的到来，每天都会产生巨量的数据，这些数据中的一部分是时间序列数据。时间序列数据是按时间顺序在某个指标上每间隔一定的时间所采集的数据排列成的序列。序列中的每一个数据都与先前的数据相关，这类数据可以描述事物随时间的变化情况，能反映事物的发展趋势。在众多研究方向中，对多维时间序列异常检测的研究占据重要的地位。能否及时发现异常，解决异常关乎到生产、生活能否正常进行。近些年随着物联网的发展，我们能监测收集到更多的多维时间序列数据，由于异常随时可能产生严重的后果，那么对已收集到的数据进行整理分析可及时发现影响安全的因素，及时处理可能的影响因素，可以尽可能地减小损失。因此对多维时间序列异常检测方法做研究具有十分重要的现实意义。
[0003]实时的多维时间序列异常检测对现实生活中的安全生产、生活具有重要的意义。现在主流的异常检测方法包括基于传统统计的方法，基于机器学习的方法和深度学习的方法。基于传统统计的异常检测方法通常将时间序列数据当作数据集合分析其分布，这种技术需要事先获得全体数据，其无法实时判断异常，且存在不可避免的噪声。而机器学习中基于距离、密度，基于集成学习等技术无法获得时间序列数据之间的相关性。相对来说，深度学习模型更适用于多维时间序列的异常检测，它能自动捕获到时间序列之间的非线性关系，提供端到端的训练，不需要复杂的调参。但不同的深度学习模型只能针对不同的应用场景。<br/>
技术实现思路

[0004]本专利技术的目的是：融合了多种深度神经网络模型，使其在多维时间序列异常检测过程中既克服了传统统计方法受噪声影响的缺陷，又克服了机器学习方法中无法捕获序列之间相关性的缺点。
[0005]为了达到上述目的，本专利技术的技术方案是提供了一种使用无监督深度神经网络的多维时序数据实时异常检测方法，其特征在于，包括以下步骤：
[0006]步骤1、获得当前时刻之前设定时间段内的m组实时历史数据组，相邻实时历史数据组之间步长为w，每组实时历史数据组包含ω条实时历史数据，每条实时历史数据包含n个属性的实时历史属性数据；
[0007]获得当前时刻的一条新采集数据，该条新采集数据包含n个属性的新采集属性数据；
[0008]步骤2、计算每组实时历史数据组的相关性特征，得到每组实时历史数据组的相关性特征矩阵FM，相关性特征矩阵FM为n阶方阵，m个相关性特征矩阵FM组成长度为m的特征矩阵序列；
[0009]将最新的一条新采集数据看作一个大小为n
×
1的一维矩阵，用计算相关性特征的方法计算这个一维矩阵的特征矩阵，得到自身特征矩阵SFM，该自身特征矩阵SFM为n阶方阵；
[0010]步骤3、将特征矩阵序列输入提取特征重建数据模块，提取特征重建数据模块使用四层卷积神经网络作为特征提取器，为每一层卷积神经网络增加一层专门处理时间序列数据的LSTM网络结构，对每一层LSTM网络结构输出的特征提取矩阵进行重构获得重构矩阵，每一层重构矩阵的大小与当前一层LSTM网络结构输出的特征提取矩阵大小一致，所有重构矩阵构成了重构矩阵序列，该重构矩阵序列为特征提取器的输出，且重构矩阵序列的大小与输入的特征矩阵序列的大小一致；
[0011]提取特征重建数据模块将重构矩阵序列作为一线性回归的输入，线性回归的输出为预测采集数据，该预测采集数据的表现形式为n阶方阵PSFM；
[0012]步骤4、进行数据异常评估，包括以下步骤：
[0013]步骤401、计算方阵PSFM与自身特征矩阵SFM的差异；
[0014]步骤402、依据上一步计算得到的差异计算异常得分sc；
[0015]步骤403、根据给定的阈值δ判断异常得分sc是否达到了异常的范围：如果异常得分sc大于阈值δ，则说明可能发生了异常，立即将异常信号返回；如果异常得分sc不大于阈值δ，则直接将结果存储。
[0016]优选地，步骤2中，所述相关性特征矩阵FM的计算公式为：
[0017][0018]式中，每组实时历史数据组的ω条实时历史数据为一个大小为n
×
ω的矩阵M。
[0019]优选地，步骤401中，将距离矩阵DM作为所述方阵PSFM与所述自身特征矩阵SFM的差异，DM＝‖PSFM
‑
SFM‖2。
[0020]优选地，步骤402中，计算异常得分sc时，统计所述距离矩阵DM中大于给定阈值θ的元素值的数量，将统计结果作为所述异常得分sc，sc＝F(DM,θ)，F是统计距离矩阵DM中大于阈值θ的元素的数量。
[0021]优选地，所述阈值θ根据多个历史正常数据的距离矩阵HNDMs设定，则有：
[0022]θ＝1.5
×
(Q3(MAX(HNDMs))
‑
Q1(MAX(HNDMs)))+Q3(MAX(HNDMs))
[0023]其中，MAX(HNDMs)为所有距离矩阵HNDMs中的最大数值组成的集合，Q1和Q3分别表示集合MAX(HNDMs)的下四分位数和上四分位数。
[0024]优选地，步骤403中，采用以下方法设定所述阈值δ：
[0025]步骤4031、得到多个历史正常数据的异常得分的异常得分集合sn，基于异常得分集合sn计算得到临时阈值δ
′
，有：
[0026]δ
′
＝1.5
×
(Q3(sn)
‑
Q1(sn))+Q3(sn)
[0027]Q1和Q3分别表示异常得分集合sn的下四分位数和上四分位数；
[0028]步骤4032、判断异常得分集合sn中是否存在大于临时阈值δ
′
的值，如果存在，则将所述阈值δ设置为异常得分集合sn中大于临时阈值δ
′
那部分值的上四分位数；如果不存在，则直接将所述阈值δ设为异常得分集合sn中的最大值，即有：
[0029]δ表示为：
[0030]本专利技术根据历史数据提出了一种实时的时间序列异常检测方法，适用于多种真实场景中的多维时间序列实时异常检测。本专利技术根据当前的预测数据与真实数据之间的差异大小判断是否出现了异常。一旦预测数据和真实数据之间的距离超过了设定的阈值，就采取必要的安全措施，以提醒可能发生了异常行为并及时做检查以减小损失。
[0031]与现有技术相比，本专利技术具有如下特点：
[0032](1)融合多种深度学习模型的优点，建立了一个自动实时检测多维时间序列中异常事件的模型。
[0033](2)设计了一种根据历史数据的异常情况判定异常的办法和设定阈值的办法。
[0034](3)具有很好的可扩展性，适用于多种场景下的多维时间序列异常检测。
附图说明
[0035]图1为本专利技术的整体架构图；
[0036]图2为检测异常流程图；
[0037]图3为模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种使用无监督深度神经网络的多维时序数据实时异常检测方法，其特征在于，包括以下步骤：步骤1、获得当前时刻之前设定时间段内的m组实时历史数据组，相邻实时历史数据组之间步长为w，每组实时历史数据组包含ω条实时历史数据，每条实时历史数据包含n个属性的实时历史属性数据；获得当前时刻的一条新采集数据，该条新采集数据包含n个属性的新采集属性数据；步骤2、计算每组实时历史数据组的相关性特征，得到每组实时历史数据组的相关性特征矩阵FM，相关性特征矩阵FM为n阶方阵，m个相关性特征矩阵FM组成长度为m的特征矩阵序列；将最新的一条新采集数据看作一个大小为n
×
1的一维矩阵，用计算相关性特征的方法计算这个一维矩阵的特征矩阵，得到自身特征矩阵SFM，该自身特征矩阵SFM为n阶方阵；步骤3、将特征矩阵序列输入提取特征重建数据模块，提取特征重建数据模块使用四层卷积神经网络作为特征提取器，为每一层卷积神经网络增加一层专门处理时间序列数据的LSTM网络结构，对每一层LSTM网络结构输出的特征提取矩阵进行重构获得重构矩阵，每一层重构矩阵的大小与当前一层LSTM网络结构输出的特征提取矩阵大小一致，所有重构矩阵构成了重构矩阵序列，该重构矩阵序列为特征提取器的输出，且重构矩阵序列的大小与输入的特征矩阵序列的大小一致；提取特征重建数据模块将重构矩阵序列作为一线性回归的输入，线性回归的输出为预测采集数据，该预测采集数据的表现形式为n阶方阵PSFM；步骤4、进行数据异常评估，包括以下步骤：步骤401、计算方阵PSFM与自身特征矩阵SFM的差异；步骤402、依据上一步计算得到的差异计算异常得分sc；步骤403、根据给定的阈值δ判断异常得分sc是否达到了异常的范围：如果异常得分sc大于阈值δ，则说明可能发生了异常，立即将异常信号返回；如果异常得分sc不大于阈值δ，则直接将结果存储。2.如权利要求1所述的一种使用无监督深度神经网络的多维时序数据实时异常检测方法，其特征在于，步骤2中，所述相关性特征矩阵FM的计算公式为：式中，每组实时历史数据组的ω条实时历史数据为一个大小为n

【专利技术属性】
技术研发人员：赵培海，王咪咪，常晓燕，
申请(专利权)人：东华大学，
类型：发明
国别省市：