一种基于多元时序关系学习的时间序列异常检测方法技术

本发明专利技术公开了一种基于多元时序关系学习的时间序列异常检测方法，包括步骤S1：基于T

【技术实现步骤摘要】
一种基于多元时序关系学习的时间序列异常检测方法


[0001]本专利技术涉及机器学习
，尤其涉及一种基于多元时序关系学习的时间序列异常检测方法。

技术介绍

[0002]在工业生产中，多元时序数据是复杂系统采集到的最基础的数据形态之一。随着系统规模的不断发展，多元时间序列的规模不断扩大，对于此种复杂系统进行异常检测及诊断的难度也不断增加。在机器学习领域，我们需要构建高效的异常检测模型，实时判断系统中潜在的异常情况，并加以警示。因此，如何高效地进行实时异常诊断是一个重要的研究问题。
[0003]围绕这个研究问题，现有方法中大多关注在对多元时间序列的重建及预测方面。对于在系统正常状态下收集到的数据，使用机器学习模型对当前序列进行重构或对未来系统状态进行有效预测，基于此目标实现模型训练。另外，对于待监控系统，将前一步当中完成训练的模型用于其中，若模型的重建效果或预测误差高于某一设定阈值，则认为当前系统状态已显著偏离训练时所用的正常系统状态，并做出潜在异常警告，警示系统使用者可能存在的系统风险。然而，在复杂系统中，来源于不同传感器的多元时序间具有天然的相依关系，传感器间相关关系的改变也是系统异常的有效预兆，因此亟需一种新的异常检测方法通过采集到的数据分析系统相依关系并依此检测系统异常。

技术实现思路

[0004]本专利技术的目的在于提出一种基于多元时序关系学习的时间序列异常检测方法，通过对于多元时间序列相关关系的有效学习，实现了对复杂运行系统的系统异常进行检测和诊断，提高模型的可信性、问题性同时为异常监控提供了较好的可解释性，在现实应用中具有较好的指导意义。
[0005]为达此目的，本专利技术采用以下技术方案：一种基于多元时序关系学习的时间序列异常检测方法，包括下述步骤：
[0006]步骤S1：基于T
train
时间段内的正常数据和变分自编码器框架，建立模型学习多元时序间的相关关系，包括下述子步骤：
[0007]步骤A1：使用编码器，刻画多元时间序列相关关系；
[0008]步骤A2：在隐空间中基于学习到的参数进行采样；
[0009]步骤A3：基于变分自编码器解码器实现时间序列重构；
[0010]步骤S2：建立模型目标函数和优化方案；
[0011]步骤S3：对于监控系统的实时异常检测及诊断。
[0012]优选的，在所述步骤A1中，具体包括在编码器中，使用线性层W
l
学习输入窗口数据S
t
的隐空间嵌入特征H
t
＝S
t
W
l
，基于多头自注意力机制计算多元时序间的相依关系，在单头条件下，代入多项式：
[0013][0014]其中为多头注意力机制中，t为当前时间窗口索引，模型学习到的最终参数的一系列向量，i为第一传感器，j为第二传感器，N为全部传感器数目。
[0015]优选的，在所述步骤A2中，具体包括基于变分自编码器的框架，依照步骤A1的多项式分布对隐空间变量进行随机采样，基于学习到的概率向量采用Gumbel
‑
Softmax重采样技巧进行采样，变量的公式为：
[0016][0017]其中g为采样自Gumbel(0,1)分布当中的随机变量，Gumbel(0,1)为参数为0,1的Gumbel分布，温度变量τ为重采样超参数，Softmax()为Softmax归一化指数函数。
[0018]优选的，在所述步骤A3中，在变分自编码器中，使用DCGRU模块基于步骤A2中采样得到的序列间相关关系，实现序列的循环重构，具体计算方式如下：
[0019][0020][0021][0022][0023][0024]其中W
Q
，b
Q
(Q＝R，C，U)为模型可学习参数，||为矩阵的堆积并列操作，是在循环重建中第t
′
个时间点的隐状态，Xt
′
为当前时间点的输入；R
t
′
为循环神经网络参数；A为步骤A2中采样后得到的多元时间序列相关关系的图建模形式，
★
A为图卷积操作，具体计算方式定义为：
[0025][0026]其中D
O
为邻接矩阵A的出度矩阵，D
I
为邻接矩阵A的入度矩阵，k为图卷积的扩散度系数，为可学习参数，Y为待卷积信号。
[0027]优选的，在所述步骤S2中，具体包括使用模型最终的目标函数进行优化，目标函数的公式为：
[0028][0029]其中Z
t
为隐变量；S
t
为实际采样变量；q
φ
后验分布概率密度函数；p
ψ
为先验概率密度函数；为序列的循环重构误差；KL(q
φ
(Z
t
|S
t
)||p
ψ
(Z
t
)|为模型所
学习到的多元时间序列相关关系与先验分布之间的KL散度。
[0030]优选的，在所述步骤S3中，具体包括在利用T
train
时间段内的正常数据，实现对正常工作系统状态的刻画，通过整合全部数据下的多元时间序列间相关关系，得到正常工作时各传感器的正常相依关系。
[0031]本专利技术的一个技术方案的有益效果：使用图结构刻画多元时序系统中不同时间维度的关系，不同的节点代表不同序列维度，边表示序列之间的相关关系，在正常数据上建模学习系统在正常工作时各维度序列之间的相关关系；基于重构及变分自编码器，实现对于图结构的无监督学习，建立数据驱动下的工业系统动态异常检测模型。
[0032]本专利技术通过对于多元时间序列相关关系的有效学习，实现了对复杂运行系统的系统异常进行检测和诊断，提高模型的可信性、问题性同时为异常监控提供了较好的可解释性，在现实应用中具有较好的指导意义，可以被广泛应用于实际生产时对复杂系统中快速采集到的多元时间序列数据进行快速准确的异常检测。
附图说明
[0033]图1是本专利技术一个实施例基于多元时序关系学习的时间序列异常检测的框架示意图。
具体实施方式
[0034]下面结合附图并通过具体实施方式来进一步说明本专利技术的技术方案。
[0035]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。
[0036]参阅图1所示，假设在一个存在N个传感器的复杂系统中，经过T时间采集到的数据用共有N行T列的矩阵X表示，本专利技术中用上标和下标分别代表采集数据的时间点和传感器编号。在本专利技术中，假设目标系统在前T
train
时间内是正常运行的，我们的目标是判断T
train
时间后的各时间点是否存在异常。同时使用一个宽度为w的滑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多元时序关系学习的时间序列异常检测方法，其特征在于，包括下述步骤：步骤S1：基于T
train
时间段内的正常数据和变分自编码器框架，建立模型学习多元时序间的相关关系，包括下述子步骤：步骤A1：使用编码器，刻画多元时间序列相关关系；步骤A2：在隐空间中基于学习到的参数进行采样；步骤A3：基于变分自编码器解码器实现时间序列重构；步骤S2：建立模型目标函数和优化方案；步骤S3：对于监控系统的实时异常检测及诊断。2.根据权利要求1所述的一种基于多元时序关系学习的时间序列异常检测方法，其特征在于，在所述步骤A1中，具体包括在编码器中，使用线性层W
l
学习输入窗口数据S
t
的隐空间嵌入特征H
t
＝S
t
W
l
，基于多头自注意力机制计算多元时序间的相依关系，在单头条件下，代入多项式：其中为多头注意力机制中，t为当前时间窗口索引，模型学习到的最终参数的一系列向量，i为第一传感器，j为第二传感器，N为全部传感器数目。3.根据权利要求2所述的一种基于多元时序关系学习的时间序列异常检测方法，其特征在于，在所述步骤A2中，具体包括基于变分自编码器的框架，依照步骤A1的多项式分布对隐空间变量进行随机采样，基于学习到的概率向量采用Gumbel
‑
Softmax重采样技巧进行采样，变量的公式为：其中g为采样自Gumbel(0，1)分布当中的随机变量，Gumbel(0，1)为参数为0，1的Gumbel分布，温度变量τ为重采样超参数，Softmax()为Softmax归一化指数函数。4.根据权利要求3所述的一种基于多元时序关系学习的时间序列异常检测方法，其特征在于，在所述步骤A3中，在变分自编码器中，使用DCGRU模块基于步骤A2中采样得到的序列间相关关系，实现序列的循环重构，具体计算方式如下：列间相关关系，实现序列的循环重构，具体计算方式如下...

【专利技术属性】
技术研发人员：张玮祺，宗福季，杜娟，王文佳，
申请(专利权)人：香港科技大学广州香港科技大学，
类型：发明
国别省市：