一种面向时序KPI数据的异常检测方法技术

本发明专利技术公开了一种面向时序KPI数据的异常检测方法，步骤1、对一个极大极小二元博弈过程模型进行训练，通过交替训练使模型收敛；训练分为两个阶段即KPI识别器训练和重构器训练：步骤2、进行在线检测，用训练完成的识别器来判定数据正常/异常。本发明专利技术具有针对性强，检测精度高，检测鲁棒性高等优点。检测鲁棒性高等优点。检测鲁棒性高等优点。

【技术实现步骤摘要】
一种面向时序KPI数据的异常检测方法


[0001]本专利技术属于数据挖掘
，特别是涉及一种时序KPI数据的异常检测方法。

技术介绍

[0002]现代互联网应用的交互特性要求提供的服务具有低且稳定的延迟。然而，爆发性工作负载和资源竞争等因素往往会导致系统异常的发生，进而影响服务质量。因此，准确地检测系统异常变得越来越重要。除了现存的解决方案(例如日志诊断、领域知识驱动型检测)，异常检测的一个主要方法是通过KPI数据(关键性能指标)检测系统异常，即实时测量一些重要的关键性能指标(例如用户访问负载、资源利用率和订单数量)并从中检测系统相关异常。
[0003]KPI数据反映了系统的时序状态，往往表现出周期性的特征。由于不确定噪声总是与周期模式相混合，使得KPI异常的检测是一个挑战性工作。特别是当KPI数据中的噪声不服从高斯分布时，异常与正常数据的识别难度增加。为了检测KPI异常，现有文献主要采用传统方法或深度学习方法。传统方法包括统计学方法和集成学习方法。它们无法处理高维数据，因为过于简单的模型难以提取到高维复杂的特征。尽管用于特征工程和异常识别的深度监督模型可以处理高维数据，但由于数据集的不平衡性，监督学习方法存在数据标注困难和模型收敛到次优的问题。
[0004]而目前还没有专门对时序数据高鲁棒的异常检测模型。

技术实现思路

[0005]本专利技术旨在提出一种面向时序KPI数据的异常检测方法，实现了基于深度学习的时序KPI数据异常检测。
[0006]本专利技术的一种面向时序KPI数据的异常检测方法，该方法具体包括以下步骤：
[0007]步骤1、对一个极大极小二元博弈过程模型进行训练，通过交替训练使模型收敛；训练分为两个阶段即KPI识别器训练和重构器训练：
[0008]步骤1-1、识别器训练过程为：首先从数据集中抽取在正常系统状态下采集的真实KPI数据和通过重构器重构异常KPI数据；
[0009]令正常数据标签为1、异常数据标签为0，通过最小化预测标签和真实标签的交叉熵来训练识别器，公式如下：
[0010][0011]其中，x
i
是一条真实KPI数据，D(x
i
)是识别器对其真实性的评价，R(x
i
)是重构器对x
i
的重构结果，
[0012]利用公式(1)使识别器最大化区分正常数据和异常数据；
[0013]步骤1-2、重构器训练过程为最小化识别器的识别损失，公式如下：
[0014][0015]其中，D(
·
)表示识别器对数据异常的判定，0表示数据正常，1表示数据异常；
[0016]步骤1-3、交替训练识别器和重构器，重复执行上述步骤1-1至步骤1-2直至模型收敛；当模型收敛时，通过重构器生成较为真实的数据；通过识别器识别正常数据的模式；
[0017]步骤2、进行在线检测，把待检测数据x输入给识别器D，然后D输出对数据x异常性的判定结果，用训练完成的识别器来判定数据正常/异常，如下式所示：
[0018][0019]进行异常KPI数据识别的过程，具体包括以下步骤：
[0020]首先利用一维卷积神经网络提取时序KPI数据特征，然后利用一维卷积神经网络提取二次特征，最后把所有提取到的特征利用全连接神经网络进行分类：分析KPI数据的非高斯噪声特性，利用非平滑激活函数激活识别器来解决非高斯噪声问题，以便高效识别混有非高斯噪声的KPI异常；分析过程如下：
[0021]假设x＝{x1,x2,...,x
w
}是一个正常的KPI数据序列，Φ(
·
)是一个可学习的神经网络分类器，Φ(x)＝1表示数据x正常，反之Φ(x)＝0表示数据x异常；用ε＝{ε1,ε2,...,ε
w
}表示非高斯分布噪声，接下来衡量Φ(x+ε)异常与否，ε表示边界；理想的异常检测器应满足以下标准之一：
[0022][0023]当ε趋近无穷小的时候，得到如下关系式：
[0024][0025]假设在识别器D中有n层神经网络，用H
j
(
·
)表示将j-1
th
层映射到j
th
层中的函数，并将σ
j
(
·
)作为j
th
层中的激活函数；
[0026]Φ(x)表示如下：
[0027][0028]其中，σ
j
(
·
)是非光滑函数；当σ'
j
(
·
)是不连续时，使得公式(7)成立。
[0029]与现有技术相比，本专利技术具有以下有益效果：
[0030]1)本专利技术的模型是基于异常检测目标，因为检测结果更精确；
[0031]2)相比较于传统统计学方法，本专利技术提出的基于深度学习模型在处理高维数据时更高效；
[0032]3)不同于集成学习方法，本专利技术提出的模型无需在原始数据上做特征工程，使得模型的应用范围更广；
[0033]4)本专利技术的模型以无监督的方式训练，免去上述数据比例不平衡导致的次优问题。不仅如此，监督模型需要大量数据标签，而大规模系统中标记数据是一个极具挑战性的任务，而无监督模型由于不需要数据，因此可以有效解决这个问题。
附图说明
[0034]图1为本专利技术的一种面向时序KPI数据的异常检测方法整体流程图；
[0035]图2为本专利技术的一种面向时序KPI数据的异常检测模型实施例架构图。
具体实施方式
[0036]以下结合附图及具体实施方式，进一步详述本专利技术技术方案。
[0037]如图1所示，为本专利技术的一种面向时序KPI数据的异常检测方法整体流程图。该流程具体包括以下步骤：
[0038]步骤1、对一个极大极小二元博弈过程模型进行训练，通过交替训练使模型收敛；训练分为两个阶段即KPI识别器训练和重构器训练：
[0039]1-1、识别器训练过程为：首先从数据集中抽取在正常系统状态下采集的真实KPI数据和通过重构器重构异常KPI数据(由于重构器在训练初期重构的数据和原始数据偏差较大，因此认为是异常数据)；
[0040]令正常数据标签为1、异常数据标签为0，通过最小化预测标签(包括正常和异常标签)和真实标签(包括正常和异常标签)的交叉熵来训练识别器，公式如下：
[0041][0042]公式(1)中，x
i
是一条真实KPI数据，D(x
i
)是识别器对其真实性的评价，R(x
i
)是重构器对x
i
的重构结果；
[0043]最小化公式(1)可以使识别器最大化区分正常数据和异常数据：对于正常数据，识别器输出1，异常数据识别器输出0。
[0044]1-2、重构器训练过程为最小化识别器的识别损失，公式如下：
[0045][0046]其中，D(...

【技术保护点】

【技术特征摘要】
1.一种面向时序KPI数据的异常检测方法，其特征在于，该方法具体包括以下步骤：步骤1、对一个极大极小二元博弈过程模型进行训练，通过交替训练使模型收敛；训练分为两个阶段即KPI识别器训练和重构器训练：步骤1-1、识别器训练过程为：首先从数据集中抽取在正常系统状态下采集的真实KPI数据和通过重构器重构异常KPI数据；令正常数据标签为1、异常数据标签为0，通过最小化预测标签和真实标签的交叉熵来训练识别器，公式如下：其中，x
i
是一条真实KPI数据，D(x
i
)是识别器对其真实性的评价，R(x
i
)是重构器对x
i
的重构结果，利用公式(1)使识别器最大化区分正常数据和异常数据；步骤1-2、重构器训练过程为最小化识别器的识别损失，公式如下：其中，D(
·
)表示识别器对数据异常的判定，0表示数据正常，1表示数据异常；步骤1-3、交替训练识别器和重构器，重复执行上述步骤1-1至步骤1-2直至模型收敛；当模型收敛时，通过重构器生成较为真实的数据；通过识别器识别正常数据的模式；步骤2、进行在线检测，把待检测数据x输入给识别器D，然后D输出对数据x异常性的判定结果，用训练完成的识别器来判定数据正常/异常，如下式所示：2.如权利要求1所述的一种面向时序KPI数据异常检测方法，其特征在于，进行异常KPI数据识别的过程，具体包括以...

【专利技术属性】
技术研发人员：聂力海，赵来平，田朝，李克秋，
申请(专利权)人：天津大学，
类型：发明
国别省市：