一种云原生可观测性下的IT实体群组异常检测方法技术

本发明专利技术涉及一种云原生可观测性下的IT实体群组异常检测方法，包括：1)获取IT实体群组在相同指标和时间段内的历史时间序列数据；2)根据历史时间序列数据判断IT实体群组是否适用于群组异常检测，若是则执行步骤3)，否则结束；3)对历史时间序列数据进行数据压缩，并进行后向差分计算，获得后向差分矩阵；4)根据后向差分矩阵，计算IT实体群组中每个IT实体与其它IT实体的距离；5)根据步骤4)计算获得的距离，通过LOF步骤识别出异常IT实体；6)以正常IT实体为基准，计算各个IT实体产生的异常点及其严重性。与现有技术相比，本发明专利技术可以对多个IT实体的指标数据同时进行异常检测，计算效率高。

【技术实现步骤摘要】
一种云原生可观测性下的IT实体群组异常检测方法
本专利技术涉及人工智能
，尤其是涉及一种云原生可观测性下的IT实体群组异常检测方法。
技术介绍
基于云原生的微服务架构已经是当前的技术趋势，云原生微服务架构下，大量应用采用分布式集群的方式进行部署，在分布式集群中，集群中的节点、应用或服务等IT实体一般各方面的配置相同，具有同质性。在一个集群中，配置或属性相同的节点、应用或服务等IT实体构成了一个群组。传统的异常检测方法，一般是针对单个IT实体在某个指标下的历史时间序列数据，采用基于相似度度量模型、基于概率统计模型、回归模型等方法进行异常检测，在这些IT实体的指标数据中，有些IT实体在某些指标下具有同质性，即具有相似的行为或者模式、且变化趋势趋于一致。如果针对某些指标，在多个IT实体具有同质性的前提下，某个时间段内某个IT实体的指标数据的变化趋势与其他IT实体的指标数据的变化趋势有较大差异，则该IT实体可能会有异常。若采用传统的异常检测方法对多个IT实体进行逐一检测，计算效率低。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种云原生可观测性下的IT实体群组异常检测方法，可以对多个具有同质性的IT实体的指标数据同时进行异常检测，计算效率高；本专利技术的目的可以通过以下技术方案来实现：一种云原生可观测性下的IT实体群组异常检测方法，包括：1)获取IT实体群组在相同指标和时间段内的历史时间序列数据；2)根据历史时间序列数据判断IT实体群组是否适用于群组异常检测，若是则执行步骤3)，否则结束；3)对历史时间序列数据进行数据压缩，并进行后向差分计算，获得后向差分矩阵；4)根据后向差分矩阵，计算IT实体群组中每个IT实体与其它IT实体的距离；5)根据步骤4)计算获得的距离，通过LOF步骤识别出异常IT实体；6)以正常IT实体为基准，计算各个IT实体产生的异常点及其严重性。进一步地，步骤2)包括：判断是否同时满足以下条件：各个IT实体的指标数据的样本量不小于设定样本量；所述的IT实体群组的IT实体数量不小于预设值，该预设值不小于3；若是则判定该IT实体群组适用于群组异常检测，否则不适用。进一步地，通过PAA步骤对历史时间序列数据进行数据压缩，所述的PAA步骤包括：根据历史时间序列数据中各指标数据的索引值进行平均划分，将指标数据分成n段，并取其中每段的非空值的平均值作为新数据，将每段索引值的开始值作为新数据的索引值，使得指标数据的长度压缩至n；通过数据压缩可以解决以下两个问题：当各个IT实体的指标样本数过多时，可通过数据压缩，在最大程度保留数据的特征的基础上减少样本量，以提高算法的效率；当由于机器计算等原因，导致各个IT实体的指标数据所对应的时间有轻微偏差时，可通过数据压缩控制压缩后的样本量，使压缩后的样本量保持不变，但各个IT实体的指标数据所对应的时间保持一致。进一步地，通过FastDTW步骤计算每个IT实体与其它IT实体的距离。进一步地，步骤5)包括：计算IT实体的局部离群因子LOF，判断LOF是否大于局部离群因子设定阈值，若是则判定该IT实体为异常IT实体，否则判定该IT实体为正常IT实体。进一步地，将IT实体视为样本点，所述的局部离群因子LOF的计算公式为：其中，ρk(O)为点O的局部可达密度，ρk(P)为Nk(O)内其他点的局部可达密度，Nk(O)为点O的第k距离领域。进一步地，Nk(O)满足：Nk(O)＝{P′∈D\{O}|d(O,P′)≤dk(O)}其中，dk(O)为点O的第k距离，dk(O)＝d(O,P)，P为距离点O最近的k个点，满足如下条件：在集合中至少存在k个点P′∈D\{O}，使得d(O,P′)≤d(O,P)；在集合中至多存在k-1个点P′∈D\{O}，使得d(O,P′)＜d(O,P)；ρk(O)的计算公式为：其中，dk(O,P)为点P到点O的第k可达距离，计算公式为：dk(O,P)＝max{dk(O),d(O,P)}。进一步地，步骤6)包括：61)根据后向差分矩阵，以正常IT实体作为基准实体，识别每个时间点上IT实体的指标数据样本点与基准实体之间相差的标准差数量bias；62)根据bias，通过预设严重性规则判定该指标数据样本点的严重性。进一步地，所述的标准差数量bias的计算公式具体为：标准差不为空，且不为0时，标准差不为空，为0，均值不为0时，标准差不为空，为0，均值为0时，其中，mean为基准实体的指标数据的非空均值，σ为基准实体的指标数据的非空标准差，default_mean为设定的基准实体指标数据的默认均值。进一步地，所述的严重性分为未知、正常和异常，所述的严重性规则包括：621)判断IT实体的指标数据样本点原始值是否为-1或空值，若是则标记该指标数据样本点为未知样本点，否则执行步骤622)；622)判断bias是否不大于设定数量，若是则标记该指标数据样本点为正常样本点，否则标记该指标数据样本点为异常样本点。与现有技术相比，本专利技术具有以下有益效果：(1)本专利技术获取一组IT实体在某个指标下同一时间段内的历史时间序列数据，根据预设条件判断该组IT实体的适用性，然后对该组IT实体的指标数据进行数据压缩，再根据压缩后的每个IT实体的指标数据分别进行后向差分计算，合并结果形成后向差分矩阵，根据差分矩阵，计算在某个指标下每个IT实体与其他IT实体的距离，根据各个IT实体的距离识别出异常IT实体，并检测出IT实体产生异常的时刻以及异常的严重性，本专利技术可以对多个IT实体的指标数据同时进行异常检测，能够识别出其是否具有同质性，检测IT实体是否属于IT异常实体，大大提高了计算效率；(2)本专利技术通过PAA步骤对历史时间序列数据进行数据压缩，通过数据压缩，在最大程度保留数据的特征的基础上减少样本量，提高了算法的效率，同时可通过数据压缩控制压缩后的样本量，使压缩后的样本量保持不变，但各个IT实体的指标数据所对应的时间保持一致，以便进行群组异常检测；(3)本专利技术根据后向差分矩阵，通过FastDTW步骤计算每个IT实体与其它IT实体的距离，提高了算法的效率；(4)本专利技术计算局部离群因子，根据局部离群因子的大小判断IT实体是否为异常IT实体，算法效率高；(5)本专利技术根据每个IT实体的指标样本点距离基准实体指标数据的标准差数量，以及严重性规则，获得各IT实体的指标样本点严重性结果，可以检测出IT实体在哪些时刻产生了异常以及异常的严重程度，准确率高。附图说明图1为本专利技术的方法流程图；图2为两段时间序列的示意图。具体实施方式下面结合附图和具体实施例对本专利技术进本文档来自技高网...

【技术保护点】
1.一种云原生可观测性下的IT实体群组异常检测方法，其特征在于，包括：/n1)获取IT实体群组在相同指标和时间段内的历史时间序列数据；/n2)根据历史时间序列数据判断IT实体群组是否适用于群组异常检测，若是则执行步骤3)，否则结束；/n3)对历史时间序列数据进行数据压缩，并进行后向差分计算，获得后向差分矩阵；/n4)根据后向差分矩阵，计算IT实体群组中每个IT实体与其它IT实体的距离；/n5)根据步骤4)计算获得的距离，通过LOF步骤识别出异常IT实体。/n6)以正常IT实体为基准，计算各个IT实体产生的异常点及其严重性。/n

【技术特征摘要】
1.一种云原生可观测性下的IT实体群组异常检测方法，其特征在于，包括：
1)获取IT实体群组在相同指标和时间段内的历史时间序列数据；
2)根据历史时间序列数据判断IT实体群组是否适用于群组异常检测，若是则执行步骤3)，否则结束；
3)对历史时间序列数据进行数据压缩，并进行后向差分计算，获得后向差分矩阵；
4)根据后向差分矩阵，计算IT实体群组中每个IT实体与其它IT实体的距离；
5)根据步骤4)计算获得的距离，通过LOF步骤识别出异常IT实体。
6)以正常IT实体为基准，计算各个IT实体产生的异常点及其严重性。


2.根据权利要求1所述的一种云原生可观测性下的IT实体群组异常检测方法，其特征在于，步骤2)包括：
判断是否同时满足以下条件：
各个IT实体的指标数据的样本量不小于设定样本量；
所述的IT实体群组的IT实体数量不小于预设值；
若是则判定该IT实体群组适用于群组异常检测，否则不适用。


3.根据权利要求1所述的一种云原生可观测性下的IT实体群组异常检测方法，其特征在于，通过PAA步骤对历史时间序列数据进行数据压缩，所述的PAA步骤包括：
根据历史时间序列数据中各指标数据的索引值进行平均划分，将指标数据分成n段，并取其中每段的非空值的平均值作为新数据，将每段索引值的开始值作为新数据的索引值，使得指标数据的长度压缩至n。


4.根据权利要求1所述的一种云原生可观测性下的IT实体群组异常检测方法，其特征在于，通过FastDTW步骤计算每个IT实体与其它IT实体的距离。


5.根据权利要求1所述的一种云原生可观测性下的IT实体群组异常检测方法，其特征在于，步骤5)包括：
计算IT实体的局部离群因子LOF，判断LOF是否大于局部离群因子设定阈值，若是则判定该IT实体为异常IT实体，否则判定该IT实体为正常IT实体。


6.根据权利要求5所述的一种云原生可观测性下的IT实体群组异常检测方法，其特征在于，将IT实体视为样本点，所述的局部离群因子LOF的计算公式为：



其中，ρk(O)为点O的局部可达密度，ρk(P)为Nk(O)内其...

【专利技术属性】
技术研发人员：宋祥雨，
申请(专利权)人：上海爱数信息技术股份有限公司，
类型：发明
国别省市：上海;31