一种基于KPI指标的多维异常检测方法、装置及存储介质制造方法及图纸

本发明专利技术涉及计算机技术领域，公开了一种基于KPI指标的多维异常检测方法、装置及存储介质，其中方法包括以下步骤：获取警告前后P+Q分钟的交易数据；根据警告发生时刻的维度组合对P+Q分钟的维度组合进行缺失值填充并评估数据规模；根据评估数据规模采用部分异常检测或全局异常检测得到所有维度组合的异常贡献；其中部分异常检测仅对叶子节点进行异常贡献检测，上层结点的异常贡献通过下层节点的异常贡献加和得到；全局异常检测对所有维度组合的异常贡献进行检测。本发明专利技术是一种与指标含义无关的异常检测方法，充分考虑了派生测量值的影响，可以在多个指标同时异常时给出统一的异常得分，支持的维度在10维以上，是一套可实践的方法。

【技术实现步骤摘要】
一种基于KPI指标的多维异常检测方法、装置及存储介质
本专利技术涉及计算机
，更具体地说，涉及一种基于KPI指标的多维异常检测方法、装置及存储介质。
技术介绍
KPI指标（交易量，交易成功率，网页访问量等）与多维属性（如源系统、交易类型、交易渠道等），是金融行业常见而重要的业务监测指标。当一个指标的总体值发生异常时，运维人员希望在一个巨大的多维搜索空间内快速准确地定位出根因的属性组合，这对于传统的运维来说是一个极大的挑战。虽然目前也有一些通过机器学习来定位的算法和系统，但是这些方法往往并不通用和可靠。因为它们都受到不实际的根因假设的影响、进行了过于暴力的剪枝；或者只处理基础类型的指标（交易量等），而不处理派生的测量值（成功率等）；另外现有的方法大部分都需要手动微调参数，或者速度太慢。目前针对业务指标多维分析的算法（系统）主要有Adtributor、IDcie、Hotspot、Squeeze等。大多方法主要为理论推导，离实际落地还有一定的距离。HotSpot和Squeeze都假设预测值准确，再进行后续的搜索步骤，这在现实中是难以达到的，预测/异常检测的准确性会直接决定了后续根因分析的结果。Adtributor则是只假设根因是一维，而这样的假设是不适合于当前复杂的微服务系统的。Adtributor对于结果仅仅是简单依据奥多姆剃刀原则保留最简洁的那一个。IDice则针对的是一段时间序列的根因定位，事先并不清楚异常的时间点，和我们的场景不同。这样会带来额外的时间开销。同时IDice采用了极其暴力的剪枝策略去减小搜索空间，用GLR(GeneralizedLike-lihoodRatio)进行异常检测，例如直接去掉小于某个阈值的节点（支持度），这样的剪枝会影响上层节点的根因判断。本质上更像是在对时间序列进行多维洞察，而不是准确的根因定位。Adtributor和Squeeze虽然可以对派生指标进行根因定位，但是并不能做到跨指标的根因排序。在实际的应用场景中，维度变化、取值数量变化以及数据组成变化都会影响资源的使用，之前的算法都没有针对不同数量级的数据做针对性处理，在数据量过大的时候容易导致内存溢出等问题。
技术实现思路
本专利技术的目的是解决上述提出的问题，提供一种多维度、适当剪枝的异常自动检测方法，本专利技术提供的技术方案为一种基于KPI指标的多维异常检测方法，包括：获取警告前后P+Q分钟的交易数据；根据警告发生时刻的维度组合对P+Q分钟的维度组合进行缺失值填充并评估数据规模；根据评估数据规模采用部分异常检测或全局异常检测；其中部分异常检测仅对叶子节点进行异常检测，上层结点的异常贡献通过下层节点的异常贡献加和得到；所述全局异常检测对所有维度组合的异常贡献进行检测。优选的，所述全局异常检测包括如下步骤：S101.进行KPI单指标的特征类型定义；S102.提取该单指标所有维度组合P+Q分钟每一个点的KPI特征值训练集X，每指定一个特征值q，通过切割分裂形成1棵二叉树，指定的特征值遍历每一个特征类型后，生成t1棵二叉树，记录为T1，其中，P表示警告前的一段时间，Q表示警告后的一段时间；S103.提取除当前维度组合外的KPI特征集合并按照S102所述的切割分裂形成t2棵二叉树，记录为T2；S104.计算该指标下所有维度组合的子节点在T1和T2中的平均高度c1和c2；S105.计算任一维度组合对该单指标的异常贡献；S106.当发生多个指标异常时，重复S101-S105，计算任一维度组合对该多个指标的异常贡献。优选的，S101中所述KPI单指标的特征类型包括以下特征中的至少一项：均值、标准差、极限值、当前维度出现频率、当前维度逆文本频率指数、一阶自相关系数、线性强度、曲率强度、光谱熵、残差变化标准差、交叉点个数、与前面点的差值、趋势性、周期性、杂乱性。优选的，S102所述切割分裂具体方式为S1021.提取该单指标所有维度组合P+Q分钟每一个点的KPI特征值组成训练集X；S1022.在训练集X中随机抽取k个样本点构成X的子集Xk；S1023.每次随机从Xk中指定一个特征值q，随机产生一个切割点p；S1024.指定特征值q小于p的样本点放入左子节点，大于或等于p的放入右子节点；S1025.在左子节点和右子节点重复S1024，当所有叶子结点只有一个样本点或者到达指定层数后停止分裂，生成了1棵二叉树；S1026.指定的特征值q遍历每一个特征类型后，生成t1棵二叉树，记录为T1。优选的，S105中将任一维度组合的子节点的特征向量分别带入T1和T2，计算该子节点在T1和T2中的平均高度h1和h2，结合S104中平均高度c1和c2，定义任一维度组合对该单指标的异常贡献为Ia:。优选的，所述部分异常检测的方法包括LightGBM、极值理论。优选的，所述交易数据的输入源包括elasticsearch、kafka或指定格式的csv文件。基于同样的专利技术构思，本专利技术另提供一种基于KPI指标的多维异常检测装置，包括：警告模块，用于警告当前KPI指标异常；数据读取模块，用于读取警告前后P+Q分钟的交易数据；数据预处理模块，根据警告发生时刻的维度组合对P+Q分钟的维度组合进行缺失值填充；数据评估模块，以评估当前数据规模；异常检测模块，包括部分异常检测模块和全局异常检测模块；其中部分异常检测模块仅对叶子节点进行部分异常检测，上层结点的异常贡献通过下层节点的异常贡献加和得到；所述全局异常检测模块对所有维度组合的异常贡献进行检测。本专利技术另提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述任一项所述的基于KPI指标的多维异常检测方法。本专利技术的有益效果是：（1）本专利技术支持的维度在10维以上，典型分析的结果超过3维，是一套可实践、的方法，不需要手动调整参数，速度快。（2）本专利技术是一种与指标含义无关的异常检测方法，可以在多个指标同时异常时给出统一的异常得分，例如，交易量、成功率、响应时间等。（3）本专利技术充分考虑了派生测量值如成功率的影响，结果更精确。附图说明图1为本专利技术部分异常检测方法示意图；图2、图3为本专利技术采用极值理论进行部分异常检测示意图；图4为本专利技术全局异常检测方法生成的某一棵树示意图；图5为本专利技术实施例3提供的根因定位方法聚类图；图6为本专利技术实施例3提供的信息熵搜索规则中的解释性示意图；图7为本专利技术实施例3提供的信息熵搜素规则中的惊奇性示意图；图8为本专利技术实施例3提供的MCTS剪枝示意图；图9为本专利技术实施例3提供的多维异常检测方法流程图；图10为本专利技术提供的多维异常检测方法流程图；图11为本专利技术提供的多维异常检测方法全局异常检测步骤流程图；图12为本专利技术提供的多本文档来自技高网...

【技术保护点】
1.一种基于KPI指标的多维异常检测方法，包括：/n获取警告前后P+Q分钟的交易数据；/n根据警告发生时刻的维度组合对P+Q分钟的维度组合进行缺失值填充并评估数据规模；/n根据数据规模采用部分异常检测或全局异常检测得到所有维度组合的异常贡献；/n其中部分异常检测仅对叶子节点进行异常贡献检测，上层结点的异常贡献通过下层节点的异常贡献加和得到；所述全局异常检测对所有维度组合的异常贡献进行检测。/n

【技术特征摘要】
1.一种基于KPI指标的多维异常检测方法，包括：
获取警告前后P+Q分钟的交易数据；
根据警告发生时刻的维度组合对P+Q分钟的维度组合进行缺失值填充并评估数据规模；
根据数据规模采用部分异常检测或全局异常检测得到所有维度组合的异常贡献；
其中部分异常检测仅对叶子节点进行异常贡献检测，上层结点的异常贡献通过下层节点的异常贡献加和得到；所述全局异常检测对所有维度组合的异常贡献进行检测。


2.如权利要求1所述的一种基于KPI指标的多维异常检测方法，其特征在于：所述全局异常检测包括如下步骤：
S101.进行KPI单指标的特征类型定义；
S102.提取该单指标所有维度组合P+Q分钟每一个点的KPI特征值训练集X，每指定一个特征值q，通过切割分裂形成1棵二叉树，指定的特征值遍历每一个特征类型后，生成t1棵二叉树，记录为T1；
S103.提取除当前维度组合外的KPI特征集合并按照S102所述的切割分裂形成t2棵二叉树，记录为T2；
S104.计算该指标下所有维度组合X的子节点在T1和T2中的平均高度c1和c2；
S105.计算任一维度组合对该单指标的异常贡献；
S106.当发生多个指标异常时，重复S101-S105，计算任一维度组合对该多个指标的异常贡献。


3.如权利要求2所述的一种基于KPI指标的多维异常检测方法，其特征在于：S101中所述KPI单指标的特征类型包括以下特征中的至少一项：均值、标准差、极限值、当前维度出现频率、当前维度逆文本频率指数、一阶自相关系数、线性强度、曲率强度、光谱熵、残差变化标准差、交叉点个数、与前面点的差值、趋势性、周期性、杂乱性。


4.如权利要求2所述的一种基于KPI指标的多维异常检测方法，其特征在于：S102所述切割分裂具体方式为：
S1021.提取该单指标所有维度组合P+Q分钟每一个点的KPI特征值值组成训练集X；
S1022.在训练集X中随机抽取k个样本...

【专利技术属性】
技术研发人员：程博，成逸然，张文池，李则言，隋楷心，刘大鹏，
申请(专利权)人：北京必示科技有限公司，
类型：发明
国别省市：北京;11