本发明专利技术公开了一种智能运维异常检测方法及装置，方法包括：采集运维数据并进行降维处理，获得运维数据的样本；根据所述样本建立独立树并组成独立森林；根据所述独立树和独立森林，计算每个样本的初步异常评分，将初步异常评分大于预设值的样本标记为初步异常点；对部分正样本进行标记；根据标记的初步异常点识别有效树；对所述有效树中识别出初步异常点的特征赋予分值，并根据识别出异常点的独立树的数量和标记的正样本的数量计算总分值；根据所述总分值计算特征选取概率并重构独立树和独立森林；根据重构的独立树和独立森林进行异常检测；该方法根据初步识别出的异常点对独立树和独立森林进行重构，异常检测效率高且精准度高。高。高。
【技术实现步骤摘要】
一种智能运维异常检测方法及装置
[0001]本专利技术涉及异常检测计算领域，尤其涉及一种智能运维异常检测方法及装置。
技术介绍
[0002]在智能运维的场景中，运维人员常常需要从诸多与系统事务关联的指标中及时捕捉异常信号并进行诊断，从而达到快速排查故障、避免事故产生的目的。与系统事务关联的指标包括页面打开时延、用户点击量、CPU利用率等。在这个场景中常常面临的挑战是，需要进行追踪的指标维度非常多，难以及时捕捉异常点，并且没有标签标记该样本是否为异常样本。现有的异常检测技术中，常规的无监督训练精准度较差，而如果使用人工来对每个样本点打标签，则成本将会非常高昂。
[0003]例如，专利文献CN111026925A公开了一种基于Flink的孤立森林算法并行化的异常检测方法及装置，从历史数据中抽取待测试数据集构造二叉树，进而形成独立森林，再根据样本点在每个独立二叉树中的深度进行异常度评分，依据异常度评分判断数据集中的样本是否异常。
[0004]该方案采用无监督检测算法对样本进行异常检测，通过独立树对样本点异常度进行评分，能够实现对异常点的及时识别。但是，仅通过独立森林中的异常度评分进行异常点判定，存在效率低下、准确度不高的问题。
技术实现思路
[0005]本专利技术提供了一种智能运维异常检测方法及装置，根据初步识别出的异常点对独立树和独立森林进行重构，实现无监督的独立森林算法与监督学习的融合，异常检测效率高且精准度高。
[0006]一种智能运维异常检测方法，包括：采集运维数据并进行降维处理，获得运维数据的样本；根据所述样本建立独立树并组成独立森林；根据所述独立树和独立森林，计算每个样本的初步异常评分，将初步异常评分大于预设值的样本标记为初步异常点；对部分正样本进行标记；根据标记的初步异常点识别有效树；对所述有效树中识别出初步异常点的特征赋予分值，并根据识别出初步异常点的独立树的数量和标记的正样本的数量计算总分值；根据所述总分值计算特征选取概率并重构独立树和独立森林；根据重构的独立树和独立森林进行异常检测。
[0007]进一步地，采集运维数据并进行降维处理，包括：将各条运维数据按列组成矩阵；将所述矩阵的每一行进行零均值化；
求解零均值化处理后矩阵的协方差矩阵；求解所述协方差矩阵的特征值以及对应的特征；将所述特征按照所述特征值大小按行排列成特征矩阵作为样本。
[0008]进一步地，根据所述样本建立独立树并组成独立森林，包括：随机选取一个特征作为根节点；选取作为根节点的特征的最大特征值和最小特征值之间的一个特征值作为划分依据，划分出两个子节点；将样本分为两组分别进入两个子节点中；重复执行如下步骤，直到路径达到预设长度或者子节点仅包含一个样本，形成独立树：从每个子节点，选取一个特征的特征值作为划分依据再次划分出两个子节点，再次将剩余样本分为两组进入两个子节点中；不同特征作为根节点生成的独立树组成独立森林。
[0009]进一步地，每个样本的初步异常评分通过以下公式计算：；其中，表示初步异常评分，L(p)表示样本p在一棵独立树所处叶子节点的路径长度，E(L(p))则表示样本p在独立森林中每棵独立树的路径长度的平均值；；表示样本的数量。
[0010]进一步地，根据标记的初步异常点识别有效树，包括：将在路径长度不超过预设值时识别出初步异常点的独立树确定为有效树。
[0011]进一步地，所述总分值通过以下公式进行计算：；；其中，表示初步异常点P一个特征赋予的分值，N表示识别出异常点P的独立树的数量，表示初步异常点P相关特征的分值之和，表示总分值，n表示标记的正样本的数量。
[0012]进一步地，所述特征选取概率通过以下公式进行计算：；其中，表示第m个特征选取概率，表示总分值，表示
第m个特征。
[0013]进一步地，根据所述总分值计算特征选取概率并重构独立树和独立森林，包括：对随机变量U进行采样，所述随机变量U服从0
‑
1之间的均匀分布；选取第i个特征作为根节点，所述特征满足： ，其中，表示第m个特征选取概率；选取作为根节点的特征的最大特征值和最小特征值之间的一个特征值作为划分依据，划分出两个子节点；将样本分为两组分别进入两个子节点中；重复执行如下步骤，直到路径达到预设长度或者子节点仅包含一个样本：从每个子节点，随机选取一个特征向量的特征值作为划分依据再次划分出两个子节点，再次将剩余样本分为两组进入两个子节点中；不同特征作为根节点生成的独立树重新组成独立森林。
[0014]进一步地，根据重构的独立树和独立森林进行异常检测，包括：根据重构的独立树和独立森林，计算每个样本的最终异常评分，将最终异常评分大于预设值的样本标记为异常点；所述最终异常评分通过以下公式计算：；其中，表示最终异常评分，表示样本p在一棵重组独立树所处叶子节点的路径长度，则表示样本p在重组的独立森林中每棵独立树的路径长度的平均值；；表示样本的数量。
[0015]一种智能运维异常检测装置，包括：数据处理模块，用于采集运维数据并进行降维处理，获得运维数据的样本；初步森林建立模块，用于根据所述样本建立独立树并组成独立森林；初步判断模块，用于根据所述独立树和独立森林，计算每个样本的初步异常评分，将初步异常评分大于预设值的样本标记为初步异常点；标记模块，用于对部分正样本进行标记；识别模块，用于根据标记的初步异常点识别有效树；总分计算模块，用于对所述有效树中识别出初步异常点的特征赋予分值，并根据识别出初步异常点的独立树的数量和标记的正样本的数量计算总分值；重构模块，用于根据所述总分值计算特征选取概率并重构独立树和独立森林；
异常检测模块，用于根据重构的独立树和独立森林进行异常检测。
[0016]本专利技术提供的智能运维异常检测方法及装置，至少包括如下有益效果：（1）在进行异常检测前对运维数据降维处理，简化了应用于异常检测的样本数据，节约了运算时间，提升了异常检测算法的工作效率。
[0017]（2）采用人工标注的方式标记部分的正样本，将有标注的监督学习的方式加入无监督的独立森林算法中，从而能够结合两种算法的优点，在提升算法精确度的同时保证算法的效率。
[0018]（3）通过多个正样本的多个有效树对样本中涉及到的全部特征进行赋分，并计算特征总分值以描述每个特征在异常检测过程中起到的作用大小，作为重构独立树时选取根节点的依据，提升了重构独立森林的识别精准度。
[0019]（4）通过对随机变量进行均匀分布采样来进行根节点选取，能够保证每个特征被选中的概率为特征选取概率，从而保证了重构独立森林的准确性。
附图说明
[0020]图1为本专利技术提供的智能运维异常检测方法一种实施例的流程图。
[0021]图2为本专利技术提供的方法中重构独立树和独立森林的方法一种实施例的流程图。
[0022]图3为本专利技术提供的智能运维异常检测装置一种实施例的结构示意图。
[0023]图4为本专利技术提供的电子设备一种实施例的结构示意图。
[0024本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种智能运维异常检测方法，其特征在于，包括：采集运维数据并进行降维处理，获得运维数据的样本；根据所述样本建立独立树并组成独立森林；根据所述独立树和独立森林，计算每个样本的初步异常评分，将初步异常评分大于预设值的样本标记为初步异常点；对部分正样本进行标记；根据标记的初步异常点识别有效树；对所述有效树中识别出初步异常点的特征赋予分值，并根据识别出初步异常点的独立树的数量和标记的正样本的数量计算总分值；根据所述总分值计算特征选取概率并重构独立树和独立森林；根据重构的独立树和独立森林进行异常检测。2.根据权利要求1所述的方法，其特征在于，采集运维数据并进行降维处理，包括：将各条运维数据按列组成矩阵；将所述矩阵的每一行进行零均值化；求解零均值化处理后矩阵的协方差矩阵；求解所述协方差矩阵的特征值以及对应的特征；将所述特征按照所述特征值大小按行排列成特征矩阵作为样本。3.根据权利要求2所述的方法，其特征在于，根据所述样本建立独立树并组成独立森林，包括：随机选取一个特征作为根节点；选取作为根节点的特征的最大特征值和最小特征值之间的一个特征值作为划分依据，划分出两个子节点；将样本分为两组分别进入两个子节点中；重复执行如下步骤，直到路径达到预设长度或者子节点仅包含一个样本，形成独立树：从每个子节点，选取一个特征的特征值作为划分依据再次划分出两个子节点，再次将剩余样本分为两组进入两个子节点中；不同特征作为根节点生成的独立树组成独立森林。4.根据权利要求1所述的方法，其特征在于，每个样本的初步异常评分通过以下公式计算：；其中，表示初步异常评分，L(p)表示样本p在一棵独立树所处叶子节点的路径长度，E(L(p))则表示样本p在独立森林中每棵独立树的路径长度的平均值；；表示样本的数量。5.根据权利要求4所述的方法，其特征在于，根据标记的初步异常点识别有效树，包括：将在路径长度不超过预设值时识别出初步异常点的独立树确定为有效树。
6.根据权利要求4所述的方法，其特征在于，所述总分值通过以下公式进行计算：；；其中，表示初步异常点P一个特征赋予的分值，N表示识别出初步异常点P的独立树的数量，表示初步异常点P相关特征的分值之和，表示总分值，n表示标记的正样本的数量...
【专利技术属性】
技术研发人员：朱松涛，邵俊，
申请(专利权)人：深圳索信达数据技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。