一种集群异常节点检测方法、应用和计算设备技术

本发明专利技术公开了一种集群异常节点检测方法，包括：获取集群中每一个节点的性能数据；根据所述性能数据确定集群中的每一对节点的相似性；根据每一对节点的相似性将集群中的节点划分为多个节点类，并将所包括的节点数目最多的节点类确定为最大节点类；当最大节点类中的节点数目大于等于集群所包括的节点数目的一半时，将不属于最大节点类的节点判定为异常节点。本发明专利技术还公开了能够实施上述方法的集群异常节点检测应用，和包括上述应用的计算设备。

Method, application and computing device for detecting abnormal node of cluster

The invention discloses a cluster node anomaly detection method, including: obtaining the performance data of each node in the cluster; according to the similarity of each pair of nodes in the cluster to determine the performance data; according to the similarity of each pair of nodes in the cluster nodes are divided into several nodes, and will the number of nodes including the largest node class identified as the maximum node; when the number of the largest node in the class is greater than or equal to the number of nodes of the cluster including half, decision nodes will not belong to the maximum node classes for abnormal nodes. The invention also discloses the application of the cluster anomaly node detection method which can implement the method, and the computing device including the same.

【技术实现步骤摘要】

本专利技术涉及集群性能监控
，尤其涉及一种集群异常节点检测方法、应用和计算设备。
技术介绍
集群是一组相互独立、通过高速网络互联的计算设备的集合，并以单一系统的模式加以管理，从外部看来像是一个独立的服务器。集群具有高可用性和高可扩展性，通常具有大量的设备节点。为了保证集群的正常、高效运行，集群中通常配置有适当的调度算法，以使集群实现负载均衡，集群的各节点平均地分摊处理各项负载任务，各节点的行为是高度一致的。在正常情况下，集群中各节点均保持一致，当某些节点出现异常时，异常节点的行为将与大部分正常节点不同，因此，可以将集群中与大部分节点的行为不一致的节点判定为异常节点。在现有的集群异常节点检测方法中，首先获取集群中各节点的性能数据，然后求取性能数据的中位数，将距中位数的距离大于一定阈值的节点判定为异常节点。该方法虽然计算简便，但不同的阈值将得出不同的异常检测结果，对于阈值的设定缺少系统的方法，导致该方法受人为因素的干扰较大，往往准确性不高。
技术实现思路
为此，本专利技术提供一种集群异常节点检测方法、应用和计算设备，以力图解决或至少缓解上面存在的问题。根据本专利技术的一个方面，提供一种集群异常节点检测方法，包括：获取集群中每一个节点的性能数据；根据所述性能数据确定集群中的每一对节点的相似性；根据每一对节点的相似性将集群中的节点划分为多个节点类，并将所包括的节点数目最多的节点类确定为最大节点类；当最大节点类中的节点数目大于等于集群所包括的节点数目的一半时，将不属于最大节点类的节点判定为异常节点。可选地，在根据本专利技术的集群异常节点检测方法中，在获取集群中每一个节点的性能数据的步骤后，还包括：将性能数据进行归一化处理。可选地，在根据本专利技术的集群异常节点检测方法中，性能数据包括固定数量的一个或多个性能指标，一对节点的相似性按照以下步骤确定：分别确定该对节点的各性能指标的相似性；当相似的性能指标的数目大于等于预设的阈值时，将该对节点判定为相似。可选地，在根据本专利技术的集群异常节点检测方法中，固定数量为6，预设的阈值为3。可选地，在根据本专利技术的集群异常节点检测方法中，性能指标的相似性按照如下步骤确定：采用KS检验算法确定性能指标的相似度；当相似度大于相似度阈值时，将性能指标判定为相似。可选地，在根据本专利技术的集群异常节点检测方法中，采用KS检验算法确定性能指标的相似度的步骤包括：分别计算该对节点的该性能指标的累积分布函数F1(x)和F2(x)；按照以下公式计算相似度D＝max(F1(xj)-F2(xj))其中，D表示相似度，xj为F1(x)曲线和F2(x)曲线对应的横坐标上的任意一点。可选地，在根据本专利技术的集群异常节点检测方法中，根据每一对节点的相似性将集群中的节点划分为多个节点类，并将所包括的节点数目最多的节点类确定为最大节点类的步骤包括：以集群中的节点为点建立网络图；在每一对相似的节点之间建立一条边；确定所述网络图的最大连通子图，所述最大连通子图即为最大节点类。根据本专利技术的一个方面，提供一种集群异常节点检测应用，包括：数据获取模块，适于获取集群中每一个节点的性能数据；相似性分析模块，适于根据所述性能数据确定集群中的每一对节点的相似性；节点类划分模块，适于根据每一对节点的相似性将集群中的节点划分为多个节点类，并将所包括的节点数目最多的节点类确定为最大节点类；异常判定模块，适于判断最大节点类中的节点数目是否大于等于集群所包括的节点数目的一半，若是，则将不属于最大节点类的节点判定为异常节点。可选地，在根据本专利技术的集群异常节点检测分析应用中，还包括数据预处理模块，适于将性能数据进行归一化处理。可选地，在根据本专利技术的集群异常节点检测分析应用中，性能数据包括固定数量的一个或多个性能指标，所述相似性分析模块适于按照以下步骤确定一对节点的相似性：分别确定该对节点的各性能指标的相似性；当相似的性能指标的数目大于等于预设的阈值时，将该对节点判定为相似。可选地，在根据本专利技术的集群异常节点检测分析应用中，固定数量为6，预设的阈值为3。可选地，在根据本专利技术的集群异常节点检测分析应用中，相似性分析模块适于按照以下步骤确定性能指标的相似性：采用KS检验算法确定性能指标的相似度；当相似度大于相似度阈值时，将性能指标判定为相似。可选地，在根据本专利技术的集群异常节点检测分析应用中，相似性分析模块适于按照以下步骤确定性能指标的相似度：分别计算该对节点的该性能指标的累积分布函数F1(x)和F2(x)；按照以下公式计算相似度D＝max(F1(xj)-F2(xj))其中，D表示相似度，xj为F1(x)曲线和F2(x)曲线对应的横坐标上的任意一点。可选地，在根据本专利技术的集群异常节点检测分析应用中，节点类划分模块进一步适于按照以下步骤确定最大节点类：以集群中的节点为点建立网络图；在每一对相似的节点之间建立一条边；确定所述网络图的最大连通子图，所述最大连通子图即为最大节点类。根据本专利技术的一个方面，提供一种计算设备，包括如上所述的集群异常节点检测应用。根据本专利技术的技术方案，对于集群中的节点，两两进行相似性分析，根据每对节点的相似性将集群中的节点划分为多个节点类，并将节点数目最多的节点类作为最大节点类。若最大节点类中的节点数目大于等于集群所包括的节点数目的一半，则将最大节点类中的节点判定为正常节点，将不属于最大节点类的节点判定为异常节点。本专利技术在判定两个节点是否相似时，综合考虑了多个性能指标，避免了仅由单一性能指标来确定节点相似性的片面性，提高了异常检测的准确性。此外，在确定性能指标的相似性时，采用了KS检验算法，无需像传统的基于中位数偏离的检测方法一样设置阈值，降低了人为因素对于异常检测结果的影响，准确度较高。附图说明为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。图1示出了根据本专利技术一个实施例的集群100的示意图；图2示出了根据本专利技术一个实施例的集群异常节点检测应用200的结构图；图3A和图3B示出了根据本专利技术两个实施例的节点类划分和异常节点判定的示意图；以及图4示出了根据本专利技术一个实施例的集群异常节点检测方法400的流程图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。图1示出了根据本专利技术一个实施例的集群100的示意图。如图1所示，集群100包括多个计算设备110-160，每个计算设备均为集群中的一个节点。计算设备110-160可以是服务器、工作站、桌面电脑、笔记本电脑等，但不限于此。集群100中的一个或多个节点中部署有资源调度应用，适于对集群中的节点进行资源调度管理，以实现各节点的负载均衡。计算设备160中驻留有集群异常节点检测应用200和性能数据采集器300。性能数据采集器本文档来自技高网...

【技术保护点】
一种集群异常节点检测方法，包括：获取集群中每一个节点的性能数据；根据所述性能数据确定集群中的每一对节点的相似性；根据每一对节点的相似性将集群中的节点划分为多个节点类，并将所包括的节点数目最多的节点类确定为最大节点类；当最大节点类中的节点数目大于等于集群所包括的节点数目的一半时，将不属于最大节点类的节点判定为异常节点。

【技术特征摘要】
1.一种集群异常节点检测方法，包括：获取集群中每一个节点的性能数据；根据所述性能数据确定集群中的每一对节点的相似性；根据每一对节点的相似性将集群中的节点划分为多个节点类，并将所包括的节点数目最多的节点类确定为最大节点类；当最大节点类中的节点数目大于等于集群所包括的节点数目的一半时，将不属于最大节点类的节点判定为异常节点。2.如权利要求1所述的集群异常节点检测方法，其中，在所述获取集群中每一个节点的性能数据的步骤后，还包括：将所述性能数据进行归一化处理。3.如权利要求1所述的集群异常节点检测方法，其中，所述性能数据包括固定数量的一个或多个性能指标，一对节点的相似性按照以下步骤确定：分别确定该对节点的各性能指标的相似性；当相似的性能指标的数目大于等于预设的阈值时，将该对节点判定为相似。4.如权利要求3所述的集群异常节点检测方法，其中，所述固定数量为6，所述预设的阈值为3。5.如权利要求3所述的集群异常节点检测方法，其中，性能指标的相似性按照如下步骤确定：采用KS检验算法确定性能指标的相似度；当相似度大于相似度阈值时，将性能指标判定为...

【专利技术属性】
技术研发人员：阮松松，吴海珊，刘麒贇，
申请(专利权)人：北京蓝海讯通科技股份有限公司，
类型：发明
国别省市：北京;11