应用主机中异常节点的识别方法、监测设备和电子设备技术

本公开提供了一种应用主机中异常节点的识别方法、监测设备、电子设备和计算机存储介质，涉及计算机技术领域。该方法包括：根据应用主机的多个指标数据通过聚类算法将各个应用主机聚成两类；通过iForest算法计算每个应用主机的异常得分；通过集成学习算法从多个指标中选出N个指标；对选出的N个指标通过PCA降维算法提取M个主成分；根据各个应用主机的M维指标数据通过基于密度的聚类算法对各个应用主机进行聚类，从而获得各个应用主机中的异常节点。该方法能够实现自动监测，减少了数据中噪音的干扰，提高了识别效率和准确率。

Identification method, monitoring equipment and electronic equipment of abnormal nodes in application host

【技术实现步骤摘要】
应用主机中异常节点的识别方法、监测设备和电子设备
本公开涉及计算机
，尤其涉及一种应用主机中异常节点的识别方法、监测设备、电子设备和计算机存储介质。
技术介绍
基于人为经验按规则逐一排查主机的各个性能监控指标，找出可能异常的应用主机，确定异常主机范围再排查各个指标的差异性，最终找到异常主机。需要人为排查应用下每个机器的各个指标是否有差异，监控指标众多难以比较，低效而且不易于找到真正的异常节点。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本公开的目的在于提供一种应用主机中异常节点的识别方法、监测设备、电子设备和计算机存储介质，至少在一定程度上克服由于相关技术的限中低效且不易找到异常节点的问题。本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。根据本公开的一个方面，提供一种1.一种应用主机中异常节点的识别方法，包括：获取各个应用主机的多个指标数据；根据所述多个指标数据通过聚类算法将各个应用主机聚成两类；通过iForest算法计算每个应用主机的异常得分；通过集成学习算法从所述多个指标中选出N个指标；对选出的所述N个指标通过PCA降维算法提取M个主成分，从而将各个应用主机的所述多个指标数据降为M维指标数据；根据各个应用主机的M维指标数据通过基于密度的聚类算法对各个应用主机进行聚类，从而获得各个应用主机中的异常节点；其中，N，M都为自然数，M<;N。在本公开一个实施例中，M等于2；在根据各个应用主机的M维指标数据通过基于密度的聚类算法对各个应用主机进行聚类后，所述方法还包括：将聚类结果映射在二维散点图中，其中横坐标为第一主成分，纵坐标是第二主成分。在本公开一个实施例中，所述根据所述多个指标数据通过聚类算法将各个应用主机聚成两类包括：根据所述多个指标数据通过K均值聚类算法将各个应用主机聚成两类。在本公开一个实施例中，所述集成学习算法包括随机森林RF算法、Bagging、GBDT、或XGBoost算法。在本公开一个实施例中，N等于5，和/或所述基于密度的聚类算法为DBSCAN算法。在本公开一个实施例中，M等于3；在根据各个应用主机的M维指标数据通过基于密度的聚类算法对各个应用主机进行聚类后，所述方法还包括：将聚类结果映射在三维散点图中，其中X轴坐标为第一主成分，Z轴坐标是第二主成分，Y轴坐标为第三主成分。根据本公开的另一方面，提供一种应用主机监测设备，包括：指标获取模块，用于获取各个应用主机的多个指标数据；第一聚类模块，用于根据所述多个指标数据通过聚类算法将各个应用主机聚成两类；异常得分获取模块，用于通过iForest算法计算每个应用主机的异常得分；指标筛选模块，用于通过集成学习算法从所述多个指标中选出N个指标；降维处理模块，用于对选出的所述N个指标通过PCA降维算法提取M个主成分，从而将各个应用主机的所述多个指标数据降为M维指标数据；第二聚类模块，用于根据各个应用主机的M维指标数据通过基于密度的聚类算法对各个应用主机进行聚类，从而获得各个应用主机中的异常节点；其中，N，M都为自然数，M<N。在本公开一个实施例中，M等于2，所述设备还包括：散点图展示模块，用于将聚类结果映射在二维散点图中，其中横坐标为第一主成分，纵坐标是第二主成分。根据本公开的又一方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述应用主机中异常节点的识别方法。根据本公开的又一方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的应用主机中异常节点的识别方法。本公开的实施例所提供的应用主机中异常节点的识别方法、监测设备、电子设备和计算机存储介质，根据聚类算法将应用主机聚成两类，通过iForest算法计算每个应用主机的异常得分，通过集成学习算法从多个指标中选出最重要的N个指标，然后通过PCA降维算法提取M个主成分，基于密度的聚类算法根据M个主成分对各个应用主机进行聚类，从而获得各个应用主机中的异常节点，能够实现自动监测，减少了数据中噪音的干扰，提高了识别效率。进一步，通过二维或三维散点图的方式展示聚类结果，可以更直观、快捷地识别异常节点，便于监控人员的监控和处理，也进一步提高了效率。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出本公开实施例中一种可应用本公开实施例的视频数据处理方法或装置的示例性系统结构的示意图；图2示出本公开一个实施例中应用主机中异常节点的识别方法流程图；图3示出本公开另一个实施例中应用主机中异常节点的识别方法流程图；图4示出本公开又一个实施例中应用主机中异常节点的识别方法流程图；图5示出本公开一个实施例中应用主机监测设备的结构图；图6示出本公开另一个实施例中应用主机监测设备的结构图；图7示出本公开实施例中的二维散点图的图示；图8示出本公开实施例中应用于应用主机中异常节点的识别方法的计算机设备的结构框图；和图9示出本公开一种计算机存储介质的示意图。具体实施方式现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。本公开提供的方案，通过对各个应用下主机的各个指标进行降维算法操作，提取TopN的异常指标维度，再进行聚类后得到多维散点图，并将异常节点的异常指标维表标识出来。为了便于理解，下面首先对本公开涉及到的几个名词进行解释。机器学习(MachineLearning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人本文档来自技高网...

【技术保护点】
1.一种应用主机中异常节点的识别方法，其特征在于，包括：/n获取各个应用主机的多个指标数据；/n根据所述多个指标数据通过聚类算法将各个应用主机聚成两类；/n通过孤立森林iForest算法计算每个应用主机的异常得分；/n通过集成学习算法从所述多个指标中选出N个指标；/n对选出的所述N个指标通过主成分分析PCA降维算法提取M个主成分，从而将各个应用主机的所述多个指标数据降为M维指标数据；/n根据各个应用主机的M维指标数据通过基于密度的聚类算法对各个应用主机进行聚类，从而获得各个应用主机中的异常节点；/n其中，N，M都为自然数，M<N。/n

【技术特征摘要】
1.一种应用主机中异常节点的识别方法，其特征在于，包括：
获取各个应用主机的多个指标数据；
根据所述多个指标数据通过聚类算法将各个应用主机聚成两类；
通过孤立森林iForest算法计算每个应用主机的异常得分；
通过集成学习算法从所述多个指标中选出N个指标；
对选出的所述N个指标通过主成分分析PCA降维算法提取M个主成分，从而将各个应用主机的所述多个指标数据降为M维指标数据；
根据各个应用主机的M维指标数据通过基于密度的聚类算法对各个应用主机进行聚类，从而获得各个应用主机中的异常节点；
其中，N，M都为自然数，M<N。


2.根据权利要求1所述的应用主机中异常节点的识别方法，其特征在于，M等于2；
在根据各个应用主机的M维指标数据通过基于密度的聚类算法对各个应用主机进行聚类后，所述方法还包括：
将聚类结果映射在二维散点图中，其中横坐标为第一主成分，纵坐标是第二主成分。


3.根据权利要求1或2所述的应用主机中异常节点的识别方法，其特征在于，所述根据所述多个指标数据通过聚类算法将各个应用主机聚成两类包括：
根据所述多个指标数据通过K均值聚类算法将各个应用主机聚成两类。


4.根据权利要求3所述的应用主机中异常节点的识别方法，其特征在于，所述集成学习算法包括随机森林RF算法、引导聚集算法Bagging、梯度提升树GBDT、或极度梯度提升XGBoost算法。


5.根据权利要求1或2所述的应用主机中异常节点的识别方法，其特征在于，N等于5，和/或所述基于密度的聚类算法为DBSCAN算法。


6.根据权利要求1所述的应用主机中异常节点的识别方法，其特征在于，...

【专利技术属性】
技术研发人员：陈楚濠，张静，
申请(专利权)人：京东数字科技控股有限公司，
类型：发明
国别省市：北京;11