一种基于聚类分析的系统持续性探查方法技术方案

本发明专利技术提供了一种基于聚类分析的系统持续性探查方法，包括如下步骤：步骤1）数据预处理，步骤2）数据标签分类建库，步骤3）跨标签库数据选取，步骤4）数据标准化，步骤5）构建系统状态聚类模型，步骤6）聚类模型指标，步骤7）模型的评价与维护：将模型所展示的数值上的奇异点，与系统持续性中的各项分析的结果进行阐释，形成分析结果。本发明专利技术至少通过粒度、特征域及时序三个维度对数据进行分析，将数据扩展到三个维度，从多个方向与维度之间以整体系统持续性的角度进行分析与探查的方法来辅助决策。

【技术实现步骤摘要】
一种基于聚类分析的系统持续性探查方法
本专利技术属于电子信息领域，具体涉及一种基于聚类分析的系统持续性探查方法。
技术介绍
在计算机科学领域，系统持续性指的是在由计算机所组成的分布式系统中，对于系统的各个模块的一致性、可用性及系统服务的可用性、稳定性的综合考量。目前随着大数据技术的发展，收集数据以及分析数据的技术也不断成熟。同时在系统模块的各类分析监测工具都日趋成熟的情况下，各个系统模块或者服务所产生数据量以及数据粒度已足够丰富，可供运维人员，分析人员进行处理与分析。现有的技术主要存在如下的缺陷：1.对于系统持续性中的部分性质，以系统模块的一致性为例：在实现数据一致性上，有hadoop生态环境中的Zookeeper，google的Chubby；以服务的可用性为例，各个大型云服务都有其专门的监测工具辅助运维团队进行可用性维护。总的来看，其在设计目的上是专门负责辅助解决系统某一个方向上的问题，最终的解决方案往往也是限于某一类性质之中（例：持续性），比如系统可用性解决方案，异常点探查等。在多个方向与维度之间缺乏一种以整体系统持续性的角度进行分析与探查的方法来辅助决策。2.对于相关分析或决策的角色，目前各个工具的数据流向大部分都是集中于几类关系型数据库或noSQL数据库后交于对应的图形化展示工具，例如MySQL与Navicat，elasticsearch与kibana。分析人员借助图形化展示工具，对于数据进行细化量化，才能得出系统某个角度的剖析，进而得到分析的结论。在整体的操作过程中，需要人工分类并筛选出来自不同性质、不同维度的数据，并基于此来对系统现状进行判断，工作量很大且繁杂，同时也受制于分析人员的经验与水平，易出现数据选取和分析时的盲点，无法较为全面的判断系统现状。
技术实现思路
有鉴于此，本专利技术的主要目的是提供了一种基于聚类分析的系统持续性探查方法。本专利技术采用的技术方案为：一种基于聚类分析的系统持续性探查方法，包括如下步骤：步骤1）数据预处理：将系统持续性的各个维度的数据指标收集起来，基于时间轴进行预处理；步骤2）数据标签分类建库，将步骤1）进行预处理的数据建立一个人工粗略的分类的大类指标库，同时在建立的过程中进行一定的清洗与处理；基于整体数据质量，选择较好的几类指标；步骤3）跨标签库数据选取：将一定周期时间内的数据跨标签库做一次整合，整合的结果便作为下一步构建系统描述模型的数据基础；步骤4）数据标准化：根据步骤3）整合好的数据，将数据分成三组，每次从不同组别中取出三个指标的数据，分别为粒度、特征域及时序；步骤5）构建系统状态聚类模型：对数据标准化后的三个指标的数据做聚类，并根据形成的聚类模型的指标，判断其可用性及效果，最终选取出效果最好的几类来进行下步的指标分析；步骤6）聚类模型指标：拿到模型所产出的指标，对其的分析主要集中于三类分析：粒度分析，特征域分析及时序分析；步骤7）模型的评价与维护：将模型所展示的数值上的奇异点，与系统持续性中的各项分析的结果进行阐释，形成分析结果。本专利技术具有如下优势：本专利技术利用大数据技术及机器学习算法来解决分布式系统中对于系统状态的描述问题；同时基于方案中所建立的系统状态模型，来综合探查系统持续性各项指标，并分析出相关因素，计算相关程度，来精确问题与量化因素之间的关系，在减轻人工的工作量的同时，提高分析的准确度以及分析效率，辅助人工决策。附图说明下面结合附图和实施例对本专利技术进一步说明。图1为本专利技术提供的系统流程图。具体实施方式下面将结合附图以及具体实施例来详细说明本专利技术，在此本专利技术的示意性实施例以及说明用来解释本专利技术，但并不作为对本专利技术的限定。参照图1：一种基于聚类分析的系统持续性探查方法，包括如下步骤：步骤1）数据预处理：将系统持续性的各个维度的数据指标收集起来，基于时间轴进行预处理；步骤2）数据标签分类建库，将步骤1）进行预处理的数据建立一个人工粗略的分类的大类指标库，同时在建立的过程中进行一定的清洗与处理；基于整体数据质量，选择较好的几类指标；步骤3）跨标签库数据选取：将一定周期时间内的数据跨标签库做一次整合，整合的结果便作为下一步构建系统描述模型的数据基础；步骤4）数据标准化：根据步骤3）整合好的数据，将数据分成三组，每次从不同组别中取出三个指标的数据，分别为粒度、特征域及时序；步骤5）构建系统状态聚类模型：对数据标准化后的三个指标的数据做聚类，并根据形成的聚类模型的指标，判断其可用性及效果，最终选取出效果最好的几类来进行下步的指标分析；步骤6）聚类模型指标：拿到模型所产出的指标，对其的分析主要集中于三类分析：粒度分析，特征域分析及时序分析；步骤7）模型的评价与维护：将模型所展示的数值上的奇异点，与系统持续性中的各项分析的结果进行阐释，形成分析结果。本专利技术至少通过粒度、特征域及时序三个维度对数据进行分析，将数据扩展到三个维度，从多个方向与维度之间以整体系统持续性的角度进行分析与探查的方法来辅助决策。本专利技术利用大数据技术及机器学习算法来解决分布式系统中对于系统状态的描述问题；同时基于方案中所建立的系统状态模型，来综合探查系统持续性各项指标，并分析出相关因素，计算相关程度，来精确问题与量化因素之间的关系，在减轻人工的工作量的同时，提高分析的准确度以及分析效率，辅助人工决策。以上对本专利技术实施例所公开的技术方案进行了详细介绍，本文中应用了具体实施例对本专利技术实施例的原理以及实施方式进行了阐述，以上实施例的说明只适用于帮助理解本专利技术实施例的原理；同时，对于本领域的一般技术人员，依据本专利技术实施例，在具体实施方式以及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本专利技术的限制。本文档来自技高网...

【技术保护点】
1.一种基于聚类分析的系统持续性探查方法，其特征在于，包括如下步骤：步骤1）数据预处理：将系统持续性的各个维度的数据指标收集起来，基于时间轴进行预处理；步骤2）数据标签分类建库，将步骤1）进行预处理的数据建立一个人工粗略的分类的大类指标库，同时在建立的过程中进行一定的清洗与处理；基于整体数据质量，选择较好的几类指标；步骤3）跨标签库数据选取：将一定周期时间内的数据跨标签库做一次整合，整合的结果便作为下一步构建系统描述模型的数据基础；步骤4）数据标准化：根据步骤3）整合好的数据，将数据分成三组，每次从不同组别中取出三个指标的数据，分别为粒度、特征域及时序；步骤5）构建系统状态聚类模型：对数据标准化后的三个指标的数据做聚类，并根据形成的聚类模型的指标，判断其可用性及效果，最终选取出效果最好的几类来进行下步的指标分析；步骤6）聚类模型指标：拿到模型所产出的指标，对其的分析主要集中于三类分析：粒度分析，特征域分析及时序分析；步骤7）模型的评价与维护：将模型所展示的数值上的奇异点，与系统持续性中的各项分析的结果进行阐释，形成分析结果。

【技术特征摘要】
1.一种基于聚类分析的系统持续性探查方法，其特征在于，包括如下步骤：步骤1）数据预处理：将系统持续性的各个维度的数据指标收集起来，基于时间轴进行预处理；步骤2）数据标签分类建库，将步骤1）进行预处理的数据建立一个人工粗略的分类的大类指标库，同时在建立的过程中进行一定的清洗与处理；基于整体数据质量，选择较好的几类指标；步骤3）跨标签库数据选取：将一定周期时间内的数据跨标签库做一次整合，整合的结果便作为下一步构建系统描述模型的数据基础；步骤4）数据标准化：根据步骤3）...

【专利技术属性】
技术研发人员：高永，
申请(专利权)人：广州观必达数据技术有限责任公司，
类型：发明
国别省市：广东,44