基于决策函数模型的HBase故障预测方法、系统、设备和介质技术方案

本申请涉及基于决策函数模型的HBase故障预测方法、系统、设备和介质，属于分布式存储技术领域，该方法包括：采集HBase在各种故障场景下发生的监控项数据，根据各故障场景对监控项数据进行分类，确定每个故障场景对应的多个监控项；基于每个故障场景对应的多个监控项，分别建立每个故障场景对应的决策函数模型，其中，各决策函数模型的预测结论与各故障场景对应的多个监控项的阈值范围关联；获取HBase环境下各监控项的值，将各故障场景对应的多个监控项的值相应的输入各故障场景对应的决策函数模型，得出各故障场景对应的预测结论。不仅实现了故障结论的自动分析，提高了故障分析效率，而且能够对故障分类处理，同时提高了预测结果的准确性。结果的准确性。结果的准确性。

【技术实现步骤摘要】
基于决策函数模型的HBase故障预测方法、系统、设备和介质


[0001]本申请涉及分布式存储
，特别是涉及基于决策函数模型的HBase故障预测方法、系统、设备和介质。

技术介绍

[0002]HBase是一种开源分布式数据存储系统，基于谷歌Bigtable论文开发，其需要运行在Hdfs(一种开源分布式文件系统)之上。HBase是大数据生态中使用最广泛的分布式存储软件之一，国内就有很多大中型企业使用HBase存储各种海量的离线和实时数据。然而，HBase的异常、故障已成为使用HBase的公司的运维难题，比如国内就有某金融互联网公司曾因为HBase异常造成业务大面积中断。
[0003]因此，HBase的故障监控非常重要，所以每个公司都有针对HBase的监控方案。但是，因为HBase产品的复杂性、部署的复杂性，目前对各种异常的感知、故障的分析并没有成熟的解决方案，绝大部分公司都依赖于开发运维人员的前期经验，对各种数据进行查看、分析诊断再干预。整个查看、诊断的过程经常要消耗大量时间，效率低，导致故障不能被尽早干预或者确认，进一步拖延了后续的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于决策函数模型的HBase故障预测方法，其特征在于，包括：采集HBase在各种故障场景下发生的监控项数据，根据各故障场景对所述监控项数据进行分类，确定每个故障场景对应的多个监控项；基于所述每个故障场景对应的多个监控项，分别建立每个故障场景对应的决策函数模型，其中，各所述决策函数模型的预测结论与各所述故障场景对应的多个监控项的阈值范围关联；获取HBase环境下各监控项的值，将各所述故障场景对应的多个监控项的值相应的输入各所述故障场景对应的决策函数模型，得出各所述故障场景对应的预测结论。2.根据权利要求1所述的方法，其特征在于，所述采集HBase在各种故障场景下发生的监控项数据包括：采集硬件和操作系统的压力数据、HBase进程内部运行任务的压力数据以及对所述HBase进程产生影响的上游进程的状态数据。3.根据权利要求2所述的方法，其特征在于，所述硬件和操作系统的压力数据包括CPU负载，CPU IOwait，网卡入口流量，网卡出口流量，内存使用量，磁盘IOPS和磁盘IOwait中的至少一项。4.根据权利要求2所述的方法，其特征在于，所述HBase进程内部运行任务的压力数据包括：Get读请求返回时间，Scan读请求返回时间，写请求返回时间，Get读请求并发度，Scan读并发度，写并发度，HBase进程Active线程数目，HBase进程处理队列积压数目，HBase进程优先Active线程数目，HBase进程优先处理队列积压数目，HBase younggc时间，HBase old gc时间和HBase compaction队列数目中的至少一项。5.根据权利要求2所述的方法，其特征在于，所述对所述HBase进程产生影响的上游进程的状态数据包括：HDF...

【专利技术属性】
技术研发人员：梁晓冬，
申请(专利权)人：同盾科技有限公司，
类型：发明
国别省市：