数据处理方法、装置及计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种数据处理方法、装置及计算机可读存储介质，其中，方法包括间隔第一预设时长获取集群的原始日志对应的目标日志数据，并间隔第一预设时长基于目标服务获取集群的监控数据以及所述集群对应HBase的原生API数据；基于所述目标日志数据、所述监控数据或所述原生API数据，确定所述集群的RegionServer中是否存在异常RegionServer；若存在异常RegionServer，则基于所述异常RegionServer输出诊断结果。本发明专利技术可以对分布式集群的RegionServer进行异常监控，以及时监测RegionServer的故障，提升了分布式集群的故障检测准确性以及效率。障检测准确性以及效率。障检测准确性以及效率。

【技术实现步骤摘要】
数据处理方法、装置及计算机可读存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种数据处理方法、装置及计算机可读存储介质。

技术介绍

[0002]随着云计算和大数据在现代社会中的飞速发展，实际生产生活中所积累的生产资料等各类数据也呈指数级增长，为了使得快速增加的数据得到妥善存储，海量存储技术应运而生，并在互联网发展中越发成为不可或缺的一部分。因此，在分布式集群中，时刻要处理大量的数据及计算量，当分布式集群发生故障，不能得到及时的监测处理，也不能对发生的故障进行预防，此时，将对分布式集群造成不可估量的损失。
[0003]现有的集群监控故障场景，主要集中于HBase/集群整体进程以及主机状态的监控，而无法对RegionServer进行监控，在RegionServer发送故障时，HBase集群依然能正常响应HBase命令，而此时RegionServer发生异常进而影响应用读写。
[0004]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

[0005]本专利技术的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述数据处理方法包括以下步骤：间隔第一预设时长获取集群的原始日志对应的目标日志数据，并间隔第一预设时长基于目标服务获取集群的监控数据以及所述集群对应HBase的原生API数据；基于所述目标日志数据、所述监控数据或所述原生API数据，确定所述集群的RegionServer中是否存在异常RegionServer；若存在异常RegionServer，则基于所述异常RegionServer输出诊断结果。2.如权利要求1所述的数据处理方法，其特征在于，所述基于所述目标日志数据、所述监控数据或所述原生API数据，确定所述集群是否存在异常RegionServer的步骤包括：基于所述监控数据获取各个RegionServer对应的状态信息，并基于所述状态信息确定所述RegionServer中是否存在状态异常的异常RegionServer；基于所述原生API数据确定各个RegionServer对应的重启时间信息，并基于所述重启时间信息确定所述RegionServer中是否存在重启的异常RegionServer；基于所述目标日志数据，获取各个RegionServer对应的RegionServer fullGC日志，获取各个RegionServer full GC日志对应的耗时，若所述耗时中存在大于对应监控项配置中耗时阈值的目标耗时，则确定所述目标耗时对应的RegionServer为耗时异常的异常RegionServer。3.如权利要求2所述的数据处理方法，其特征在于，所述基于所述目标日志数据、所述监控数据或所述原生API数据，确定所述集群是否存在异常RegionServer的步骤包括：在所述监控数据中获取各个所述RegionServer的监控项对应的目标监控数据，其中，所述监控项包括RegionServer active handler以及RegionServer的内存占用率；将所述目标监控数据分别与监控项配置中对应的监控阈值进行对比，确定所述监控项中是否存在目标监控数据大于对应监控阈值的目标监控项；若存在所述目标监控项，则确定所述目标监控项对应的RegionServer为监控异常的异常RegionServer，其中，所述监控异常包括RegionServer activehandler数目过高以及RegionServer内存占用率过高。4.如权利要求3所述的数据处理方法，其特征在于，所述若存在异常RegionServer，则基于所述异常RegionServer输出诊断结果的步骤包括：获取所述异常RegionServer对应的各个主机中D状态的线程数量；若所述线程数量中存在大于预设线程数量的目标线程数量，则将所述目标线程数量对应的主机作为异常主机，并基于所述异常RegionServer以及所述异常主机输出诊断结果。5.如权利要求4所述的数据处理方法，其特征在于，所述基于所述异常RegionServer以及所述异常主机输出诊断结果的步骤包括：获取所述监控数据中的目标服务的系统告警信息，其中，所述系统告警信息包括重要主机告警信息、HDFS告警信息以及HBase进程告警信息；在所述目标日志数据中获取所述异常RegionServer对应的RegionServer日志，并在所述RegionServer日志中获取slow sync日志对应的IP信息；在所述目标日志数据中获取所述IP信息对应的HDFS DataNode日志；基于所述HDFS DataNode日志确定slow关键字对应的关联日志的出现频率；若所述出现频率大于预设频率值，则确定存在异常HDFS DataNode；
基于所述异常RegionServer、所述异常主机、所述系统告警信息以及所...

【专利技术属性】
技术研发人员：檀晓文，万佳丽，
申请(专利权)人：招商银行股份有限公司，
类型：发明
国别省市：