一种HBase系统的监控方法及监控服务器技术方案

本发明专利技术实施例公开了一种HBase系统的监控方法及监控服务器，方法包括：从待监控HBase系统中，获取各个域服务器所维护的域的检测数据；按照域对所述检测数据进行聚类，以整理出各个域的检测数据；按照表对所述各个域的检测数据进行聚类，以整理出各个表的检测数据；对所述各个表的检测数据进行处理生成监控报告；将所述监控报告展示给用户，本发明专利技术实施例能够实现表级监控。

Monitoring method of HBase system and monitoring server

The embodiment of the invention discloses a method for monitoring HBase system and monitoring server, from the monitoring methods include: HBase system, detection data acquisition for each domain server maintenance domain; according to the domain cluster of the detection data, to sort out the various domain detection data according to the detected data of the table; the domain of clustering, to sort out the detection data in each table; the detection data of the each table is processed to form the monitoring report; the monitoring report will be displayed to the user, the embodiment of the invention can realize the table level monitoring.

【技术实现步骤摘要】
一种HBase系统的监控方法及监控服务器
本专利技术实施例涉及通信
，具体涉及一种HBase系统的监控方法及监控服务器。
技术介绍
HBase(HadoopDatabase)是一个分布式的、面向列的开源数据库，HBase以表(table)的形式存储数据，一个表可以分割成多个域(region)，不同域可以分布在HBase系统内的不同域服务器(Regionserver)上，不同于一般的关系数据库，HBase是一个适合于非结构化数据存储的数据库。实际应用中，用户购买HBase系统后，通常会建立多张业务表，HBase系统中的每台域服务器节点均会承载多张业务表的数据，现有技术只能实现域服务器节点的性能监控，只能对集群本身的问题进行监控和性能调优，而各个业务表是否设计合理、各个表涉及的业务是否正常运作，则不能进行监控和优化，即现有技术的监控粒度较粗，缺乏表级监控的实现方案。
技术实现思路
有鉴于此，本专利技术实施例提供了一种HBase系统的监控方法及监控服务器，能够实现表级监控。本专利技术实施例提供的HBase系统的监控方法，包括：从待监控HBase系统中，获取各个域服务器所维护的域的检测数据；按照域对所述检测数据进行聚类，以整理出各个域的检测数据；按照表对所述各个域的检测数据进行聚类，以整理出各个表的检测数据；对各个表的检测数据进行处理生成监控报告；将所述监控报告展示给用户。本专利技术实施例提供的监控服务器，包括：获取单元，用于从待监控HBase系统中，获取各个域服务器所维护的域的检测数据；整理单元，用于按照域对所述检测数据进行聚类，以整理出各个域的检测数据；以及按照表对所述各个域的检测数据进行聚类，以整理出各个表的检测数据；处理单元，用于对各个表的检测数据进行处理生成监控报告；展示单元，用于将所述监控报告展示给用户。本专利技术实施例中，监控服务器可以从待监控HBase系统中，获取各个域服务器所维护的域的检测数据；接下来按照域对所述检测数据进行聚类，以整理出各个域的检测数据；然后按照表对所述各个域的检测数据进行聚类，以整理出各个表的检测数据；最后对各个表的检测数据进行处理生成监控报告；将所述监控报告展示给用户，用户查阅监控报告即可获知各个业务表是否设计合理、各个业务是否正常运作，从而实现了表级监控。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例所提供的HBase系统的监控方法的一个场景示意图；图2是本专利技术实施例所提供的HBase系统的监控方法的一个流程示意图；图3a是本专利技术实施例所提供的HBase系统的监控方法的另一流程示意图；图3b至3d为本专利技术实施例监控界面的展示图；图4是本专利技术实施例所提供的监控服务器的一个结构示意图；图5是本专利技术实施例所提供的监控服务器的另一结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。由于现有技术缺乏HBase系统的表级监控实现方案，导致用户无法获知各个表是否设计合理、各个表涉及的业务是否正常运作，因而本专利技术实施例提供了一种HBase系统的监控方法及监控服务器，能够实现HBase系统的表级监控，本专利技术实施例HBase系统的监控方法一个具体场景可如图1所示，包括待监控HBase系统，监控服务器及客户端。其中，待监控HBase系统可以是用户的HBase系统，待监控HBase系统中主要包括分布式服务框架(Zookeeper)集群，域服务器(Regionsever)集群及主服务器(Hmaster)，HBase中可以启动多个Hmaster。用户购买HBase系统后，会使用HBase系统存储大量的表(table，例如业务数据表)，每个表一开始只有一个域(region)，随着数据不断插入表，region不断增大，当增大到预设阀值的时候，一个region就会等分成两个新的region，region是HBase中分布式存储和负载均衡的最小单元，最小单元就表示不同的region可以分布在不同的Regionserver上，但一个region不会拆分到多个Regionserver上，即每个表可以分割成多个region，不同region可以分布在HBase系统内的不同Regionserver上。在待监控HBase系统中，Zookeeper的主要作用如下：(1)通过主服务器竞选(MasterElection)机制，保证任何时候，系统中只有一个Hmaster运行；(2)存贮所有region的寻址入口；(3)实时监控Regionserver的状态，将Regionserver的上线和下线信息实时通知给Hmaster；(4)存储HBase的架构(schema)，包括有哪些table，每个table有哪些列族(columnfamily)。Hmaster的主要作用如下：(1)为Regionserver分配region；(2)负责Regionserver的负载均衡；(3)发现失效的Regionserver并重新分配其上的region；(4)分布式文件系统上的垃圾文件回收；(5)处理架构更新请求。RegionServer的主要作用如下：(1)维护Hmaster分配给它的region，处理对这些region的输入输出(InputOutput，IO)请求；(2)负责切分在运行过程中变得过大的region。本专利技术实施例提供的HBase系统的监控方法应用于监控服务器中，监控服务器可以从待监控HBase系统中，获取各个域服务器所维护的域的检测数据，接下来按照域对所述检测数据进行聚类，以整理出各个域的检测数据，然后按照表对所述各个域的检测数据进行聚类，以整理出各个表的检测数据。当用户想要查询某个表的性能时，可以通过客户端向监控服务器发送查询请求，监控服务器根据查询请求取出相关表的检测数据，对取出的相关表的检测数据进行处理生成监控报告，将监控报告通过客户端展示给用户，用户查阅监控报告即可获知各个业务表是否设计合理、各个业务是否正常运作，从而实现了表级监控。以下分别进行详细说明，需说明的是，以下实施例的序号不作为对实施例优选顺序的限定。实施例一本实施例将从监控服务器的角度描述本专利技术提供的HBase系统的监控方法，如图2所示，本实施例的方法包括以下步骤：步骤201、从待监控HBase系统中，获取各个域服务器所维护的域的检测数据；具体实现中，待监控HBase系统可以是用户购买的HBase系统，用户购买HBase系统后，会使用HBase系统存储大量的表(例如业务数据表)，每个表可以分割成多个域，不同域可以分布在HBase系统内的不同域服务器上，每个域服务器上可能保存一个或多个域，每个域服务器维护自身保存的域。本实施例中，可以在待监控HBase系统中，布署代理(agent)进程，监控服务器可以调用在所述待监控HBase本文档来自技高网...

【技术保护点】
一种分布式数据库HBase系统的监控方法，其特征在于，包括：从待监控HBase系统中，获取各个域服务器所维护的域的检测数据；按照域对所述检测数据进行聚类，以整理出各个域的检测数据；按照表对所述各个域的检测数据进行聚类，以整理出各个表的检测数据；对所述各个表的检测数据进行处理生成监控报告；将所述监控报告展示给用户。

【技术特征摘要】
1.一种分布式数据库HBase系统的监控方法，其特征在于，包括：从待监控HBase系统中，获取各个域服务器所维护的域的检测数据；按照域对所述检测数据进行聚类，以整理出各个域的检测数据；按照表对所述各个域的检测数据进行聚类，以整理出各个表的检测数据；对所述各个表的检测数据进行处理生成监控报告；将所述监控报告展示给用户。2.根据权利要求1所述的方法，其特征在于，所述从待监控HBase系统中，获取各个域服务器所维护的域的检测数据包括：调用在所述待监控HBase系统中布署的代理进程访问域服务器进程，以获取各个域服务器所维护的域的检测数据。3.根据权利要求1或2所述的方法，其特征在于，在整理出各个表的检测数据之后，所述方法还包括：以表标识为行健，以域服务器标识为列键，将所述各个表的检测数据存入内部HBase系统中。4.根据权利要求3所述的方法，其特征在于，在对所述各个表的检测数据进行处理生成监控报告之前，所述方法还包括：接收所述用户发送的查询请求；根据所述查询请求从所述内部HBase系统中取出对应的检测数据；对取出的对应的检测数据进行处理生成监控报告。5.根据权利要求4所述的方法，其特征在于，所述查询请求中包括表标识及查询指标，所述根据所述查询请求从所述内部HBase系统中取出对应的检测数据包括：从所述内部HBase系统中取出所述表标识所标识的表的检测数据；所述对取出的对应的检测数据进行处理生成监控报告包括：根据所述查询指标对取出的所述表标识所标识的表的检测数据进行处理，生成表级监控报告。6.根据权利要求5所述的方法，其特征在于，所述查询请求中还包括域服务器标识，在从所述内部HBase系统中取出所述表标识所标识的表的检测数据之后，还包括：从所述表标识所标识的表的检测数据中，取出所述域服务器标识所标识的域服务器所维护的域的检测数据；根据所述查询指标对取出的所述域服务器标识所标识的域服务器所维护的域的检测数据进行处理，生成表加节点级监控报告。7.根据权利要求6所述的方法，其特征在于，所述处理包括：对取出的各个域的检测数据进行累加处理，或者对取出的各个域的检测数据进行取极值处理，或者对取出的各个域的检测数据进行求平均值处理。8.根据权利要求5至7任意一项所述的方法，其特征在于，所述查询指标包括表的属性查询指标或表的操作查询指标。9.一种监控...

【专利技术属性】
技术研发人员：张觅，李佳禧，陈龙，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44