一种多HBase集群访问方法、装置及存储介质制造方法及图纸

本公开提供了一种多HBase集群访问方法、装置及存储介质，用于实现对多个HBase集群的动态访问。本公开将HBase集群作为数据源进行注册，并在注册成功时自动触发HBase集群配置文件的采集和存储。在一个组件或装置需要对多个HBase集群进行访问时，通过所采集的HBase集群配置文件构造多个HBase客户端对象，并在内存中缓存HBase客户端对象，通过HBase客户端对象进行HBase集群的访问和操作。本公开能够实现对多个HBase集群配置文件的自动采集和维护以及多个HBase集群的客户端对象的动态构造，从而实现对多个HBase集群的便捷、高效的访问和操作，提高了访问处理效率。

【技术实现步骤摘要】
一种多HBase集群访问方法、装置及存储介质
本公开涉及
，尤其涉及一种多HBase集群访问方法、装置及存储介质。
技术介绍
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，可以在极短的时间内存储、搜索和分析海量的数据，因此它在数据存储检索方面发挥着越来越重要的地位。在HBase体系架构中，HMaster是HBase集群中的主服务器，负责监控集群中的所有HRegionServer，并且是所有元数据更改的接口。HRegionServer负责维护HMaster分配的Region，处理对这些Region的IO请求。HBase客户端Client是整个HBase集群的访问入口，使用HBase远程过程调用RPC机制与HMaster和HRegionServer进行通信，与HMaster通信进行管理类操作，与HRegionServer进行数据读写类操作，具有访问HBase的API接口，因此通过HBaseClient就可以实现对HBase的访问和操作能力。目前大部分HBase集群访问组件或装置，例如数据管理平台使用的数据查本文档来自技高网...

【技术保护点】
1.一种多HBase集群访问方法，其特征在于，所述方法包括：/n接收数据源注册请求，根据数据源注册请求中携带的HBase集群注册信息执行数据源的注册；/n在数据源注册成功后，基于HBase集群的注册信息，自动采集HBase集群的配置文件；/n使用采集的各HBase集群的配置文件构造HBase客户端对象并缓存在内存中，通过各HBase客户端对象实现对各HBase集群的访问。/n

【技术特征摘要】
1.一种多HBase集群访问方法，其特征在于，所述方法包括：
接收数据源注册请求，根据数据源注册请求中携带的HBase集群注册信息执行数据源的注册；
在数据源注册成功后，基于HBase集群的注册信息，自动采集HBase集群的配置文件；
使用采集的各HBase集群的配置文件构造HBase客户端对象并缓存在内存中，通过各HBase客户端对象实现对各HBase集群的访问。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在采集到HBase集群的配置文件后，将配置文件存储在本地，同时将配置文件存储到配置数据库中；
在构造HBase客户端对象之前，首先从本地读取所述配置文件，如果本地不存在，则再从配置数据库中读取并加载到本地。


3.根据权利要求1所述的方法，其特征在于，所述自动采集HBase集群的配置文件的方法为：
根据HBase集群注册信息，连接到HBase集群主节点后，将配置文件采集脚本传送到HBase集群主节点上并远程执行该配置文件采集脚本；
配置文件采集脚本执行后，从HMaster进程的主目录下获取HBase集群的配置文件，并将配置文件回传。


4.根据权利要求1所述的方法，其特征在于，所述自动采集HBase集群的配置文件的方法为：
根据HBase集群注册信息，连接HBase集群主节点上的代理模块，通过消息指令代理模块读取HBase集群的配置文件，由所述代理模块将配置文件回传。


5.根据权利要求2所述的方法，其特征在于，所述方法还包括：
当某个数据源对应的HBase集群的配置文件有更新时，通过管理端之间的接口实现本地存储的HBase集群的配置文件及配置数据库中配置文件的更新，并根据更新的HBase集群的配置文件重新构造对应的HB...

【专利技术属性】
技术研发人员：杨恒，
申请(专利权)人：新华三大数据技术有限公司，
类型：发明
国别省市：河南;41