一种负载均衡的方法和单元、分布式NewSQL数据库系统技术方案
【技术实现步骤摘要】
一种负载均衡的方法和单元、分布式NewSQL数据库系统
本专利技术涉及大数据
，尤其涉及一种负载均衡的方法和单元、分布式NewSQL数据库系统。
技术介绍
目前Hbase是Hadoop生态体系中最著名的分布式NoSQL数据库之一。其设计理念来源于Google的Bigtable。Hbase主要组件包括HMaster和HRegionsever，为用户提供表格类型的数据模型，表按主键范围划分为多个region，HMaster负责管理和分配region，HRegionserver负责region数据的读写。HMaster会将表按主键范围划分为多个region，分配到HRegionserver。运行过程中，随着数据量的不断增加，热点数据会出现分配不均的情况，即只有一小部分HRegionserver在承担绝大所的访问，这样照成集群的处理能力下降及服务器资源的浪费。
技术实现思路
本专利技术实施例的目的是提供一种负载均衡的方法和单元、分布式NewSQL数据库系统，动态平衡负载、动态调整数据及索引分布，提高运行效率，充分利用服务器资源。为实现上述目的，本专利技术实施例提供了一种...
【技术保护点】
一种均衡负载的方法，适用于分布式NewSQL数据库系统，其特征在于，所述分布式NewSQL数据库系统包括Master单元、worker单元和Hbase单元，所述均衡负载的方法包括：接收所述Hbase单元的数据分布信息，接收所述Master单元中的所述worker单元的负载信息，其中，所述负载信息包括所述worker单元的负载偏差值；将所述worker单元的负载偏差值与预设负载偏差阈值进行比较，若判定所述负载偏差值超过阀值，触发所述Hbase单元将命中率较高服务器上的Region和命中率较低服务器上的Region进行从新分配；获取每一Region的数据量，将每一所述Regio...
【技术特征摘要】
2016.09.21 CN 20161084239971.一种均衡负载的方法，适用于分布式NewSQL数据库系统，其特征在于，所述分布式NewSQL数据库系统包括Master单元、worker单元和Hbase单元，所述均衡负载的方法包括：接收所述Hbase单元的数据分布信息，接收所述Master单元中的所述worker单元的负载信息，其中，所述负载信息包括所述worker单元的负载偏差值；将所述worker单元的负载偏差值与预设负载偏差阈值进行比较，若判定所述负载偏差值超过阀值，触发所述Hbase单元将命中率较高服务器上的Region和命中率较低服务器上的Region进行从新分配；获取每一Region的数据量，将每一所述Region的数据量与预设数据量阈值进行判断，若判定所述Region的数据量超过阀值，触发所述Hbase单元将超过预设数据量阈值的所述Region切分成两个。2.如权利要求1所述的一种均衡负载的方法，其特征在于，所述分布式NewSQL数据库还包括SQLPlaner单元，其中，所述Master单元用于所接入的用户请求，并协调多个处理器之间的数据通讯以及管理整体流程，并将所述用户请求优先发送给SQLPlaner单元；所述SQLPlaner单元用于解析所述用户请求，根据所述用户请求编译以及定制执行计划；所述worker单元，用于并行地执行所述计划，以获得数据进行归并汇总以返回给Master单元。3.如权利要求1所述的一种均衡负载的方法，其特征在于，所述Hbase单元还包括coprocessor模块，所述coprocessor模块用于将命中率较高服务器上的Region和命中率较低服务器上的Region进行从新分配；所述coprocessor模块还用于将超过预设数据量阀值的所述Region切分成两个。4.一种均衡负载的单元，适用于分布式NewSQL数据库系统，其特征在于，所述分布式NewSQL数据库包括Master单元、worker单元和Hbase单元，所述均衡负载的单元包括：信息收集模块，用于接收所述Hbase单元的数据分布信息，接收所述Master单元中的所述worker单元的负载信息，其中，所述负载信息包括所述worker单元的负载偏差值；Region分配模块，用于将所述worker单元的负载偏差值与预设负载偏差阈值进行比较，若判定所述负载偏差值超过阀值，触发所述Hbase单元将命中率较高服务器上的Region和命中率较低服务器上的Region进...
【专利技术属性】
技术研发人员：晋彤，
申请(专利权)人：广州特道信息科技有限公司，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。