负载均衡的方法、装置及服务器制造方法及图纸

本发明专利技术实施例提供的一种负载均衡的方法、装置及服务器。其中，一种负载均衡的方法，应用于分布式表格系统，分布式表格系统包括元数据服务器和用于存储数据的多个存储服务器，该方法由元数据服务器执行，通过获取所述分布式表格系统中的每个存储服务器中各副本的读写压力；基于所述每个存储服务器中各副本的读写压力，从所述多个存储服务器中确定源存储服务器和目标存储服务器，所述源存储服务器中包括待迁移副本；将所述待迁移副本迁移至所述目标存储服务器中。本方案可以实现分布式表格系统的负载均衡。负载均衡。负载均衡。

【技术实现步骤摘要】
负载均衡的方法、装置及服务器


[0001]本专利技术涉及分布式存储
，特别是涉及一种负载均衡的方法、装置及服务器。

技术介绍

[0002]分布式表格系统是一种半结构化的数据存储系统，被广泛用于存储万亿量级的数据，该系统可以看作一个分布式集群，具体可以包括用于进行系统的各类任务调度的元数据服务器，以及用于存储数据的存储服务器。为了保证数据安全，容忍坏盘和服务器宕机，分布式表格系统一般采用多副本的形式存储数据。为此，在存储逻辑层面上，分布式表格系统中数据的存储单元从大到小依次为“表”、“分片”以及“副本”：一个分布式表格系统中可以存储有多张表，一张表中包括多个分片，每个分片由多个副本组成。
[0003]相关技术中，对于属于同一分片的多个副本，通常指定其中一个副本为主副本，其他副本为从副本，以基于副本的主从关系保持副本的一致性，且对数据的读取请求和写入请求只落在主副本上。并且，为了提高集群的性能，对于任一分片，集群中的一台存储服务器只存储该分片的一个副本。在此基础上，为了减少单台存储服务器承担过多的读写压力的情况，以提高集群性能，可以对集群进行负载均衡。具体的，可以将集群中所有存储服务器的读写压力接近作为负载均衡的目标，以每台存储服务器中的主副本数量相同为依据，对主副本和从副本进行主从角色互换。
[0004]但是，在具体应用中，属于不同分片的主副本的读写压力并不相同。此时，如果仍然以上述每台存储服务器中的主副本数量相同为依据进行负载均衡，很可能使得同一个存储服务器中集中有多个读写压力相对而言较大的主副本，导致该存储读写压力过大，负载不均衡的问题。

技术实现思路

[0005]本专利技术实施例的目的在于提供一种负载均衡的方法方法、装置及服务器，以实现分布式表格系统的负载均衡的效果。具体技术方案如下：
[0006]第一方面，本专利技术实施例提供了一种负载均衡的方法，应用于分布式表格系统，所述分布式表格系统包括元数据服务器和用于存储数据的多个存储服务器，所述方法由所述元数据服务器执行，包括：
[0007]获取所述分布式表格系统中的每个存储服务器中各副本的读写压力；
[0008]基于所述每个存储服务器中各副本的读写压力，从所述多个存储服务器中确定源存储服务器和目标存储服务器，所述源存储服务器中包括待迁移副本；
[0009]将所述待迁移副本迁移至所述目标存储服务器中。
[0010]第二方面，本专利技术实施例提供了一种负载均衡的方法，应用于分布式表格系统，所述分布式表格系统包括元数据服务器和用于存储数据的多个存储服务器，所述方法由所述存储服务器执行，包括：
[0011]接收各副本的读取请求信息和/或写入请求信息；
[0012]根据接收到的各副本的读取请求信息和/或写入请求信息，确定各副本的读写压力。
[0013]第三方面，本专利技术实施例提供了一种负载均衡的装置，应用于分布式表格系统，所述分布式表格系统包括元数据服务器和用于存储数据的多个存储服务器，所述装置包含于所述元数据服务器，包括：
[0014]读写压力获取模块，用于获取所述分布式表格系统中的每个存储服务器中各副本的读写压力；
[0015]服务器确定模块，用于基于所述每个存储服务器中各副本的读写压力，从所述多个存储服务器中确定源存储服务器和目标存储服务器，所述源存储服务器中包括待迁移副本；
[0016]目标存储服务器确定模块，用于在所述任一存储服务器中存在待迁移副本时，在所述分布式表格系统中确定可迁移的目标存储服务器；
[0017]负载均衡模块，用于将所述待迁移副本迁移至所述目标存储服务器中。。
[0018]第四方面，本专利技术实施例提供了一种服务器，该服务器包括：
[0019]处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序，实现上述第一方面或者第二方面提供的负载均衡的方法的步骤。
[0020]第五方面，本专利技术实施例提供了一种计算机可读存储介质，该存储介质内存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面或者第二方面提供的负载均衡的方法的步骤。
[0021]本专利技术提供的方案中，分布式表格系统的元数据服务器获取分布式表格系统中的每个存储服务器中各副本的读写压力；基于每个存储服务器中各副本的读写压力，从多个存储服务器中确定源存储服务器和目标存储服务器，且源存储服务器中包括待迁移副本；进而将待迁移副本迁移至目标存储服务器中。由此，通过将将待迁移副本迁移至目标存储服务器中，可以将源存储服务器的读写压力转移给目标存储服务器，从而实现对整个分布式表格系统中存在待迁移副本的源存储服务器和目标存储服务器之间的读写压力的均衡。可见，通过本方案可以减少同一个存储服务器中集中有多个读写压力相对而言较大的主副本，导致该存储服务器读写压力过大，负载不均衡的问题，实现分布式表格系统的负载均衡。
附图说明
[0022]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
[0023]图1为本专利技术一实施例提供的负载均衡的方法的流程示意图；
[0024]图2为本专利技术另一实施例提供的负载均衡的方法的流程示意图；
[0025]图3为本专利技术一实施例的负载均衡的装置的结构示意图；
[0026]图4为本专利技术另一实施例的负载均衡的装置的结构示意图；
[0027]图5为本专利技术一实施例的服务器的结构示意图。
具体实施方式
[0028]为了使本领域技术人员更好地理解本专利技术中的技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0029]下面首先对本专利技术一实施例的负载均衡的方法进行介绍。
[0030]本专利技术实施例提供的负载均衡的方法，可以应用于分布式表格系统，分布式表格系统包括元数据服务器和用于存储数据的多个存储服务器，该方法由元数据服务器执行。其中，元数据服务器具体可以包括台式计算机、便携式计算机、互联网电视，智能移动终端、可穿戴式智能终端以及服务器等，在此不作限定，任何可以实现本专利技术实施例的电子设备，均可以作为本专利技术的元数据服务器，属于本专利技术实施例的保护范围。
[0031]如图1所示，本专利技术一实施例的负载均衡的方法的流程，该方法可以包括如下步骤：
[0032]S101，获取分布式表格系统中的每个存储服务器中各副本的读写压力。
[0033]其中，任一副本的读写压力为针对该副本的读写，该副本所属的存储服务器承担的处理压力；任一存储服务器的读写压力为该存储服务器中全部副本的总的读写压力。在具体应用中，任一副本的读写压力可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种负载均衡的方法，其特征在于，应用于分布式表格系统，所述分布式表格系统包括元数据服务器和用于存储数据的多个存储服务器，所述方法由所述元数据服务器执行，包括：获取所述分布式表格系统中的每个存储服务器中各副本的读写压力；基于所述每个存储服务器中各副本的读写压力，从所述多个存储服务器中确定源存储服务器和目标存储服务器，所述源存储服务器中包括待迁移副本；将所述待迁移副本迁移至所述目标存储服务器中。2.根据权利要求1所述的方法，其特征在于，所述基于所述每个存储服务器中各副本的读写压力，从所述多个存储服务器中确定源存储服务器和目标存储服务器，包括：针对任一存储服务器，基于所获得的该存储服务器中所述各副本的读写压力，判断该存储服务器中是否存在待迁移副本；当所述任一存储服务器中存在待迁移副本时，将存在待迁移副本的存储服务器作为源存储服务器，并在所述分布式表格系统中确定可迁移的目标存储服务器。3.根据权利要求2所述的方法，其特征在于，所述针对任一存储服务器，基于所获得的该存储服务器中所述各副本的读写压力，判断该存储服务器中是否存在待迁移副本，包括：针对每个存储服务器，计算该存储服务器中各副本的读写压力的总和，得到该存储服务器的读写压力；计算所获取的存储服务器的读写压力的均值，得到所述多个存储服务器的平均读写压力；针对每个存储服务器，如果该存储服务器的读写压力和所述平均读写压力的差值，大于或者等于预设的读写压力阈值，判定该存储服务器中存在待迁移副本。4.根据权利要求3所述的方法，其特征在于，在所述将存在待迁移副本的存储服务器作为源存储服务器之后，所述方法还包括：针对所述源存储服务器的每个副本，当该副本的读写压力不为零，且所述源存储服务器的读写压力与该副本的读写压力之间的差值，大于或者等于所述平均读写压力，将该副本确定为待迁移副本。5.根据权利要求4所述的方法，其特征在于，所述在所述分布式表格系统中确定可迁移的目标存储服务器，包括：判断所述待迁移副本所属分片的其他副本所在的存储服务器，是否满足预设的压力转入条件；其中，所述预设的压力转入条件包括：该存储服务器的读写压力和所述待迁移副本的读写压力的和，小于或者等于所述平均读写压力，且该存储服务器在当前的副本迁移阶段未进行副本迁移；如果满足所述预设的压力转入条件，将所述待迁移副本所属分片的其他副本所在的存储服务器确定为所述目标存储服务器。6.根据权利要求5所述的方法，其特征在于，所述将所述待迁移副本迁移至所述目标存储服务器中，包括：对所述待迁移副本的主副本角色，与所述目标存储服务器中指定副本的从副本角色进行互换；其中，所述指定副本为与所述待迁移副本属于同一分片的副本。
7.根据权利要求5所述的方法，其特征在于，在所述判断所述待迁移副本所属分片的其他副本所在的存储服务器，是否满足预设的压力转入条件之后，所述方法还包括：如果所述待迁移副本所属分片的其他副本所在的存储服务器，均不满足所述预设的压力转入条件，针对所述分布式表格系统中，除所述源存储服务器以外的存储服务器，判断该存储服务器是否满足预设的副本转入条件；如果满足所述预设的副本转入条件，将该存储服务器确定为目标存储服务器；其中，所述预设的副本转入条件包括：该存储服...

【专利技术属性】
技术研发人员：万进，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：