基于概率的负载平衡方法及装置、电子设备、存储介质制造方法及图纸

本发明专利技术公开了一种基于概率的负载平衡方法及装置、电子设备、存储介质，包括：接收每个存储节点发送的负载信息；根据所述负载信息，计算每个存储节点的负载；根据所述负载，计算每个存储节点的负载服务能力；接收客户端发送的数据请求；根据所述负载服务能力，计算服务概率；基于所述服务概率，随机的选择一个存储节点服务所述数据请求，其中所述服务概率越大被选中的概率越高。本发明专利技术可以应用到各类分布式文件系统的中，解决负载信息收集的低网络开销和较好负载平衡效果之间难以兼顾的问题。销和较好负载平衡效果之间难以兼顾的问题。销和较好负载平衡效果之间难以兼顾的问题。

【技术实现步骤摘要】
基于概率的负载平衡方法及装置、电子设备、存储介质


[0001]本申请涉及分布式文件系统存储领域，尤其涉及一种基于概率的负载平衡方法及装置、电子设备、存储介质。

技术介绍

[0002]分布式文件系统为数据密集型应用提高海量存储、高性能以及高扩展性，是海量存储系统的重要组成部分。分布式文件系统通常采用典型的三方架构，分别由客户端、存储节点和元数据服务器组成。元数据维护文件和目录的元数据信息，维护存储节点状态、容量、负载、访问地址等信息，以及数据块在存储节点的分布信息。在分布式文件系统保证负载平衡影响系统的整体性能。如果一个节点负载过高，会极大的增加该存储节点上的响应时间，不仅增加长尾性能，而且降低系统资源的整体利用率。由多种因素会影响文件系统的负载平衡。比如，存储节点的动态变更，存储节点可能因为故障被移除，或者新节点加入；文件或者目标被修改、删除，是数据的分布发生变更。为了保证数据的可靠性，分布式文件系统通常采用多副本数据存储机制，即将一份数据存储在多个节点。因此，如何利用分布式文件系统的多副本机制改进负载平衡至关重要。
[0003]分布式文件系统的负载平衡范围的一个关键技术是如何准确识别每个存储节点的当前负载，如果存储节点的负载信息不准确，那么制定的负载平衡策略就难以达到预期效果。为了达到这个目的，分布式文件系统需要周期性收集每个存储节点的负载信息，比如CPU使用率、内存使用率等等。但是，这个周期性的间隔时间存在一个平衡问题，如果负载信息的收集周期过短，那占用较多的网络性能，从而影响整体性能。反之，如果负载信息收集周期过长，那么服务器端的负载信息的准确性会降低。

技术实现思路

[0004]鉴于此，本申请实施例的目的是提供一种基于概率的负载平衡方法及装置、电子设备、存储介质，以解决现有负载平衡策略难以达到预期效果的技术问题。
[0005]根据本申请实施例的第一方面，提供一种基于概率的负载平衡方法，应用于元数据服务器，包括：接收每个存储节点发送的负载信息；根据所述负载信息，计算每个存储节点的负载；根据所述负载，计算每个存储节点的负载服务能力；接收客户端发送的数据请求；根据所述负载服务能力，计算服务概率；基于所述服务概率，随机的选择一个存储节点服务所述数据请求，其中所述服务概率越大被选中的概率越高。
[0006]进一步地，所述负载信息主要由CPU使用率、内存使用率、存储设备空间使用率、存储设备流量、网络流量组成。
[0007]进一步地，基于所述服务概率，随机的选择一个存储节点服务所述数据请求，包括：在接收所述数据请求后，查找所述存储节点的副本信息；根据所述副本信息挑选出能服务所述数据请求的存储节点；计算能服务所述数据请求的存储节点的服务概率；为每个所述服务概率构建一个概率区间；生成一个0到1之间的随机数，确定所述随机数落到哪个概率区间；选择所述随机数落入到的概率区间所对应的存储节点作为所述数据请求的服务节点，为所述数据请求服务。
[0008]进一步地，还包括对存储节点负载进行动态估计的步骤。
[0009]进一步地，对存储节点负载进行动态估计，具体包括：当前周期开始时，每当一个存储节点服务一个数据请求后，将上一个周期存储节点上报的负载作为基准负载，每服务一个数据请求，就在所述基准负载上增加一次负载，得到存储节点当前最新的真实负载，其中所述增加一次负载中的负载由每个数据请求的平均负载和预测误差调整系数相乘而得；在当前周期结束后，对比所述真实负载和上一个周期内估计的负载降低值，调整所述预测误差调整系数；当前周期开始时，在每隔一段时间存储节点完成数据请求后，相应地调整存储节点负载，估计存储节点负载降低值；在当前周期结束后，将存储的上一个周期的负载和从存储节点接收到的最新负载进行对比，计算出实际的负载变化值，将所述负载变化值和所述负载降低值进行对比，如果所述负载降低值大于负载变化值，则在下一个周期增加负载降低值，反之，则在下一个周期减少负载降低值。
[0010]进一步地，还包括：根据存储节点的负载，将数据请求轮询分发给存储节点进行处理。
[0011]进一步地，根据存储节点的负载，将数据请求轮询分发给存储节点进行处理，具体步骤如下：根据存储节点的当前负载情况计算出平均负载，并根据所述平均负载将所有的存储节点分为高负载存储节点和低负载存储节点，将低负载存储节点选为当前数据请求的候选节点集；从所述候选节点集中剔除已经服务过之前n个数据请求的存储节点，n为连续数据请求的监控长度；如果剔除后的所述候选节点集为空，则计算该数据请求的所有副本所在的存储节点的服务概率，基于所述服务概率，随机的选择一个存储节点服务所述数据请求；否则，基于该候选节点集中的存储节点计算其服务概率，并将该数据请求发送到服务概率最低的存储节点进行处理。
[0012]根据本申请实施例的第二方面，提供一种基于概率的负载平衡装置，应用于元数据服务器，包括：第一接收模块，用于接收每个存储节点发送的负载信息；
第一计算模块，用于根据所述负载信息，计算每个存储节点的负载；第二计算模块，用于根据所述负载，计算每个存储节点的负载服务能力；第二接收模块，用于接收客户端发送的数据请求；第三计算模块，用于根据所述负载服务能力，计算服务概率；选择模块，用于基于所述服务概率，随机的选择一个存储节点服务所述数据请求，其中所述服务概率越大被选中的概率越高。
[0013]根据本申请实施例的第三方面，提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。
[0014]根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面所述方法的步骤。
[0015]本申请的实施例提供的技术方案可以包括以下有益效果：由以上技术方案可知，通过每个存储节点发送的负载信息，根据所述负载信息，计算每个存储节点的负载，进而计算每个存储节点的负载服务能力，根据所述负载服务能力，计算服务概率，并基于该概率值决定该存储节点的数据请求服务概率，所述服务概率越大被选中的存储节点服务所述数据请求的概率越高。总的来说，一个存储节点负载高，其被选中的概率也较高。反之，如果一个存储节点的负载较低，那么其被选中的概率也较低。通过这种概率分布的随机选择，可以有效避免在一个周期内将数据请求过多的发送到负载最轻的节点，提高分布式文件系统的负载平衡。该方法可以有效提高负载平衡效果，延长负载采集周期，从而避免过于频繁地收集负载信息，降低系统整体性能。解决了现有负载平衡策略难以达到预期效果的技术问题。
[0016]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0017]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0018]图1是根据一示例性实施例示出的一种基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于概率的负载平衡方法，其特征在于，包括：接收每个存储节点发送的负载信息；根据所述负载信息，计算每个存储节点的负载；根据所述负载，计算每个存储节点的负载服务能力；接收客户端发送的数据请求；根据所述负载服务能力，计算服务概率；基于所述服务概率，随机的选择一个存储节点服务所述数据请求，其中所述服务概率越大被选中的概率越高。2.根据权利要求1所述的一种基于概率的负载平衡方法，其特征在于，所述负载信息主要由CPU使用率、内存使用率、存储设备空间使用率、存储设备流量、网络流量组成。3.根据权利要求1所述的一种基于概率的负载平衡方法，其特征在于，基于所述服务概率，随机的选择一个存储节点服务所述数据请求，包括：在接收所述数据请求后，查找所述存储节点的副本信息；根据所述副本信息挑选出能服务所述数据请求的存储节点；计算能服务所述数据请求的存储节点的服务概率；为每个所述服务概率构建一个概率区间；生成一个0到1之间的随机数，确定所述随机数落到哪个概率区间；选择所述随机数落入到的概率区间所对应的存储节点作为所述数据请求的服务节点，为所述数据请求服务。4.根据权利要求1所述的一种基于概率的负载平衡方法，其特征在于，还包括对存储节点负载进行动态估计的步骤。5.根据权利要求4所述的一种基于概率的负载平衡方法，其特征在于，对存储节点负载进行动态估计，具体包括：当前周期开始时，每当一个存储节点服务一个数据请求后，将上一个周期存储节点上报的负载作为基准负载，每服务一个数据请求，就在所述基准负载上增加一次负载，得到存储节点当前最新的真实负载，其中所述增加一次负载中的负载由每个数据请求的平均负载和预测误差调整系数相乘而得；在当前周期结束后，对比所述真实负载和上一个周期内估计的负载降低值，调整所述预测误差调整系数；当前周期开始时，在每隔一段时间存储节点完成数据请求后，相应地调整存储节点负载，估计存储节点负载降低值；在当前周期结束后，将存储的上一个周期的负载和从存储节点接收到的最新负载进行对比，计算出实际的负载变化值，将所述负载变...

【专利技术属性】
技术研发人员：李勇，曾令仿，陈光，
申请(专利权)人：之江实验室，
类型：发明
国别省市：