分布式节点间的数据分配方法、装置、服务器及存储介质制造方法及图纸

一种分布式节点间的数据分配方法，所述方法包括：获取多个分布式节点的存储空间使用率；使用正态分布拟合算法，对所述所有数据节点的存储空间使用率进行拟合，获得所述存储空间使用率的正态分布，并确定正态分布的标准差以及正态分布的均值；判断所述正态分布的标准差是否大于预设标准差阈值；若所述正态分布的标准差大于预设标准差阈值，根据所述正态分布的曲线，确定待调整节点；根据所述正态分布的均值，对所述待调整节点的数据进行重新分配。本发明专利技术还提供一种分布式节点间的数据分配装置、服务器以及存储介质。本发明专利技术能减少网络带宽的消耗以及提高数据节点的数据读取的性能。

Data distribution methods, devices, servers and storage media between distributed nodes

A data allocation method among distributed nodes, the method includes: obtaining the storage space utilization rate of multiple distributed nodes; using the normal distribution fitting algorithm, fitting the storage space utilization rate of all data nodes, obtaining the normal distribution of the storage space utilization rate, determining the standard deviation of the normal distribution and the mean value of the normal distribution; judging the normal distribution Whether the standard deviation of the normal distribution is greater than the preset standard deviation threshold; if the standard deviation of the normal distribution is greater than the preset standard deviation threshold, determine the nodes to be adjusted according to the curve of the normal distribution; redistribute the data of the nodes to be adjusted according to the mean value of the normal distribution. The invention also provides a data distribution device, a server and a storage medium between distributed nodes. The invention can reduce the consumption of network bandwidth and improve the data reading performance of data nodes.

【技术实现步骤摘要】
分布式节点间的数据分配方法、装置、服务器及存储介质
本专利技术涉及计算机
，尤其涉及一种分布式节点间的数据分配方法、装置、服务器及存储介质。
技术介绍
目前，随着互联网技术的蓬勃发展，社会生产活动中生成的数据量及存储需求越来越大，分布式文件系统被越来越广泛的使用。实践中发现，当数据存储分布不平衡时，分布式计算任务可能会被分配给没有存储数据的数据节点，这需要通过网络读取其它数据节点存储的数据，从而导致网络带宽的消耗。此外，当一些数据节点的数据完全满载时，新的数据会被集中存放在有空余存储空间的数据节点上，由于新的数据会被经常访问，使得对该数据节点的访问过于频繁，降低了该节点读取数据的性能。因此，如何减少网络带宽的消耗以及提高数据节点读取数据的性能是一个亟待解决的技术问题。
技术实现思路
鉴于以上内容，有必要提供一种分布式节点间的数据分配方法、装置、服务器及存储介质，能够减少网络带宽的消耗以及提高数据节点读取数据的性能。本专利技术的第一方面提供一种分布式节点间的数据分配方法，所述方法包括：获取多个分布式节点的存储空间使用率；使用正态分布拟合算法，对所述所有数据节点的存储空间使用率进行拟合，获得所述存储空间使用率的正态分布，并确定正态分布的标准差以及正态分布的均值；判断所述正态分布的标准差是否大于预设标准差阈值；若所述正态分布的标准差大于预设标准差阈值，根据所述正态分布的曲线，确定待调整节点；根据所述正态分布的均值，对所述待调整节点的数据进行重新分配。在一种可能的实现方式中，所述根据所述正态分布的曲线，确定待调整节点包括：根据预设百分比，从所述正态分布的曲线中，确定位于所述曲线的两端的第一存储空间使用率范围以及第二存储空间使用率范围；将存储空间使用率属于所述第一存储空间使用率范围的数据节点确定为转入节点；将存储空间使用率属于所述第二存储空间使用率范围的数据节点确定为转出节点；将所述转入节点以及所述转出节点确定为待调整节点。在一种可能的实现方式中，所述根据所述正态分布的均值，对所述待调整节点的数据进行重新分配包括：针对每个所述转出节点，根据所述正态分布的均值、所述转出节点的存储空间使用率以及所述转出节点的存储空间大小，确定所述转出节点的可转出数据量；针对每个所述转入节点，根据所述正态分布的均值、所述转入节点的存储空间使用率以及所述转入节点的存储空间大小，确定所述转入节点的可转入数据量；根据所述可转出数据量和所述可转入数据量，对所述转出节点的数据进行调整，以及根据所述可转出数据量和所述可转入数据量，对所述转入节点的数据进行调整。在一种可能的实现方式中，所述根据所述可转出数据量和所述可转入数据量，对所述转出节点的数据进行调整，以及根据所述可转出数据量和所述可转入数据量，对所述转入节点的数据进行调整包括：按照多个所述转出节点的第一预设排列顺序以及多个所述转入节点的第二预设排列顺序，依次将所述转出节点的数据转入至所述转入节点；统计所述转出节点的实时转出数据量，以及统计所述转入节点的实时转入数据量；判断所述实时转出数据量是否等于所述转出节点的可转出数据量，以及判断所述实时转入数据量是否等于所述转入节点的可转入数据量；若所述实时转出数据量等于所述转出节点的可转出数据量，停止将所述转出节点的数据转出；及/或若所述实时转入数据量等于所述转入节点的可转入数据量，停止向所述转入节点转入数据。在一种可能的实现方式中，所述方法还包括：若所述正态分布的标准差大于预设标准差阈值，生成警告信息；将所述警告信息发送给用户终端。本专利技术的第二方面提供一种分布式节点间的数据分配装置，所述装置包括：获取模块，用于获取多个分布式节点的存储空间使用率；拟合模块，用于使用正态分布拟合算法，对所述所有数据节点的存储空间使用率进行拟合，获得所述存储空间使用率的正态分布，并确定正态分布的标准差以及正态分布的均值；判断模块，用于判断所述正态分布的标准差是否大于预设标准差阈值；确定模块，用于若所述正态分布的标准差大于预设标准差阈值，根据所述正态分布的曲线，确定待调整节点；分配模块，用于根据所述正态分布的均值，对所述待调整节点的数据进行重新分配。本专利技术的第三方面提供一种服务器，所述服务器包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现所述的分布式节点间的数据分配方法。本专利技术的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的分布式节点间的数据分配方法。由以上技术方案，本专利技术中，可以获取多个分布式节点的存储空间使用率；使用正态分布拟合算法，对所述所有数据节点的存储空间使用率进行拟合，获得所述存储空间使用率的正态分布，并确定正态分布的标准差以及正态分布的均值；判断所述正态分布的标准差是否大于预设标准差阈值；若所述正态分布的标准差大于预设标准差阈值，根据所述正态分布的曲线，确定待调整节点；根据所述正态分布的均值，对所述待调整节点的数据进行重新分配。可见，正态分布的标准差可以反映数据集群中所有数据节点的数据存储的分布情况，当所述标准差大于预设标准差阈值时，表明整个数据集群中的数据节点的数据存储分布不均，存在数据节点的存储空间使用率很低甚至没有存储数据的情况，以及存在数据节点的存储空间使用率较高甚至满载的情况。可以将存储空间使用率低的数据节点以及存储空间使用率高的节点确定为待调整节点，对待调整节点的数据进行调整，使得整个数据集群中所有的数据节点的数据存储分布较为均匀，避免了分布式计算任务被分配给没有存储有数据的数据节点上，可以减少网络带宽的消耗，同时，由于数据分布较为均匀，使得访问不会集中在某个数据节点上，从而提高了数据节点的数据读取的性能。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1是本专利技术公开的一种分布式节点间的数据分配方法的较佳实施例的流程图。图2是本专利技术公开的一种分布式节点间的数据分配装置的较佳实施例的功能模块图。图3是本专利技术实现分布式节点间的数据分配方法的较佳实施例的服务器的结构示意图。具体实施方式为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和具体实施例对本专利技术进行详细描述。需要说明的是，在不冲突的情况下，本专利技术的实施例及实施例中的特征可以相互组合。下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域本文档来自技高网...

【技术保护点】
1.一种分布式节点间的数据分配方法，其特征在于，所述方法包括：/n获取多个分布式节点的存储空间使用率；/n使用正态分布拟合算法，对所述多个分布式节点的存储空间使用率进行拟合，获得所述存储空间使用率的正态分布，并确定正态分布的标准差以及正态分布的均值；/n判断所述正态分布的标准差是否大于预设标准差阈值；/n若所述正态分布的标准差大于预设标准差阈值，根据所述正态分布的曲线，确定待调整节点；/n根据所述正态分布的均值，对所述待调整节点的数据进行重新分配。/n

【技术特征摘要】
1.一种分布式节点间的数据分配方法，其特征在于，所述方法包括：
获取多个分布式节点的存储空间使用率；
使用正态分布拟合算法，对所述多个分布式节点的存储空间使用率进行拟合，获得所述存储空间使用率的正态分布，并确定正态分布的标准差以及正态分布的均值；
判断所述正态分布的标准差是否大于预设标准差阈值；
若所述正态分布的标准差大于预设标准差阈值，根据所述正态分布的曲线，确定待调整节点；
根据所述正态分布的均值，对所述待调整节点的数据进行重新分配。


2.根据权利要求1所述的方法，其特征在于，所述根据所述正态分布的曲线，确定待调整节点包括：
根据预设百分比，从所述正态分布的曲线中，确定位于所述曲线的两端的第一存储空间使用率范围以及第二存储空间使用率范围；
将存储空间使用率属于所述第一存储空间使用率范围的数据节点确定为转入节点；
将存储空间使用率属于所述第二存储空间使用率范围的数据节点确定为转出节点；
将所述转入节点以及所述转出节点确定为待调整节点。


3.根据权利要求2所述的方法，其特征在于，所述根据所述正态分布的均值，对所述待调整节点的数据进行重新分配包括：
针对每个所述转出节点，根据所述正态分布的均值、所述转出节点的存储空间使用率以及所述转出节点的存储空间大小，确定所述转出节点的可转出数据量；
针对每个所述转入节点，根据所述正态分布的均值、所述转入节点的存储空间使用率以及所述转入节点的存储空间大小，确定所述转入节点的可转入数据量；
根据所述可转出数据量和所述可转入数据量，对所述转出节点的数据进行调整，以及根据所述可转出数据量和所述可转入数据量，对所述转入节点的数据进行调整。


4.根据权利要求3所述的方法，其特征在于，所述根据所述可转出数据量和所述可转入数据量，对所述转出节点的数据进行调整，以及根据所述可转出数据量和所述可转入数据量，对所述转入节点的数据进行调整包括：
按照多个所述转出节点的第一预设排列顺序以及多个所述转入节点的第二预设排列顺序，依次将所述转出节点的数据转入至所述转入节点；
统计所述转出节点的实时转出数据量，以及统计所述转入节点的实时转入数据量；
判断所述实时转出数据量是否等于所述转出节点的可转出数据量，以及判断所述实时转入数据量是否等于所述转入节点的可转入数据量；
若所述实时转出数据量等于所述转出节点的可转出数据量，停止将所述转出节点的数据转出；及/或
若所述实时转入数据量等于所述转入节点的可转入数据量，停止向所述转入节点转入数据。

...

【专利技术属性】
技术研发人员：陈应杨，
申请(专利权)人：深圳市网心科技有限公司，
类型：发明
国别省市：广东;44