数据储存方法、装置、计算机设备、存储介质制造方法及图纸

本申请涉及一种数据储存方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取文件被切分成的多个对象；确定每个所述对象所在的放置策略组；针对每个放置策略组，确定所述放置策略组映射的关联进程；统计各个所述关联进程上的对象数量，根据各个所述关联进程上的对象数量确定各个所述关联进程的负载值；获取各个所述关联进程的权重值，根据各个所述关联进程的权重值和负载值确定所述放置策略组映射的目标进程。采用本方法能够使数据的储存均衡。使数据的储存均衡。使数据的储存均衡。

【技术实现步骤摘要】
数据储存方法、装置、计算机设备、存储介质


[0001]本申请涉及分布式存储
，特别是涉及一种数据储存方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]随着云计算的不断发展，全球的数据量出现爆炸式增长，在分布式系统的储存方面，寻址算法以节点剩余容量为约束条件，造成数据分布不均匀的影响。

技术实现思路

[0003]基于此，有必要针对上述技术问题，提供一种能够让数据储存均匀化的数据储存方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0004]第一方面，本申请提供了一种数据储存方法。所述方法包括：
[0005]获取文件被切分成的多个对象；
[0006]确定每个所述对象所在的放置策略组；
[0007]针对每个放置策略组，确定所述放置策略组映射的关联进程；
[0008]统计各个所述关联进程上的对象数量，根据各个所述关联进程上的对象数量确定各个所述关联进程的负载值；
[0009]获取各个所述关联进程的权重值，根据各个所述关联进程的权重值和负载值确定所述放置策略组映射的目标进程。
[0010]在其中一个实施例中，所述确定每个所述对象所在的放置策略组，包括：
[0011]获取每个所述对象的对象标识；
[0012]根据所述每个对象的对象标识的哈希值，确定每个对象所在的放置策略组。
[0013]在其中一个实施例中，所述针对每个放置策略组，确定所述放置策略组映射的关联进程，包括：
[0014]针对每个放置策略组，将所述放置策略组的组标识代入寻址算法，得到所述放置策略组映射的关联进程。
[0015]在其中一个实施例中，所述根据各个所述关联进程上的对象数量确定各个所述关联进程的负载值，包括：
[0016]将所述各个关联进程上的对象数量进行归一化处理；
[0017]针对每个关联进程，将所述关联进程的归一化处理结果的倒数确定为所述关联进程的负载值。
[0018]在其中一个实施例中，所述获取各个所述关联进程的权重值，包括：
[0019]获取各个所述关联进程对应的剩余容量；
[0020]针对每个关联进程，根据所述关联进程的剩余容量确定所述关联进程的权重值，所述权重值与所述剩余容量正相关。
[0021]在其中一个实施例中，所述根据各个所述关联进程的权重值和负载值确定所述放
置策略组映射的目标进程，包括：
[0022]以各个所述关联进程的权重值和负载值作为约束条件，代入寻址算法，确定所述放置策略组映射的目标进程。
[0023]第二方面，本申请还提供了一种数据储存装置。所述装置包括：
[0024]对象获取模块，用于获取文件被切分成的多个对象；
[0025]对象放置模块，用于确定每个所述对象所在的放置策略组；
[0026]进程确定模块，用于针对每个放置策略组，确定所述放置策略组映射的关联进程；
[0027]统计模块，用于统计各个所述关联进程上的对象数量，根据各个所述关联进程上的对象数量确定各个所述关联进程的负载值；
[0028]计算模块，用于获取各个所述关联进程的权重值，根据各个所述关联进程的权重值和负载值确定所述放置策略组映射的目标进程。
[0029]第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0030]获取文件被切分成的多个对象；
[0031]确定每个所述对象所在的放置策略组；
[0032]针对每个放置策略组，确定所述放置策略组映射的关联进程；
[0033]统计各个所述关联进程上的对象数量，根据各个所述关联进程上的对象数量确定各个所述关联进程的负载值；
[0034]获取各个所述关联进程的权重值，根据各个所述关联进程的权重值和负载值确定所述放置策略组映射的目标进程。
[0035]第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0036]获取文件被切分成的多个对象；
[0037]确定每个所述对象所在的放置策略组；
[0038]针对每个放置策略组，确定所述放置策略组映射的关联进程；
[0039]统计各个所述关联进程上的对象数量，根据各个所述关联进程上的对象数量确定各个所述关联进程的负载值；
[0040]获取各个所述关联进程的权重值，根据各个所述关联进程的权重值和负载值确定所述放置策略组映射的目标进程。
[0041]第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
[0042]获取文件被切分成的多个对象；
[0043]确定每个所述对象所在的放置策略组；
[0044]针对每个放置策略组，确定所述放置策略组映射的关联进程；
[0045]统计各个所述关联进程上的对象数量，根据各个所述关联进程上的对象数量确定各个所述关联进程的负载值；
[0046]获取各个所述关联进程的权重值，根据各个所述关联进程的权重值和负载值确定所述放置策略组映射的目标进程。
[0047]上述数据储存方法、装置、计算机设备、存储介质和计算机程序产品，通过获取文
件被切分成的多个对象；确定每个所述对象所在的放置策略组；针对每个放置策略组，确定所述放置策略组映射的关联进程；统计各个所述关联进程上的对象数量，根据各个所述关联进程上的对象数量确定各个所述关联进程的负载值；获取各个所述关联进程的权重值，根据各个所述关联进程的权重值和负载值确定所述放置策略组映射的目标进程。通过能将文件切分成多个对象，再确定每个对象所在的放置策略组中，根据放置策略组确定放置策略组对应的进程，再统计进程上的对象数量，计算每个进程上的负载值，再利用每个进程负载值和权重值计算，从而确定放置策略组的最终对应的进程，能够使数据得储存更加均衡。
附图说明
[0048]图1为一个实施例中数据储存方法的应用环境图；
[0049]图2为一个实施例中数据储存方法的流程示意图；
[0050]图3为另一个实施例中数据储存方法的流程示意图；
[0051]图4为一个实施例中数据储存装置的结构框图；
[0052]图5为一个实施例中计算机设备的内部结构图。
具体实施方式
[0053]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0054]本申请实施例提供的数据储存方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据储存方法，其特征在于，所述方法包括：获取文件被切分成的多个对象；确定每个所述对象所在的放置策略组；针对每个放置策略组，确定所述放置策略组映射的关联进程；统计各个所述关联进程上的对象数量，根据各个所述关联进程上的对象数量确定各个所述关联进程的负载值；获取各个所述关联进程的权重值，根据各个所述关联进程的权重值和负载值确定所述放置策略组映射的目标进程。2.根据权利要求1所述的方法，其特征在于，所述确定每个所述对象所在的放置策略组，包括：获取每个所述对象的对象标识；根据所述每个对象的对象标识的哈希值，确定每个对象所在的放置策略组。3.根据权利要求1所述的方法，其特征在于，所述针对每个放置策略组，确定所述放置策略组映射的关联进程，包括：针对每个放置策略组，将所述放置策略组的组标识代入寻址算法，得到所述放置策略组映射的关联进程。4.根据权利要求1所述的方法，其特征在于，所述根据各个所述关联进程上的对象数量确定各个所述关联进程的负载值，包括：将所述各个关联进程上的对象数量进行归一化处理；针对每个关联进程，将所述关联进程的归一化处理结果的倒数确定为所述关联进程的负载值。5.根据权利要求1所述的方法，其特征在于，所述获取各个所述关联进程的权重值，包括：获取各个所述关联进程对应的剩余容量；针对每个关联进程，根据所述关联进程的剩余容量确定所述...

【专利技术属性】
技术研发人员：陈志辉，王亚波，
申请(专利权)人：深圳市名竹科技有限公司，
类型：发明
国别省市：