一种数据存储方法、装置及设备制造方法及图纸

本申请公开了一种数据存储方法，在磁盘资源域策略中将节点的磁盘资源划分为两个以上的磁盘资源域，并设置对象与磁盘资源域之间的对应关系。因此，在进行磁盘映射时，先确定对象对应的目标磁盘资源域，再利用哈希算法确定对象具体映射到目标磁盘资源域中的哪个磁盘，最终得到对象与磁盘之间的映射关系。可见，该方法通过设置磁盘资源域策略，避免了对象随机映射到节点内部任意磁盘上的问题，实现了对对象进行目的性地映射，使其只能映射到对应的磁盘资源域。提升了资源分配的灵活性，有利于充分发挥分布式存储系统的存储性能。此外，本申请还提供了一种数据存储装置、设备及可读存储介质，其技术效果与上述方法的技术效果相对应。

【技术实现步骤摘要】
一种数据存储方法、装置及设备
本申请涉及计算机
，特别涉及一种数据存储方法、装置、设备及可读存储介质。
技术介绍
sheepdog是开源社区新兴的分布式存储系统，其采用完全对称的结构，没有类似元数据服务的中心节点，依靠大量普通PC服务器通过网络互联，对外作为一个整体提供存储服务。不同于其他的分布式存储设计，sheepdog没有元数据信息，即不记录对象所存储的节点位置信息，在数据存储过程中sheepdog通过哈希算法计算对象到存储位置的映射关系。在计算对象与磁盘的映射关系时，这种通过哈希算法计算对象的存储位置的弊端在于：根据哈希算法，对象会随机分布在节点内部的任意一个磁盘上，因此无法按照一定的规则去组织对象有目的性地进行映射。例如，假设每个节点有4个磁盘，那么对象根据哈希算法会随机分布在4个磁盘中的任意一个磁盘，无法限定该对象的存储范围仅仅为节点的磁盘1和磁盘2。可见，当前分布式存储系统通过哈希算法确定对象对磁盘的映射关系，对象随机分布在节点的任意磁盘上，该资源分配方式过于死板，影响了分布式存储系统的存储性能。
技术实现思路
本申请的目的是提供一种数据存储方法、装置、设备及可读存储介质，用以解决当前分布式存储系统通过哈希算法确定对象对磁盘的映射关系，资源分配方式过于死板，影响分布式存储系统的存储性能的问题。其具体方案如下：第一方面，本申请提供了一种数据存储方法，包括：确定待存储的数据对象；确定所述数据对象映射到的目标节点，并获取所述目标节点的磁盘资源域策略，其中所述目标节点的磁盘资源被划分为两个以上的磁盘资源域，所述磁盘资源域策略包括数据对象与磁盘资源域的对应关系，还包括磁盘与磁盘资源域的对应关系；在所述数据对象对应的目标磁盘资源域上，利用一致性哈希算法，确定所述数据对象与磁盘的映射关系；根据所述数据对象与磁盘的映射关系，对所述数据对象进行存储。优选的，所述在所述数据对象对应的目标磁盘资源域上，利用一致性哈希算法，确定所述数据对象与磁盘的映射关系，包括：根据所述数据对象对应的目标磁盘资源域，构建哈希环；利用一致性哈希算法，计算所述数据对象的名称的哈希值；根据所述哈希值的大小，确定所述数据对象在所述哈希环的位置；根据所述数据对象在所述哈希环的位置，确定所述数据对象与磁盘的映射关系。优选的，在所述获取所述目标节点的磁盘资源域策略之前，还包括：设置目标节点的磁盘资源域策略，将高性能磁盘和低性能磁盘划分为不同的磁盘资源域。优选的，所述根据所述数据对象与磁盘的映射关系，对所述数据对象进行存储，包括：根据所述数据对象与磁盘的映射关系，确定所述数据对象的存储位置信息，根据所述存储位置信息对所述数据对象进行存储，其中所述存储位置信息包括磁盘资源域编号、磁盘编号、虚拟节点编号。优选的，所述确定所述数据对象映射到的目标节点，包括：获取当前集群的节点资源域策略，其中所述当前集群的节点资源被划分为两个以上的节点资源域，所述节点资源域策略包括数据对象与节点资源域的对应关系，还包括节点与节点资源域的对应关系；在所述数据对象对应的目标节点资源域上，利用一致性哈希算法，确定所述数据对象与节点的映射关系，得到所述数据对象映射到的目标节点。优选的，在所述获取当前集群的节点资源域策略之前，还包括：设置当前集群的节点资源域策略，将位于不同故障域的节点划分至同一个节点资源域。第二方面，本申请提供了一种数据存储装置，包括：对象确定模块：用于确定待存储的数据对象；策略获取模块：用于确定所述数据对象映射到的目标节点，并获取所述目标节点的磁盘资源域策略，其中所述目标节点的磁盘资源被划分为两个以上的磁盘资源域，所述磁盘资源域策略包括数据对象与磁盘资源域的对应关系，还包括磁盘与磁盘资源域的对应关系；映射关系确定模块：用于在所述数据对象对应的目标磁盘资源域上，利用一致性哈希算法，确定所述数据对象与磁盘的映射关系；存储模块：用于根据所述数据对象与磁盘的映射关系，对所述数据对象进行存储。第三方面，本申请提供了一种数据存储设备，包括：存储器：用于存储计算机程序；处理器：用于执行所述计算机程序，以实现如上所述的数据存储方法的步骤。第四方面，本申请提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上所述的数据存储方法的步骤。本申请所提供的一种数据存储方法，包括：确定待存储的数据对象；确定数据对象映射到的目标节点，并获取目标节点的磁盘资源域策略，其中目标节点的磁盘资源被划分为两个以上的磁盘资源域，磁盘资源域策略包括数据对象与磁盘资源域的对应关系，还包括磁盘与磁盘资源域的对应关系；在数据对象对应的目标磁盘资源域上，利用一致性哈希算法，确定数据对象与磁盘的映射关系；根据数据对象与磁盘的映射关系，对数据对象进行存储。可见，该方法在磁盘资源域策略中将节点的磁盘资源划分为两个以上的磁盘资源域，并在磁盘资源域策略中设置了数据对象与磁盘资源域之间的对应关系。因此，在进行数据对象与磁盘之间的映射时，先确定数据对象对应的目标磁盘资源域，再利用哈希算法确定数据对象具体映射到目标磁盘资源域中的哪个磁盘，最终得到对象与磁盘之间的映射关系。因此，该方法通过设置磁盘资源域策略，避免了数据对象随机映射到节点内部任意磁盘上的问题，实现了对数据对象进行目的性地映射，使其只能映射到对应的磁盘资源域中的磁盘。提升了资源分配的灵活性，有利于充分发挥分布式存储系统的存储性能。此外，本申请还提供了一种数据存储装置、设备及可读存储介质，其技术效果与上述方法的技术效果相对应，这里不再赘述。附图说明为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请提供的基于一致性哈希算法的传统哈希环的对象分布情况示意图；图2为本申请提供的一种数据存储方法实施例一实现流程图；图3为本申请提供的磁盘资源的划分情况示意图；图4为本申请提供的应用磁盘资源域策略的哈希环示意图；图5为本申请提供的应用磁盘资源域策略的哈希环的对象分布情况示意图；图6为本申请提供的一种数据存储方法实施例一中S103的细化流程图；图7为本申请提供的一种数据存储方法实施例二实现流程图；图8为本申请提供的一种数据存储装置实施例的功能框图。具体实施方式为了使本
的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做本文档来自技高网...

【技术保护点】
1.一种数据存储方法，其特征在于，包括：/n确定待存储的数据对象；/n确定所述数据对象映射到的目标节点，并获取所述目标节点的磁盘资源域策略，其中所述目标节点的磁盘资源被划分为两个以上的磁盘资源域，所述磁盘资源域策略包括数据对象与磁盘资源域的对应关系，还包括磁盘与磁盘资源域的对应关系；/n在所述数据对象对应的目标磁盘资源域上，利用一致性哈希算法，确定所述数据对象与磁盘的映射关系；/n根据所述数据对象与磁盘的映射关系，对所述数据对象进行存储。/n

【技术特征摘要】
1.一种数据存储方法，其特征在于，包括：
确定待存储的数据对象；
确定所述数据对象映射到的目标节点，并获取所述目标节点的磁盘资源域策略，其中所述目标节点的磁盘资源被划分为两个以上的磁盘资源域，所述磁盘资源域策略包括数据对象与磁盘资源域的对应关系，还包括磁盘与磁盘资源域的对应关系；
在所述数据对象对应的目标磁盘资源域上，利用一致性哈希算法，确定所述数据对象与磁盘的映射关系；
根据所述数据对象与磁盘的映射关系，对所述数据对象进行存储。


2.如权利要求1所述的方法，其特征在于，所述在所述数据对象对应的目标磁盘资源域上，利用一致性哈希算法，确定所述数据对象与磁盘的映射关系，包括：
根据所述数据对象对应的目标磁盘资源域，构建哈希环；
利用一致性哈希算法，计算所述数据对象的名称的哈希值；
根据所述哈希值的大小，确定所述数据对象在所述哈希环的位置；
根据所述数据对象在所述哈希环的位置，确定所述数据对象与磁盘的映射关系。


3.如权利要求2所述的方法，其特征在于，在所述获取所述目标节点的磁盘资源域策略之前，还包括：
设置目标节点的磁盘资源域策略，将高性能磁盘和低性能磁盘划分为不同的磁盘资源域。


4.如权利要求3所述的方法，其特征在于，所述根据所述数据对象与磁盘的映射关系，对所述数据对象进行存储，包括：
根据所述数据对象与磁盘的映射关系，确定所述数据对象的存储位置信息，根据所述存储位置信息对所述数据对象进行存储，其中所述存储位置信息包括磁盘资源域编号、磁盘编号、虚拟节点编号。


5.如权利要求1-4任意一项所述的方法，其特征在于，所述...

【专利技术属性】
技术研发人员：樊云龙，颜秉珩，
申请(专利权)人：广东浪潮大数据研究有限公司，
类型：发明
国别省市：广东;44