数据存储方法、装置、设备及存储介质制造方法及图纸

本申请提供了一种数据存储方法、装置、设备及存储介质。其中方法包括：从副本存储池中的候选数据中，筛选满足预设数据合并条件的目标数据，副本存储池位于存储系统中；对目标数据进行合并处理，得到合并数据；将合并数据写入至存储系统的目标存储池中。本申请通过对存储于副本存储池中的数据进行选择性的合并处理，以提高存储系统的存储空间利用率，使得存储空间内存储的数据密度更高，从而节省数据存储成本。储成本。储成本。

【技术实现步骤摘要】
数据存储方法、装置、设备及存储介质


[0001]本申请实施例涉及数据处理
，尤其涉及一种数据存储方法、装置、设备及存储介质。

技术介绍

[0002]随着信息技术的不断发展，信息数据量呈现爆炸式增长。因此，对于后端存储空间的要求越来越高，造成存储系统的存储成本较高。所以，如何提高存储空间利用率，节省数据存储成本成为目前亟需解决的问题。

技术实现思路

[0003]本申请提供一种数据存储方法、装置、设备及存储介质，通过对存储于副本存储池中的数据进行选择性的合并处理，以提高存储系统的存储空间利用率，使得存储空间内存储的数据密度更高，从而节省数据存储成本。
[0004]第一方面，本申请提供了一种数据存储方法，包括：
[0005]从副本存储池中的候选数据中，筛选满足预设数据合并条件的目标数据，所述副本存储池位于存储系统中；
[0006]对所述目标数据进行合并处理，得到合并数据；
[0007]将所述合并数据写入至所述存储系统的目标存储池中。
[0008]第二方面，本申请实施例提供了一种数据存储装置，包括：
[0009]数据筛选模块，用于从副本存储池中的候选数据中，筛选满足预设数据合并条件的目标数据，所述副本存储池位于存储系统中；
[0010]数据合并模块，用于对所述目标数据进行合并处理，得到合并数据；
[0011]数据写入模块，用于将所述合并数据写入至所述存储系统的目标存储池中。
[0012]第三方面，本申请实施例提供了一种电子设备，包括：
[0013]处理器和存储器，存储器用于存储计算机程序，处理器用于调用并运行存储器中存储的计算机程序，以执行如第一方面实施例所述的数据存储方法。
[0014]第四方面，本申请实施例提供了一种计算机可读存储介质，用于存储计算机程序，计算机程序使得计算机执行如第一方面实施例所述的数据存储方法。
[0015]第五方面，本申请实施例提供了一种包含程序指令的计算机程序产品，当程序指令在电子设备上运行时，使得电子设备执行如第一方面实施例所述的数据存储方法。
[0016]本申请实施例公开的技术方案，至少具有如下有益效果：
[0017]通过将数据写入副本存储池中，并对副本存储池中存储的数据进行筛选以获取可以执行合并操作的目标数据，进而对目标数据进行合并处理得到合并数据，然后将合并数据写入到存储系统的目标存储池中。本申请通过将数据暂时写入存储系统的副本存储池中，以从副本存储池中筛选目标数据，进而对目标数据进行合并处理后写入目标存储池中，从而实现通过对存储于副本存储池中的数据进行选择性的合并处理，以提高存储系统的存
储空间利用率，使得存储空间内存储的数据密度更高，从而节省数据存储成本。
附图说明
[0018]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1是本申请实施例提供的一种数据存储方法的流程示意图；
[0020]图2是本申请实施例提供的一种目标数据对象基于纠删码条带stripe实现合并操作的示意图；
[0021]图3a是传统数据对象写入方式的示意图；
[0022]图3b是本申请实施例提供的一种将数据对象进行合并处理后实现数据写入的示意图；
[0023]图4是本申请实施例提供的另一种数据存储方法的流程示意图；
[0024]图5a是本申请实施例提供的一种确定多级队列的示意图；
[0025]图5b是本申请实施例提供的另一种确定多级队列的示意图；
[0026]图5c是本申请实施例提供的一种基于多级队列存放目标数据对象的示意图；
[0027]图6是本申请实施例提供的再一种数据存储方法的流程示意图；
[0028]图7a是本申请实施例提供的一种基于多级队列合并目标数据对象的示意图；
[0029]图7b是本申请实施例提供的另一种基于多级队列合并目标数据对象的示意图；
[0030]图7c是本申请实施例提供的再一种基于多级队列合并目标数据对象的示意图；
[0031]图8是本申请实施例提供的又一种数据存储方法的流程示意图；
[0032]图9是本申请实施例提供的一种纠删码条带stripe的头部区域和数据区域的划分示意图；
[0033]图10是本申请实施例提出的一种数据存储装置的示意性框图；
[0034]图11是本申请实施例提供的一种电子设备的示意性框图；
[0035]图12是本申请实施例提供的一种计算机可读存储介质示意性框图。
具体实施方式
[0036]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0037]需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产
品或设备固有的其它步骤或单元。
[0038]本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明，本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或方案不应被解释为比其它实施例或方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
[0039]考虑到随着信息技术的不断发展，信息数据量呈现爆炸式增长，导致对于后端存储空间的要求越来越高，造成存储系统的存储成本较高的问题。本申请提供了一种数据存储方案，以通过该方案提高存储系统的存储空间利用率，使得存储空间内存储的数据密度更高，从而节省数据的存储成本。
[0040]下面结合附图对本申请实施例提供的一种数据存储方法、装置、设备以及存储介质进行具体说明。
[0041]图1是本申请实施例提供的一种数据存储方法的流程示意图。本申请实施例可适用于数据存储场景，该数据存储方法可由数据存储装置来执行。其中，该数据存储装置可由硬件和/或软件组成，并可集成于电子设备中。本申请中，电子设备可选为存储系统对应的服务器等具有数据处理功能的硬件设备。
[0042]如图1所示，该方法可以包括以下步骤：
[0043]S101，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法，其特征在于，包括：从副本存储池中的候选数据中，筛选满足预设数据合并条件的目标数据，所述副本存储池位于存储系统中；对所述目标数据进行合并处理，得到合并数据；将所述合并数据写入至所述存储系统的目标存储池中。2.根据权利要求1所述的方法，其特征在于，所述存储系统为分布式存储系统CEPH，所述分布式存储系统采用纠删码存储方式对数据进行存储；其中，在所述纠删码存储方式下，相应的数据存储在纠删码条带stripe的数据片shard中，所述纠删码条带stripe位于所述分布式存储系统CEPH的对象存储设备OSD上。3.根据权利要求2所述的方法，其特征在于，所述目标数据为目标数据对象；相应的，所述筛选满足预设数据合并条件的目标数据之后，还包括：将所述目标数据对象以队列形式存放在所述分布式存储系统CEPH的内存中；其中，所述队列至少包括两级，所述队列的总数据量区间是基于所述存储系统中的预设最大数据量和预设最小数据量确定的，且所述队列中的每级队列通过对所述总数据量区间进行拆分得到。4.根据权利要求3所述的方法，其特征在于，所述将所述目标数据对象以队列形式存放在所述分布式存储系统CEPH的内存中，包括：根据所述目标数据对象的数据量，从所述队列中筛选第一目标队列，所述目标数据对象的数据量不超过所述第一目标队列对应的数据量区间；在所述第一目标队列中存放所述目标数据对象，并将存放有目标数据对象的所述队列存放在所述分布式存储系统CEPH的内存中。5.根据权利要求3所述的方法，其特征在于，所述对所述目标数据进行合并处理，得到合并数据，包括：基于纠删码条带stripe，对所述目标数据进行合并处理，得到合并数据。6.根据权利要求5所述的方法，其特征在于，所述基于纠删码条带stripe，对所述目标数据进行合并处理，得到合并数据，包括：如果所述队列中存储的目标数据对象的数量达到预设数量，或者...

【专利技术属性】
技术研发人员：袁伟，俞乐勤，张晓龙，王盼，李睿，
申请(专利权)人：杭州朗和科技有限公司，
类型：发明
国别省市：