分条管理方法、存储系统、分条管理装置及存储介质制造方法及图纸

本申请实施例公开了一种分条管理方法、存储系统、分条管理装置及存储介质，属于数据存储技术领域。在本申请实施例中，获取多个第一分条中的校验单元；其中，所述第一分条遵从第一纠删码配比；根据所述多个第一分条的校验单元生成新的校验单元；其中，所述新的校验单元与所述多个第一分条中的数据单元属于新的分条；所述新的分条遵从第二纠删码配比；其中，第一纠删码配比对应的数据单元的个数小于第二纠删码对应的数据单元的个数。纠删码对应的数据单元的个数。纠删码对应的数据单元的个数。

【技术实现步骤摘要】
分条管理方法、存储系统、分条管理装置及存储介质
[0001]本申请要求于2020年7月10日提交的申请号为202010661972.0、专利技术名称为“数据存储方法以及存储设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。


[0002]本申请实施例涉及数据存储
，特别涉及一种分条管理方法、存储系统、分条管理装置及存储介质。

技术介绍

[0003]在存储系统中，提升有效存储容量是降低存储成本的有力武器，而纠删码(erasure code，EC)技术就能够提升存储系统的有效存储容量。当前，EC技术被广泛的应用于存储系统中。EC技术主要是通过纠删码算法将数据单元进行编码得到校验单元，并将数据单元和校验单元一并存储起来，以达到容错的目的。存储系统中为了降低成本，采用EC技术时编码时数据单元的个数越大，存储空间利用率越高，但是数量单元的个数较大时凑满EC条带比较困难，从而影响数据存储可靠性。

技术实现思路

[0004]本申请实施例提供了一种分条管理方法、存储系统、分条管理装置及存储介质，能够提高存储系统的存储空间利用率的同时提高数据存储可靠性。所述技术方案如下：
[0005]第一方面，提供了一种分条管理方法，应用于存储系统中，所述方法包括：
[0006]获取多个第一分条中的校验单元；其中，所述第一分条遵从第一纠删码配比；
[0007]根据所述多个第一分条的校验单元生成新的校验单元；其中，所述新的校验单元与所述多个第一分条中的数据单元属于新的分条；所述新的分条遵从第二纠删码配比；其中，第一纠删码配比对应的数据单元的个数小于第二纠删码对应的数据单元的个数。也就是说，先采用较小的纠删码配比来存储数据，然后再转换成较大纠删码配比较大的纠删码配比来存储数据。通过较小的纠删码配比来存储数据，容易凑满分条，降低了写放大，提高了存储空间利用率。另外，采用较大的纠删码配比来存储数据，能够减少冗余数据在存储空间中的占比，从而提高存储空间利用率。因此，能够提高存储系统的存储空间利用率的同时提高数据存储可靠性。同时，新的分条中的校验单元由多个第一分条的校验单元生成，多个第一分条中的数据单元不参与运算，从而节约了计算资源。
[0008]一种情况下，所述新的分条中的校验单元的个数与所述第一分条中的校验单元的个数相同。
[0009]在一种实现方式中，所述多个第一分条包含至少一个在所述存储系统中未持久化存储的第一分条和至少一个已经在所述存储系统持久化存储的第一分条；所述获取多个第一分条中的校验单元，具体包括：
[0010]读取所述至少一个已经在所述存储系统持久化存储的第一分条中的校验单元；
[0011]读取所述至少一个在所述存储系统中未持久化存储的第一分条中的校验单元。
[0012]进一步地，所述方法还包括：
[0013]持久化存储所述至少一个在所述存储系统中未持久化存储的第一分条中的数据单元和所述新的校验单元。
[0014]在一种实现方式中，所述多个第一分条为所述存储系统中未持久化存储的第一分条；所述方法还包括：
[0015]持久化存储所述多个第一分条中的数据单元以及所述新的校验单元。
[0016]第二方面，提供了一种存储系统，所述存储系统包含一个或多个处理器，所述一个或多个处理器用于实现上述第一方面的数据存储方法。
[0017]第二方面所提供的存储系统既可以是一种分布式的存储系统，也可以是一种集中式的存储系统。
[0018]第三方面提供一种分条管理装置，所述存储设备应用于存储系统中，所述分条管理装置包含多个单元，所述多个单元用于实现上述第一方面的数据存储方法。
[0019]第四方面，提供了一种计算机可读存储介质，
[0020]所述计算机可读存储介质包含计算机程序指令，存储系统中的一个或多个中央处理器执行所述计算机程序指令使得所述存储系统执行上述第一方面所述的数据存储方法。
[0021]第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的数据存储方法。
[0022]上述第二方面、第三方面、第四方面、第五方面和第六方面所获得的技术效果与第一方面中对应的技术手段获得的技术效果近似，在这里不再赘述。
附图说明
[0023]图1是本申请实施例提供的一种存储系统架构图；
[0024]图2是本申请实施例提供的另一种存储系统架构图；
[0025]图3是本申请实施例提供的一种存储设备的系统架构图；
[0026]图4是本申请实施例提供的一种分条管理方法的流程图；
[0027]图5是本申请实施例提供的一个第一校验矩阵中的各个单元在第一介质层中的分布示意图；
[0028]图6是本申请实施例提供的w个第一校验矩阵中的单元在第一介质层中的分布示意图；
[0029]图7是本申请实施例提供第二校验矩阵中的单元在第二介质层中的分布示意图；
[0030]图8是本申请实施例提供的一种根据w个第一校验矩阵合并得到第二校验矩阵的原理示意图；
[0031]图9是本申请实施例提供的一种获得第二校验矩阵的校验单元的示意图；
[0032]图10是本申请实施例提供的一种在第二介质层中按照第二纠删码配比写入数据的示意图；
[0033]图11是本申请实施例提供的一种分条管理装置的结构示意图。
具体实施方式
[0034]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请
实施方式作进一步地详细描述。
[0035]在对本申请实施例进行详细的解释说明之前，先对本申请实施例涉及的系统架构进行介绍。
[0036]图1是本申请实施例提供的一种存储系统的结构示意图。如图1所示，该存储系统包括计算机节点集群和存储节点集群。其中，计算节点集群包括一个或多个计算节点10(图1中示出了两个计算节点10，但不限于两个计算节点10)。计算节点10是用户侧的一种计算设备，如服务器、台式计算机等。在硬件层面，计算节点10中设置有中央处理器和内存(图1中未示出)。在软件层面，计算节点10上运行有应用程序(application)101(简称应用)和客户端程序102(简称客户端)。应用101是对用户呈现的各种应用程序的统称。客户端102用于接收由应用101触发的数据访问请求，并且与存储节点20交互，向存储节点20发送数据访问请求。客户端102还用于接收来自存储节点的数据，并向应用101转发该数据。应理解的是，当客户端102是软件程序时，客户端102的功能由计算节点10所包含的中央处理器运行内存中的程序来实现。客户端102也可以由位于计算节点10内部的硬件组件来实现。计算节点集群中的任意一个客户端102可以访问存储节点集群中的任意一个存储节点20。
[0037]存储节点集群包括一个或多个存储节点20(图1中示出了三个存储节点20，但不限于三个存储节点20)，各个存储节点20之间可以互联。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分条管理方法，其特征在于，应用于存储系统，所述方法包括：获取多个第一分条中的校验单元；其中，所述第一分条遵从第一纠删码配比；根据所述多个第一分条的校验单元生成新的校验单元；其中，所述新的校验单元与所述多个第一分条中的数据单元属于新的分条；所述新的分条遵从第二纠删码配比；其中，第一纠删码配比对应的数据单元的个数小于第二纠删码对应的数据单元的个数。2.根据权利要求1所述的方法，其特征在于，所述新的分条中的校验单元的个数与所述第一分条中的校验单元的个数相同。3.根据权利要求1或2所述的方法，其特征在于，所述多个第一分条包含至少一个在所述存储系统中未持久化存储的第一分条和至少一个已经在所述存储系统持久化存储的第一分条；所述获取多个第一分条中的校验单元，具体包括：读取所述至少一个已经在所述存储系统持久化存储的第一分条中的校验单元；读取所述至少一个在所述存储系统中未持久化存储的第一分条中的校验单元。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：持久化存储所述至少一个在所述存储系统中未持久化存储的第一分条中的数据单元和所述新的校验单元。5.根据权利要求1或2所述的方法，所述多个第一分条为所述存储系统中未持久化存储的第一分条；所述方法还包括：持久化存储所述多个第一分条中的数据单元以及所述新的校验单元。6.一种存储系统，其特征在于，所述存储系统包含一个或多个处理器，所述一个或多个处理器用于：获取多个第一分条中的校验单元，其中，所述第一分条遵从第一纠删码配比；根据所述多个第一分条的校验单元生成新的校验单元；其中，所述新的校验单元与所述多个第一分条中的数据单元属于新的分条；所述新的分条遵从第二纠删码配比；其中，第一纠删码配比对应的数据单元的个数小于第二纠删码对应的数据单元的个数。7.根据权利要求6所述的存储系统，其特征在于，所述新的分条中的校验单元的个数与所述第一分条中的校验单元的个数相同。8.根据权利要求6或7所述的存储系统，其特征在于，所述多个第一分条包含至少一个在所述存储系统中未持久化存储的第一分条和至少一个已经在所述存储系统持久化存储的第一分条；所述一个或多个处理器具体用于：读取所述至少一个已经在所述存储系统持久化存储的第一分条中的校验单元；读取所述至少一个在所述存储系统中未持久化存储的第一分条中的校验单元。9.根据权利要求8所述的存储系统，其特征在于，所述一个或多个处理器还用于：持久化存储所述至少一个在所述存储系统中未持久化存储的第一分条中的数据单元和所述新的校验单元。10.根据权利要求6或7所述的存储系统，其特征在于，所述多个第一分条为所述存储系统中未持久化存储的第一分条；所述一个或多个处理器还用于：持久化存储所述多个第一分条中的数据单元以及所述新的校验单元。11.一种分条管理装置，其特征在于，所述分条管理装置应用于存储系统中，所述数据存储装置包含获取单元和生成单元；其中，
所述获取单元，用于获取多个第一分条中的校验单元，其中，所述第一分条遵从第一纠删码配比；所述生成单...

【专利技术属性】
技术研发人员：吴祥，罗小东，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：