数据重建方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种数据重建方法、装置、设备及存储介质，属于数据存储技术领域。所述方法包括：若检测到存储系统中的第一存储节点发生故障，则确定第一存储节点存储的第一目标数据分片所属的目标数据的数据标识；根据数据标识，从存储系统的其他存储节点中获取目标数据的其他目标数据分片和M个校验数据分片，根据其他目标数据分片和M个校验数据分片，还原第一目标数据分片；将第一目标数据分片的数据内容写入存储系统中的第二存储节点存储的第一冗余数据分片中，第一冗余数据分片为R个冗余数据分片中的任一个。如此待重建数据对应的冗余数据分片所在的存储节点均可以参与到数据重建中，从而提高了数据重建效率和数据重新性能。能。能。

【技术实现步骤摘要】
数据重建方法、装置、设备及存储介质


[0001]本申请涉及数据存储
，特别涉及一种数据重建方法、装置设备及存储介质。

技术介绍

[0002]应服务器及企业级数据存储系统等的大数据存储需求，诸如磁盘阵列、固态硬盘阵列等大存储容量的存储系统产生。这种存储系统包括多个存储节点(例如磁盘、固态硬盘等)，当其中任一存储节点发生故障后，需要对该存储节点中存储的数据进行数据重建。
[0003]传统的数据重建方法中，整个存储系统进行数据重建时均是使用特定备份节点进行数据重建，因此整个存储系统的数据重建性能受限于特定备份节点的写入性能，重建耗时较长，灵活性较低。

技术实现思路

[0004]本申请提供了一种数据重建方法、装置、设备及存储介质，可以提高数据重建效率和重建性能。该技术方案如下：
[0005]第一方面，提供了一种数据重建方法，该方法包括：
[0006]若检测到存储系统中的第一存储节点发生故障，则确定该第一存储节点存储的第一目标数据分片所属的目标数据的数据标识，该第一存储节点为该存储系统中的任一存储节点，该目标数据用于生成K个目标数据分片、M个校验数据分片和R个冗余数据分片，该K个目标数据分片、该M个校验数据分片和该 R个冗余数据分片被分别存储至该存储系统的K+M+R个存储节点中，K、M和 R均为正整数；
[0007]根据该数据标识，从该存储系统包括的该第一存储节点之外的其他存储节点中获取该目标数据的其他目标数据分片和该M个校验数据分片，该其他目标数据分片是指该K个目标数据分片中除该第一目标数据分片之外的其他目标数据分片；
[0008]根据该其他目标数据分片和该M个校验数据分片，还原第一目标数据分片；
[0009]将第一目标数据分片的数据内容写入该存储系统中的第二存储节点存储的第一冗余数据分片中，该第二存储节点为存储该第一冗余数据分片的存储节点，该第一冗余数据分片为该R个冗余数据分片中的任一个。
[0010]可选地，该存储系统中每个存储节点的全部或部分存储空间被切分为N个 OG，该N个OG的存储空间大小相同，该K个目标数据分片、该M个校验数据分片和该R个冗余数据分片被分别存储至该存储系统的K+M+R个存储节点的OG中。
[0011]可选地，该存储系统中的存储节点数量大于或等于K+M+R，该K个目标数据分片、该M个校验数据分片和该R个冗余数据分片中各个数据分片的数据分片大小相同。
[0012]可选地，确定第一存储节点存储的第一目标数据分片所属的目标数据的数据标识，包括：
[0013]根据该存储系统的数据索引关系，确定该第一存储节点存储的该第一目标数据分
片以及该第一目标数据所属的目标数据的数据标识；
[0014]其中，该数据索引关系包括写入该存储系统的至少一个原始数据的索引关系，该目标数据为该至少一个原始数据中的任一原始数据，该目标数据的索引关系用于指示目标数据的数据标识、目标数据对应的该K个目标数据分片、该 M个校验数据分片和该R个冗余数据分片，以及该K个目标数据分片、该M个校验数据分片和该R个冗余数据分片中每个数据分片对应的存储节点和在对应存储节点中的数据存储位置。
[0015]可选地，根据该数据标识，从该存储系统包括的该第一存储节点之外的其他存储节点中获取该目标数据的其他目标数据分片和该M个校验数据分片，包括：
[0016]从该目标数据的索引关系中，确定该其他目标数据分片和该M个校验数据分片中的每个数据分片对应的存储节点以及在对应存储节点中的数据存储位置；
[0017]根据该其他目标数据分片和该M个校验数据分片中的每个数据分片对应的存储节点以及在对应存储节点中的数据存储位置，从对应的存储节点中获取每个数据分片。
[0018]可选地，该存储系统包括的每个存储节点中的全部或部分存储空间被切分为多个OG，该K个目标数据分片、该M个校验数据分片和该R个冗余数据分片被分别存储至该存储系统的K+M+R个存储节点的OG中，该数据存储位置包括存储节点中用于存储对应数据分片的OG的OG标识以及对应数据分片在OG 中的存储位置。
[0019]可选地，该K个目标数据分片和该M个校验数据分片是采用预设编码算法对该目标数据进行编码得到，根据其他目标数据分片和该M个校验数据分片，还原该第一目标数据分片，包括：
[0020]采用与该预设编码算法对应的解码算法，对其他目标数据分片和该M个校验数据分片进行解码，得到该第一目标数据分片。
[0021]可选地，该确定该第一存储节点存储的第一目标数据分片所属的目标数据的数据标识之前，该方法还包括：
[0022]根据该目标数据，生成该K个目标数据分片、该M个校验数据分片和该R 个冗余数据分片；
[0023]将该K个目标数据分片和该M个校验数据分片分别存储至该存储系统的 K+M个存储节点中，在该存储系统的R个存储节点中预留该R个冗余数据分片，该R个存储节点与该R个冗余数据分片一一对应，该R个存储节点为该存储系统中除该K+M个存储节点之外的存储节点。
[0024]可选地，根据目标数据，生成该K个目标数据分片、该M个校验数据分片和该R个冗余数据分片，包括：
[0025]采用预设编码算法对该目标数据进行编码，得到该K个目标数据分片和该 M个校验数据分片；
[0026]为该目标数据生成R个空白数据分片，该R个空白数据分片为该R个冗余数据分片。
[0027]可选地，将该K个目标数据分片和该M个校验数据分片分别存储至该存储系统的K+M个存储节点中，在该存储系统的R个存储节点中预留该R个冗余数据分片，包括：
[0028]采用预设负载均衡算法，从该存储系统中确定该K个数据分片、该M个校验数据分片和该R个冗余数据分片中每个数据分片对应的存储节点以及对应存储节点中的数据存储位置，不同数据分片对应不同存储节点；
[0029]将该K个数据分片和该M个校验数据分片分别存储至对应存储节点的数据存储位置，在该R个冗余数据分片对应的存储节点的对应存储位置分别预留一个冗余数据分片。
[0030]可选地，该K个数据分片、该M个校验数据分片和该R个冗余数据分片中各个数据分片的数据分片大小均为预设大小，该根据该目标数据，生成该K个目标数据分片、该M个校验数据分片和该R个冗余数据分片之前，该方法还包括：
[0031]对于待存储数据，将该待存储数据切分为至少一个该目标数据，该目标数据的数据大小为K*该预设大小。
[0032]第二方面，提供了一种数据重建装置，包括：
[0033]确定模块，用于若检测到存储系统中的第一存储节点发生故障，则确定该第一存储节点存储的第一目标数据分片所属的目标数据的数据标识，该第一存储节点为该存储系统中的任一存储节点，该目标数据用于生成K个目标数据分片、M个校验数据分片和R个冗余数据分片，该K个目标数据分片、该M个校验数据分片和该R个冗余数据分片被分别存储至该存储系统的K+M+R个存储节点中，K、M和R均本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据重建方法，其特征在于，所述方法包括：若检测到存储系统中的第一存储节点发生故障，则确定所述第一存储节点存储的第一目标数据分片所属的目标数据的数据标识，所述第一存储节点为所述存储系统中的任一存储节点，所述目标数据用于生成K个目标数据分片、M个校验数据分片和R个冗余数据分片，所述K个目标数据分片、所述M个校验数据分片和所述R个冗余数据分片分别存储在所述存储系统的K+M+R个存储节点中，K、M和R均为正整数；根据所述数据标识，从所述存储系统包括的所述第一存储节点之外的其他存储节点中获取所述目标数据的其他目标数据分片和所述M个校验数据分片，所述其他目标数据分片是指所述K个目标数据分片中除所述第一目标数据分片之外的其他目标数据分片；根据所述其他目标数据分片和所述M个校验数据分片，还原所述第一目标数据分片；将所述第一目标数据分片的数据内容写入所述存储系统中的第二存储节点存储的第一冗余数据分片中，所述第二存储节点为存储所述第一冗余数据分片的存储节点，所述第一冗余数据分片为所述R个冗余数据分片中的任一个。2.如权利要求1所述的方法，其特征在于，所述存储系统中每个存储节点的全部或部分存储空间被切分为N个OG，所述N个OG的存储空间大小相同，所述K个目标数据分片、所述M个校验数据分片和所述R个冗余数据分片被分别存储至所述存储系统的K+M+R个存储节点的OG中。3.如权利要求1所述的方法，其特征在于，所述存储系统中的存储节点数量大于或等于K+M+R，所述K个目标数据分片、所述M个校验数据分片和所述R个冗余数据分片中各个数据分片的数据分片大小相同。4.如权利要求1所述的方法，其特征在于，所述确定所述第一存储节点存储的第一目标数据分片所属的目标数据的数据标识，包括：根据所述存储系统的数据索引关系，确定所述第一存储节点存储的所述第一目标数据分片以及所述第一目标数据所属的目标数据的数据标识；其中，所述数据索引关系包括写入所述存储系统的至少一个原始数据的索引关系，所述目标数据为所述至少一个原始数据中的任一原始数据，所述目标数据的索引关系用于指示所述目标数据的数据标识，所述目标数据对应的所述K个目标数据分片、所述M个校验数据分片和所述R个冗余数据分片，以及所述K个目标数据分片、所述M个校验数据分片和所述R个冗余数据分片中每个数据分片对应的存储节点和在对应存储节点中的数据存储位置。5.如权利要求4所述的方法，其特征在于，所述根据所述数据标识，从所述存储系统包括的所述第一存储节点之外的其他存储节点中获取所述目标数据的其他目标数据分片和所述M个校验数据分片，包括：根据所述数据标识，从所述目标数据的索引关系中确定所述其他目标数据分片和所述M个校验数据分片中的每个数据分片对应的存储节点以及在对应存储节点中的数据存储位置；根据所述其他目标数据分片和所述M个校验数据分片中的每个数据分片对应的存储节点以及在对应存储节点中的数据存储位置，从对应的存储节点中获取每个数据分片。6.如权利要求4所述的方法，其特征在于，所述存储系统包括的每个存储节点中的全部或部分存储空间被切分为多个OG，所述K个目标数据分片、所述M个校验数据分片和所述R个
冗余数据分片被分别存储至所述存储系统的K+M+R个存储节点的OG中，所述数据存储位置包括存储节点中用于存储对应数据分片的OG的OG标识以及对应数据分片在OG中的存储位置。7.如权利要求1所述的方法，其特征在于，所述K个目标数据分片和所述M个校验数据分片是采用预设编码算法对所述目标数据进行编码得到，所述根据所述其他目标数据分片和所述M个校验数据分片，还原所述第一目标数据，包括：采用与所述预设编码算法对应的解码算法，对所述其他目标数据分片和所述M个校验数据分片进行解码，得到所...

【专利技术属性】
技术研发人员：俞坚才，
申请(专利权)人：杭州联吉技术有限公司，
类型：发明
国别省市：