数据重构方法以及装置制造方法及图纸

本说明书实施例提供一种数据重构方法以及装置，其中数据重构方法包括：获取数据重构所需的重构数据信息以及数据验证所需的校验数据信息，根据重构数据信息从分布式存储系统的其他数据节点获取参与数据重构的数据，以及根据校验数据信息从分布式存储系统的其他数据节点获取校验数据的校验码，利用参与数据重构的数据重构出目标数据和验证数据的校验码，利用验证数据的校验码校验校验数据的校验码以确定目标数据的正确性。通过参与数据重构的数据构建目标数据和验证数据的校验码，使用校验数据的校验码再验证重构后的验证数据的校验码，避免了获取数据、构建数据过程中的错误，提高了重构的目标数据的可靠性。提高了重构的目标数据的可靠性。提高了重构的目标数据的可靠性。

【技术实现步骤摘要】
数据重构方法以及装置


[0001]本说明书实施例涉及数据处理
，特别涉及一种数据重构方法。

技术介绍

[0002]大多数存储系统使用checksum进行数据正确性校验保护，数据持久化时会保存有checksum，读取数据时会将checksum合并读取，在重构端校验数据是否和checksum匹配，写入时会生成checksum，在写入到数据节点时负责校验数据和checksum是否一致，这种校验缺失了数据重构链路上的检查，即数据重构过程中出现软硬件故障则会导致重构出数据出错，这种错误无法及时发现，并且checksum技术可能存在漏报，即数据和checksum一致但数据仍然是错误，遇到这种情形时, 重构流程会继续读入错误数据并重构出错误数据，所以重构流程可靠性低。

技术实现思路

[0003]有鉴于此，本说明书实施例提供了一种数据重构方法。本说明书一个或者多个实施例同时涉及一种数据重构装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
[0004]根据本说明书实施例的第一方面，提供了一种数据重构方法，应用于基于纠删码的分布式存储系统中的数据节点，包括：获取数据重构所需的重构数据信息以及数据验证所需的校验数据信息；根据所述重构数据信息从所述分布式存储系统的其他数据节点获取参与数据重构的数据，以及根据所述校验数据信息从分布式存储系统的其他数据节点获取校验数据的校验码；利用所述参与数据重构的数据重构出目标数据和验证数据的校验码；利用所述验证数据的校验码校验所述校验数据的校验码以确定所述目标数据的正确性。
[0005]根据本说明书实施例的第二方面，提供了一种数据重构装置，应用于基于纠删码的分布式存储系统中的数据节点，该装置包括：信息获取模块，被配置为获取数据重构所需的重构数据信息以及数据验证所需的校验数据信息；数据获取模块，被配置为根据所述重构数据信息从所述分布式存储系统的其他数据节点获取参与数据重构的数据，以及根据所述校验数据信息从分布式存储系统的其他数据节点获取校验数据的校验码；数据重构模块，被配置为利用所述参与数据重构的数据重构出目标数据和验证数据的校验码；数据验证模块，被配置为利用所述验证数据的校验码校验所述校验数据的校验码以确定所述目标数据的正确性。
[0006]根据本说明书实施例的第三方面，提供了一种计算设备，包括：存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述数据重构方法的步骤。
[0007]根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述数据重构方法的步骤。
[0008]根据本说明书实施例的第五方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述数据重构方法的步骤。
[0009]本说明书实施例提供一种数据重构方法以及装置，其中数据重构方法包括：获取数据重构所需的重构数据信息以及数据验证所需的校验数据信息，根据重构数据信息从分布式存储系统的其他数据节点获取参与数据重构的数据，以及根据校验数据信息从分布式存储系统的其他数据节点获取校验数据的校验码，利用参与数据重构的数据重构出目标数据和验证数据的校验码，利用验证数据的校验码校验校验数据的校验码以确定目标数据的正确性。通过参与数据重构的数据构建目标数据和验证数据的校验码，使用校验数据的校验码再验证重构后的验证数据的校验码，避免了获取数据、构建数据过程中的错误，提高了重构的目标数据的可靠性。
附图说明
[0010]图1是本说明书一个实施例提供的一种数据重构方法的流程图；图2a示出了根据本说明书一个实施例提供的一种数据重构方法的示意图；图2b示出了根据本说明书一个实施例提供的一种数据重构方法的另一示意图；图2c示出了根据本说明书一个实施例提供的一种数据重构方法的又一示意图；图2d示出了根据本说明书一个实施例提供的一种数据重构方法的再一示意图；图3是本说明书一个实施例提供的一种数据重构方法的处理过程流程图；图4是本说明书一个实施例提供的一种数据重构装置的结构示意图；图5是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
[0011]在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
[0012]在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0013]应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类
似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0014]首先，对本说明书一个或多个实施例涉及的名词术语进行解释。
[0015]分布式存储系统：分布式存储系统将数据同时写到多个数据节点，需要保证对外呈现状态是一致的, 且不发生状态回退。
[0016]元数据节点(MetaNode)：分布式系统中，中心化的元信息存储节点，通常用于存储文件的状态信息、chunk位置信息等，chunk长度信息等。
[0017]数据节点(DataNode)：分布式系统中数据块所存储在的节点，通常负责数据块的写入, 存储, 读取, 删除等操作。
[0018]纠删码(Erasure
‑
coding)：将一段数据分成等长多片, 并生成多片校验片, 当其中任意一片或多片数据丢失时, 都可从其他数据、校验片中重构恢复丢失数据片。这种方法目前广泛应用在分布式存储系统中, 将不同数据片放在不同数据节点。
[0019]Checksum：总和检验码，校验和。在数据处理和数据通信领域中，用于校验目的的一组数据项的和。这些数据项可以是数字或在计算检验总和过程中看作数字的其它字符串。
[0020]MD5信息摘要算法（英语：MD5 Message
‑
Digest Algorithm）：一种被广泛使用的密码散列函数，可以产生出一个128位（16字节）的散列值（hash value），用于确保信息传输完整一致。
[0021]CRC(Cyclic Red本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据重构方法，应用于基于纠删码的分布式存储系统中的数据节点，包括：获取数据重构所需的重构数据信息以及数据验证所需的校验数据信息；根据所述重构数据信息从所述分布式存储系统的其他数据节点获取参与数据重构的数据，以及根据所述校验数据信息从分布式存储系统的其他数据节点获取校验数据的校验码；利用所述参与数据重构的数据重构出目标数据和验证数据的校验码；利用所述验证数据的校验码校验所述校验数据的校验码以确定所述目标数据的正确性。2.根据权利要求1所述的方法，所述获取数据重构所需的重构数据信息，包括：获取数据重构所需的重构数据的路径信息。3.根据权利要求1所述的方法，所述获取数据验证所需的校验数据信息，包括：获取数据验证所需的校验数据的校验码的路径信息。4.根据权利要求1所述的方法，所述根据所述重构数据信息从所述分布式存储系统的其他数据节点获取参与数据重构的数据，以及根据所述校验数据信息从分布式存储系统的其他数据节点获取校验数据的校验码，包括：根据所述重构数据信息从所述分布式存储系统的其他数据节点获取参与数据重构的关联数据和查验数据，其中，所述关联数据为基于初始数据分割得到的第一数据块，所述查验数据通过对所述初始数据进行校验计算得到；根据所述校验数据信息从分布式存储系统的其他数据节点获取校验数据的校验码，其中，所述校验数据为基于所述初始数据分割得到的第二数据块或所述查验数据。5.根据权利要求4所述的方法，所述根据所述校验数据信息从分布式存储系统的其他数据节点获取校验数据的校验码，包括：在所述分布式存储系统的其他数据节点不存在所述校验数据的校验码的情况下，对所述校验数据进行校验计算得到所述校验数据的校验码。6.根据权利要求1所述的方法，所述重构出验证数据的校验码，包括：利用所述参与数据重构的数据重构验证数据；对所述验证数据进行校验计算得到所述验证数据的校验码。7.根据权利要求1所述的方法，所述重构出验证数据的校验码，包括：获取所述参与数据重构的数据的校验码；根据所述参与数据重构的数据的校验码生成所述验证数据的校验码。8.根据权利要求1所述的方法，所述利用所述验证数据的校验码校验所述校验数据的...

【专利技术属性】
技术研发人员：王竹凡，庄灿伟，邱晗，董元元，
申请(专利权)人：阿里云计算有限公司，
类型：发明
国别省市：