一种基于分布式存储的数据校验方法技术

本发明专利技术公开了一种基于分布式存储的数据校验方法、装置、设备及存储介质，属于计算机技术领域。本发明专利技术根据待存储文件内容进行待存储数据写入，得到实际存储数据；根据实际存储数据进行存储数据读取，得到实际读取数据；将实际读取数据与理论存储数据进行数据内容比对，输出数据比对结果；根据数据比对结果得到并输出数据校验结果。本发明专利技术通过对分布式存储器的文件写入读取过程的数据校验，确保了文件写入和读取的一致性，并且对于文件存储和读取过程中可能存在的错误进行了检测校验，提高了分布式存储器的纠错能力。式存储器的纠错能力。式存储器的纠错能力。

【技术实现步骤摘要】
一种基于分布式存储的数据校验方法


[0001]本专利技术涉及计算机
，尤其涉及一种基于分布式存储的数据校验方法、装置、设备及存储介质。

技术介绍

[0002]在分布式存储系统当中，数据被分块同时采用多副本的机制来保障数据的安全性。对上层业务系统来说，下层的存储就是透明存在的，在传统的存储模型下，数据的一致性通过文件系统和硬盘来共同实现，文件系统内部增加了诸多的数据校验机制，确保数据写入后读出来的一致性。在分布式文件系统当中，因为要解决分布式存储器的性能问题，文件系统层通常被跳过。虽然大部分的分布式文件系统也加入了诸多的数据校验机制，确保在各种异常下数据的一致性，但是分布式系统本身非常复杂，并且受限于各种异常的外部条件，现有的分布式存储数据校验机制并不完善，因此如何确保分布式文件系统是否已经满足数据一致性的要求，包括在各种异常条件下，例如硬盘故障、网络故障等条件下是否依旧能够保障数据的一致性成为了亟需解决的技术问题。
[0003]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

[0004]本专利技术的主要目的在于提供一种基于分布式存储的数据校验方法，旨在解决现有技术分布式存储器数据校验的技术问题。
[0005]为实现上述目的，本专利技术提供了一种基于分布式存储的数据校验方法方法，所述方法包括以下步骤：
[0006]根据待存储文件内容进行待存储数据写入，得到实际存储数据；
[0007]根据所述实际存储数据进行存储数据读取，得到实际读取数据；
[0008]将所述实际读取数据与所述理论存储数据进行数据内容比对，输出数据比对结果；
[0009]根据数据比对结果得到并输出数据校验结果。
[0010]可选地，根据待存储文件内容进行待存储数据写入得到实际存储数据具体步骤包括：
[0011]获取待存储文件并进行内容解析，得到所述待存储数据；
[0012]将所述待存储数据按照待存储文件内容顺序进行数据排序编号，得到有序待存储数据；
[0013]将所述有序待存储数据按照序号顺序进行存储写入，得到所述实际存储数据。
[0014]可选地，将所述实际读取数据与理论存储数据进行数据内容比对，输出数据比对结果，具体步骤包括：
[0015]解析所述实际读取数据，得到存储数据序号信息；
[0016]根据文件偏移量对所述有序待存储数据进行数据处理，得到所述理论存储数据；
[0017]获取所述理论存储数据中的理论数据序号信息；
[0018]将所述存储数据序号信息与所述理论数据序号信息进行序号匹配，并将序号匹配相同的所述实际读取数据与所述理论存储数据进行数据内容的一一比对，输出数据比对结果。
[0019]可选地，根据文件偏移量对所述有序待存储数据进行数据处理，得到所述理论存储数据，具体步骤为：
[0020]根据所述实际存储数据中各个序号所对应的数据存储信息，获取各个序号对应的文件偏移量；
[0021]将所述各个序号对应的文件偏移量分别导入理论数据公式，得到所述理论存储数据；
[0022]所述理论数据公式为：
[0023]F(n)＝n％255
[0024]其中n为各个序号对应的文件偏移量，F(n)代表各个序号对应字节的值。
[0025]可选地，根据数据比对结果得到并输出数据校验结果，具体包括：
[0026]当所述数据比对结果为相同时，输出数据正确的判定结果；
[0027]当所述数据比对结果为不相同时，输出数据错误的判定结果。
[0028]可选地，当所述数据比对结果为不相同时，输出数据错误的判定结果，具体步骤包括：
[0029]当所述数据比对结果为不相同时，将所述实际读取数据与所述理论存储数据比对不相同的数据序号，整理为存储错误清单并输出。
[0030]可选地，获取待存储文件并进行内容解析，得到所述待存储数据，具体步骤包括：
[0031]获取待存储文件，并将所述待存储文件进行待存储内容的数据分块和备份，得到所述待存储数据。
[0032]此外，为实现上述目的，本专利技术还提出一种基于分布式存储的数据校验装置，所述基于分布式存储的数据校验装置包括：
[0033]数据存储模块：根据待存储文件内容进行待存储数据写入，得到实际存储数据；
[0034]数据读取模块：根据所述实际存储数据进行存储数据读取，得到实际读取数据；
[0035]数据比对模块：将所述实际读取数据与所述理论存储数据进行数据内容比对，输出数据比对结果；
[0036]结果输出模块：根据数据比对结果得到并输出数据校验结果。
[0037]此外，为实现上述目的，本专利技术还提出一种基于分布式存储的数据校验设备，所述基于分布式存储的数据校验设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于分布式存储的数据校验程序，所述基于分布式存储的数据校验程序配置为实现如上文所述的基于分布式存储的数据校验方法的步骤。
[0038]此外，为实现上述目的，本专利技术还提出一种存储有计算机程序的计算机可读存储介质，所述存储介质上存储有基于分布式存储的数据校验程序，所述基于分布式存储的数据校验程序被处理器执行时实现如上文所述的基于分布式存储的数据校验方法的步骤。
[0039]本专利技术根据待存储文件内容进行待存储数据写入，得到实际存储数据；根据所述
实际存储数据进行存储数据读取，得到实际读取数据；将所述实际读取数据与所述理论存储数据进行数据内容比对，输出数据比对结果；根据数据比对结果得到并输出数据校验结果。本专利技术通过对分布式存储器的文件写入读取过程的数据校验，确保了文件写入和读取的一致性，并且对于文件存储和读取过程中可能存在的错误进行了检测校验，提高了分布式存储器的纠错能力。
附图说明
[0040]图1是本专利技术实施例方案涉及的硬件运行环境的基于分布式存储的数据校验设备的结构示意图；
[0041]图2为本专利技术基于分布式存储的数据校验方法第一实施例的流程示意图；
[0042]图3为本专利技术基于分布式存储的数据校验方法第二实施例的流程示意图；
[0043]图4为本专利技术基于分布式存储的数据校验方法第三实施例的流程示意图；
[0044]图5为本专利技术基于分布式存储的数据校验方法第四实施例的流程示意图；
[0045]图6为本专利技术基于分布式存储的数据校验装置第一实施例的结构框图。
[0046]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0047]应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。
[0048]参照图1，图1为本专利技术实施例方案涉及的硬件运行环境的基于分布式存储的数据校验设备结构示意图。
[0049]如图1所示，该基于分布式存储的数据校验设备可以包括：处理器1001，例如中央本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式存储的数据校验方法，其特征在于，包括：根据待存储文件内容进行待存储数据写入，得到实际存储数据；根据所述实际存储数据进行存储数据读取，得到实际读取数据；将所述实际读取数据与所述理论存储数据进行数据内容比对，输出数据比对结果；根据数据比对结果得到并输出数据校验结果。2.如权利要求1所述的基于分布式存储的数据校验方法，其特征在于，根据待存储文件内容进行待存储数据写入得到实际存储数据具体步骤包括：获取待存储文件并进行内容解析，得到所述待存储数据；将所述待存储数据按照待存储文件内容顺序进行数据排序编号，得到有序待存储数据；将所述有序待存储数据按照序号顺序进行存储写入，得到所述实际存储数据。3.如权利要求2所述的基于分布式存储的数据校验方法，其特征在于，将所述实际读取数据与理论存储数据进行数据内容比对，输出数据比对结果，具体步骤包括：解析所述实际读取数据，得到存储数据序号信息；根据文件偏移量对所述有序待存储数据进行数据处理，得到所述理论存储数据；获取所述理论存储数据中的理论数据序号信息；将所述存储数据序号信息与所述理论数据序号信息进行序号匹配，并将序号匹配相同的所述实际读取数据与所述理论存储数据进行数据内容的一一比对，输出数据比对结果。4.如权利要求3所述的基于分布式存储的数据校验方法，其特征在于，根据文件偏移量对所述有序待存储数据进行数据处理，得到所述理论存储数据，具体步骤为：根据所述实际存储数据中各个序号所对应的数据存储信息，获取各个序号对应的文件偏移量；将所述各个序号对应的文件偏移量分别导入理论数据公式，得到所述理论存储数据；所述理论数据公式为：F(n)＝n％255其中n为各个序号对应的文件偏移量，F(n)代表各个序号对应字节的值。5.如权利要求1
‑

【专利技术属性】
技术研发人员：范炉林，万峰，
申请(专利权)人：深圳市青葡萄科技有限公司，
类型：发明
国别省市：