数据一致性校验方法、装置、系统和计算机设备制造方法及图纸

本申请涉及一种数据一致性校验方法、装置、系统、计算机设备和存储介质。方法包括：上传目标测试数据；在下载目标测试数据的过程，基于随机序列种子和偏移量生成预期数据；预期数据为用于校验目标测试数据的一致性的全量参照数据；读取目标测试数据，并将读取到的目标测试数据与预期数据进行比对，定位目标测试数据与预期数据的数据不一致的内容。采用本方法能够通过将随机序列种子和偏移量记录在目标测试数据的元数据中，客户端可以在下载目标测试数据的同时生成预期数据，然后读取目标测试数据并与预期数据对比，实现将数据不一致的内容进行实时定位输出。内容进行实时定位输出。内容进行实时定位输出。

【技术实现步骤摘要】
数据一致性校验方法、装置、系统和计算机设备


[0001]本申请涉及对象存储数据测领域，特别是涉及一种数据一致性校验方法、装置、系统、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]随着数据存储技术的发展，出现了对象存储(Object storage)技术，对象存储是一种以非结构化格式(称为对象)存储和管理数据的技术。现代组织需要创建和分析大量非结构化数据，例如照片、视频、电子邮件、网页、传感器数据和音频文件。校验数据正确性是在下载对象阶段进行，但是想要验证数据正确性测试工具就需要记录上传对象时写入的内容，下载对象时对比下载的内容和记录的上传的内容来实现数据校验的功能。
[0003]传统技术中是通过计算测试数据的MD5值作为测试数据的最后32个字符，并在下载对象时计算MD5值，然后将计算出的MD5和对象内容的最后32个字符进行对比，如果不一致则数据正确性校验失败。第二种方案是在本地创建好文件，然后将这些文件上传到对象存储系统中，下载对象时根据对象内容计算出MD5值，然后计算上传文件的MD5值，比较两个MD5值，如果不同则数据正确性校验失败。
[0004]然而，在服务器磁盘空间有限的条件下，目前的对象存储测试数据一致性校验方法难以对不一致的数据进行定位。

技术实现思路

[0005]基于此，有必要针对上述技术问题，提供一种数据一致性校验方法、装置、系统、计算机设备、计算机可读存储介质和计算机程序产品。
[0006]第一方面，本申请提供了一种数据一致性校验方法。所述方法包括：
[0007]上传目标测试数据，所述目标测试数据由随机序列种子和偏移量生成；所述目标测试数据的元数据中包含所述随机序列种子和所述偏移量；
[0008]在下载所述目标测试数据的过程，基于所述随机序列种子和所述偏移量生成预期数据；所述预期数据为用于校验所述目标测试数据的一致性的全量参照数据；
[0009]读取所述目标测试数据，并将读取到的所述目标测试数据与所述预期数据5进行比对，定位所述目标测试数据与所述预期数据的数据不一致的内容。
[0010]上述数据一致性校验方法中，通过将随机序列种子和偏移量记录在目标测试数据的元数据中，客户端可以在下载此目标测试数据的同时，可以生成预期数据，然后，读取目标测试数据并与预期数据对比，可以实现将数据不一致的内容进行实时定位输出。
[0011]0在其中一个实施例中，所述上传目标测试数据之前，所述方法还包括：
[0012]获取随机序列种子和偏移量；
[0013]根据所述随机序列种子生成测试数据序列；
[0014]根据所述偏移量对所述测试数据序列进行重拼接处理，得到拼接后的测试数据序列；
[0015]5根据多个拼接后的测试数据序列构建得到初始测试数据，并将所述随机序列种子和所述偏移量记录在所述初始测试数据的元数据中，得到目标测试数据。
[0016]本实施例中，通过随机序列种子和偏移量生成目标测试数据，可以保证目标测试数据的内容不相同，可以保证测试工具的性能；将随机序列种子和偏移
[0017]量记录在初始测试数据的元数据中，可以实现在下载时，生成用于对比的预期0数据。
[0018]在其中一个实施例中，所述根据所述偏移量对所述测试数据序列进行重拼接处理，得到拼接后的测试数据序列，包括：
[0019]在所述多个偏移量中，针对每一所述偏移量，在所述测试数据序列中确定所述偏移量表征的数据位的目标数据；
[0020]5以所述目标数据所在位置为拆分位置对所述测试数据序列进行划分，得到第一测试数据序列段和包含所述目标数据的第二测试数据序列段；
[0021]按照所述第二测试数据序列段在前，所述第一测试数据序列段在后的顺序，对所述第二测试数据序列段和所述第一测试数据序列段进行重拼接，得到所述偏移量对应的拼接后的测试数据序列。
[0022]本实施例中，通过根据测试数据序列重复生成，得到拼接后的测试数据序列，可以保证目标测试数据的内容不相同，可以保证测试数据不同，提高目标测试数据生成效率。
[0023]在其中一个实施例中，所述将读取到的所述目标测试数据与所述预期数据进行比对，根据数据校验结果定位不一致的内容，包括：
[0024]分别读取预设数据量大小的所述目标测试数据和所述预期数据；
[0025]将所述预设数据量大小的所述预期数据与所述预设数据量大小的所述目标测试数据进行对比，得到数据校验结果，根据所述数据校验结果定位不一致的内容。
[0026]本实施例中，通过将读取到的目标测试数据和预期数据进行对比，同时输出预期数据和实际目标测试数据的内容和位置，可以对不一致内容进行定位。
[0027]在其中一个实施例中，所述根据所述数据校验结果定位不一致的内容之后，还包括：
[0028]将所述数据校验结果中包含的数据比对不一致的内容，以预设的形式进行输出。
[0029]本实施例中，通过预设的形式对数据校验结果不一致的内容进行输出，可以直观显示不一致的内容和位置。
[0030]第二方面，本申请还提供了一种数据一致性校验装置。所述装置包括：
[0031]上传模块，用于上传目标测试数据，所述目标测试数据由随机序列种子和偏移量生成；所述目标测试数据的元数据中包含所述随机序列种子和所述偏移量；
[0032]生成模块，用于在下载所述目标测试数据的过程，基于所述随机序列种子和所述偏移量生成预期数据；所述预期数据为用于校验所述目标测试数据的一致性的全量参照数据；
[0033]对比模块，用于读取所述目标测试数据，并将读取到的所述目标测试数据与所述预期数据进行比对，定位所述目标测试数据与所述预期数据的数据不一致的内容。
[0034]上述数据一致性校验装置中，通过将随机序列种子和偏移量记录在目标测试数据的元数据中，客户端可以在下载此目标测试数据的同时，可以生成预期数据，然后，读取目
标测试数据并与预期数据对比，可以实现将数据不一致的内容进行实时定位输出。
[0035]在其中一个实施例中，上传模块之前，所述装置还包括：
[0036]获取模块，用于获取随机序列种子和偏移量；
[0037]第二生成模块，用于根据所述随机序列种子生成测试数据序列；
[0038]重拼接模块，用于根据所述偏移量对所述测试数据序列进行重拼接处理，得到拼接后的测试数据序列；
[0039]记录模块，用于根据所述多个测试数据序列构建得到初始测试数据，并将所述随机序列种子和所述偏移量记录在所述初始测试数据的元数据中，得到目标测试数据。
[0040]本实施例中，通过随机序列种子和偏移量生成目标测试数据，可以保证目标测试数据的内容不相同，可以保证测试工具的性能；将随机序列种子和偏移量记录在初始测试数据的元数据中，可以实现在下载时，生成用于对比的预期数据。
[0041]在其中一个实施例中，重拼接模块具体用于：
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据一致性校验方法，其特征在于，所述方法包括：上传目标测试数据，所述目标测试数据由随机序列种子和偏移量生成；所述目标测试数据的元数据中包含所述随机序列种子和所述偏移量；在下载所述目标测试数据的过程，基于所述随机序列种子和所述偏移量生成预期数据；所述预期数据为用于校验所述目标测试数据的一致性的全量参照数据；读取所述目标测试数据，并将读取到的所述目标测试数据与所述预期数据进行比对，定位所述目标测试数据与所述预期数据的数据不一致的内容。2.根据权利要求1所述的方法，其特征在于，所述上传目标测试数据之前，所述方法还包括：获取随机序列种子和偏移量；根据所述随机序列种子生成测试数据序列；根据所述偏移量对所述测试数据序列进行重拼接处理，得到拼接后的测试数据序列；根据多个拼接后的测试数据序列构建得到初始测试数据，并将所述随机序列种子和所述偏移量记录在所述初始测试数据的元数据中，得到目标测试数据。3.根据权利要求2所述的方法，其特征在于，所述根据所述偏移量对所述测试数据序列进行重拼接处理，得到拼接后的测试数据序列，包括：在所述多个偏移量中，针对每一所述偏移量，在所述测试数据序列中确定所述偏移量表征的数据位的目标数据；以所述目标数据所在位置为拆分位置对所述测试数据序列进行划分，得到第一测试数据序列段和包含所述目标数据的第二测试数据序列段；按照所述第二测试数据序列段在前，所述第一测试数据序列段在后的顺序，对所述第二测试数据序列段和所述第一测试数据序列段进行重拼接，得到所述偏移量对应的拼接后的测试数据序列。4.根据权利要求1所述的方法，其特征在于，所述读取所述目标测试数据，并将读取到的所述目标测试数据与所述预期数据进行比对，定位所述目标测试数据与所述预期数据的数据不一致的内容，包括：分别读取预设数据量大小的所述目标测试数据和所述预期数据；将所述预设数据量大小的所述预期数据与所述预设数据量大小的所述目标测试数据进行对比，得到数据校验结果，根据所述...

【专利技术属性】
技术研发人员：鲍若冰，严建林，吴朝锋，郭照斌，刘建锋，
申请(专利权)人：天津中科曙光存储科技有限公司，
类型：发明
国别省市：