一种数据的一致性测试方法及装置制造方法及图纸

本发明专利技术公开了一种数据的一致性测试方法及装置，该方法包括：基于脚本命令，将待检测数据的MD5值与预存的MD5值进行对比，获取异常数据，所述异常数据的MD5值与预存的MD5值存在差异；查询所述异常数据的HASH值并输出至文本文件；基于sort命令对所述文本文件的内容进行排序；基于diff命令对排序后的所述文本文件进行对比，并基于对比结果获取所述异常数据所属的存储端。本发明专利技术可以实现自动测试，节约人力成本，还可以更快地协助研发定位问题。还可以更快地协助研发定位问题。还可以更快地协助研发定位问题。

【技术实现步骤摘要】
一种数据的一致性测试方法及装置
[0001]

[0002]本专利技术涉及数据存储
，特别涉及一种数据的一致性测试方法及装置。

技术介绍

[0003]目前在分布式存储下进行MAD5的HASH值测试验证一致性测试时，大多数是采用人工方法进行操作，比如先行比对MD5值，确认异常数据后，进行HASH值验证并一个个比对之后来找出异常的存储端。这样的方法对测试人员来说是机械式的工作，并且工作效率不高，测试人员在整个测试过程中也比较乏味，在极限情况下还无法完成测试需求。

技术实现思路

[0004]本说明书实施例提供了一种数据的一致性测试方法及装置。
[0005]一方面，本说明书实施例提供的一种数据的一致性测试方法，包括：基于脚本命令，将待检测数据的MD5值与预存的MD5值进行对比，获取异常数据，所述异常数据的MD5值与预存的MD5值存在差异；查询所述异常数据的HASH值并输出至文本文件；基于sort命令对所述文本文件的内容进行排序；基于diff命令对排序后的所述文本文件进行对比，并基于对比结果获取所述异常数据所属的存储端。
[0006]另一方面，本说明书实施例提供的一种数据的一致性测试装置，包括：MD5值对比模块，用于基于脚本命令，将待检测数据的MD5值与预存的MD5值进行对比，获取异常数据，所述异常数据的MD5值与预存的MD5值存在差异；HASH值查询模块，用于查询所述异常数据的HASH值并输出至文本文件；内容排序模块，用于基于sort命令对所述文本文件的内容进行排序；文本文件对比模块，用于基于diff命令对排序后的所述文本文件进行对比，并基于对比结果获取所述异常数据所属的存储端。
[0007]本专利技术实施例可以采用命令自动验证，用来实现数据一致性的HASH值自动验证，从而达到人为验证HASH值的效果，可以实现自动测试，节约人力成本，还可以更快地协助研发定位问题。
附图说明
[0008]图1为本说明书一些实施例的数据的一致性测试方法的流程图。
[0009]图2为本说明书一些实施例的数据的一致性测试装置的组成图。
具体实施方式
[0010]为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，
本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
[0011]如图1所示，本说明书一些实施例中提供了一种数据的一致性测试方法，包括基于脚本命令，将待检测数据的MD5值与预存的MD5值进行对比，获取异常数据，所述异常数据的MD5值与预存的MD5值存在差异；查询所述异常数据的HASH值并输出至文本文件；基于sort命令对所述文本文件的内容进行排序；基于diff命令对排序后的所述文本文件进行对比，并基于对比结果获取所述异常数据所属的存储端，其中，为了便于后续基于diff命令进行对比，前述文本本件可以是诸如txt文本文件。
[0012]进一步地，在本说明书一些实施例中，基于sort命令对所述文本文件的内容进行升序排序或降序排序。
[0013]进一步地，在本说明书一些实施例中，基于diff命令以逐行的方式对所述文本文件进行对比，获取异常的HASH值，并确定所述异常的HASH值所属的存储端。具体而言，针对异常数据，会进行多台存储端上的HASH值对比，比如，当有文件被检测出错，该文件再多台存储端上会有副本留下，以保证文件的安全性。在进行对比的文本数据中会存在异常文件块所属的存储端的IP地址，基于该IP地址可以获取异常的HASH值所属的存储端。
[0014]进一步地，在本说明书一些实施例中，当需要对目录进行对比时，则基于diff命令比较所述目录中具有相同文件名的文件。
[0015]具体而言，对前述实施例的工作原理进行阐述如下：引用MD5工作原理使用密码散列函数，可以产生出一个128位（16字节）的散列值（hash value），用于确保信息传输完整一致。基于sort命令可以对给定区间所有元素进行排序，默认为升序，当然也可进行降序排序；diff命令可以用于比较文件的差异。diff命令可以以逐行的方式，比较文本文件的异同处。如果要比较目录，则可以基于diff命令比较目录中相同文件名的文件，但不会比较其中子目录。使用以上原理可以对需要检测的数据进行一致性的对比测试，并将测试结果输出。
[0016]结合图2，本专利技术实施例还提供了一种数据的一致性测试装置，包括，MD5值对比模块，用于基于脚本命令，将待检测数据的MD5值与预存的MD5值进行对比，获取异常数据，所述异常数据的MD5值与预存的MD5值存在差异；HASH值查询模块，用于查询所述异常数据的HASH值并输出至文本文件；内容排序模块，用于基于sort命令对所述文本文件的内容进行排序；文本文件对比模块，用于基于diff命令对排序后的所述文本文件进行对比，并基于对比结果获取所述异常数据所属的存储端。
[0017]在本说明书一些实施例中，所述内容排序模块，具体用于基于sort命令对所述文本文件的内容进行升序排序或降序排序。
[0018]在本说明书一些实施例中，所述文本文件对比模块，具体用于基于diff命令以逐行的方式对所述文本文件进行对比，获取异常的HASH值，并确定所述异常的HASH值所属的存储端，并在当需要对目录进行对比时，基于diff命令比较所述目录中具有相同文件名的文件。
[0019]在本说明书一些实施例中，还提供了一种电子设备和计算机可读存储介质，电子设备包括存储器，用于存储计算机软件程序；处理器，用于运行所述计算机软件程序时实现所述数据的一致性测试方法的步骤。计算机可读存储介质存储有计算机软件程序，所述计算机软件程序被运行时实现数据的一致性测试方法的步骤。
[0020]综上，基于上述本专利技术一些实施例，利用脚本命令，对比数据的MD5值找出异常数据，然后查询对应的异常数据的HASH值并输出，使用sort命令进行排序，再使用diff命令进行文件对比一致性，最后筛选出来异常数据的HASH值属于哪个存储端，以此协助研发定位问题。这样的测试方法，就像人工验算出文件HASH值再慢慢一点点比对一样，达到检测异常的功能，可以实现自动测试，节约人力成本，还可以更快地协助研发定位问题。
[0021]虽然上文描述的过程流程包括以特定顺序出现的多个操作，但是，应当清楚了解，这些过程可以包括更多或更少的操作，这些操作可以顺序执行或并行执行(例如使用并行处理器或多线程环境)。本专利技术是参照根据本专利技术实施例的方法的流程图和/或方框图来描述的。
[0022]还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法或者设备所固有的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据的一致性测试方法，其特征在于，所述方法包括：基于脚本命令，将待检测数据的MD5值与预存的MD5值进行对比，获取异常数据，所述异常数据的MD5值与预存的MD5值存在差异；查询所述异常数据的HASH值并输出至文本文件；基于sort命令对所述文本文件的内容进行排序；基于diff命令对排序后的所述文本文件进行对比，并基于对比结果获取所述异常数据所属的存储端。2.根据权利要求1所述的数据的一致性测试方法，其特征在于，基于sort命令对所述文本文件的内容进行升序排序或降序排序。3.根据权利要求1所述的数据的一致性测试方法，其特征在于，基于diff命令以逐行的方式对所述文本文件进行对比，获取异常的HASH值，并确定所述异常的HASH值所属的存储端。4.根据权利要求1所述的数据的一致性测试方法，其特征在于，当需要对目录进行对比时，则基于diff命令比较所述目录中具有相同文件名的文件。5.根据权利要求1所述的数据的一致性测试方法，其特征在于，所述文本文件为txt文件。6.根据权利要求3所述的数据的一致性测试方法，其特征在于，针对所述异常数据，进行多台存储端上的HASH值对比，获取进行对比的文本数据中存在的异常文件块所属的存储端的IP地址，基于所述IP地址获取所述异常的HASH值所属的存储端。7.一种数据的一致性测试装置，其特征在于，包括：MD5值对比模块，用于基于脚...

【专利技术属性】
技术研发人员：陈东良，
申请(专利权)人：创新科技术有限公司，
类型：发明
国别省市：