一种验证方法及装置、计算机装置、可读存储介质制造方法及图纸

本发明专利技术实施例公开了一种验证方法及装置、计算机装置、可读存储介质，用于在基于堆叠式模块设计的分布式文件系统中及时发现错误,防止错误扩散，提供更可靠的保护，帮助定位问题,从而有助于设计更可靠的分布式文件系统，更好地实现数据完整性保护。本发明专利技术实施例方法应用于基于堆叠式模块设计的分布式文件系统，分布式文件系统包括N个模块，N为不小于2的正整数，该方法包括：当模块M接收到第一数据时，检测预设内存区域是否存储有第一数据对应的第一校验和，M为不大于N的正整数；若是，则利用第一数据生成第二校验和，并将第二校验和与第一校验和进行对比；若第二校验和与第一校验和不相同，则确定第一数据在模块M出现错误。

A verification method and device, computer device, readable storage medium

The embodiment of the invention discloses a method and device, verification device, computer readable storage medium used in the timely discovery of distributed file system error stack module design based on preventing error diffusion, provide reliable protection, so as to help locate the problem, distributed file system can help to design more reliable, better the realization of data integrity protection. The embodiment of the invention method is applied to the distributed file system stack module design based on the distributed file system consists of N module, the N is not less than 2 of the positive integer, the method includes: when the M module receives the first data when the preset memory area is the first detection and calibration of storing first data corresponding to the M. Is a positive integer not greater than N; if so, by using the first data generated second checksum, and second checksum with the first check and compare with the first and second check; if the checksum is not the same, it is determined that the first data error in module M.

【技术实现步骤摘要】
一种验证方法及装置、计算机装置、可读存储介质
本专利技术涉及数据处理领域，尤其涉及一种验证方法及装置、计算机装置、可读存储介质。
技术介绍
保持数据完整性是现代存储系统的重中之重。目前，有各种各样的技术被开发和应用来改进数据完整性的保护，其中最常用、最受欢迎的就是校验和方法。传统的针对存储系统的校验和方法一般分为两类：一类是端到端校验，另一类是磁盘校验和。其中，针对端到端校验,一般是在应用程序将数据传给后端系统接口开始并使用校验和保护，之后一直到数据被读取时才使用校验和进行验证，但这样的话存在错误发现慢的缺陷，且如果数据不返回时，就没法进行校验和验证。而磁盘校验和，在磁盘写入数据时可以与计算的校验和一起存储，之后在数据被读取时也可以使用校验和来进行验证。但无论端到端校验还是磁盘校验和都没有对类似于glusterfs(一种分布式文件系统)的堆叠式文件系统的各模块间进行校验和验证，以实现数据完整性的保护。
技术实现思路
本专利技术实施例提供了一种验证方法及装置、计算机装置、可读存储介质，用于在基于堆叠式模块设计的分布式文件系统中及时发现错误,防止错误扩散，提供更可靠的保护，帮助定位问题,从而有助于设计更可靠的基于堆叠式模块设计的分布式文件系统，更好地实现数据完整性保护。有鉴于此，本专利技术第一方面提供一种验证方法，应用于基于堆叠式模块设计的分布式文件系统，分布式文件系统包括N个模块，N为不小于2的正整数，可包括：当模块M接收到第一数据时，检测预设内存区域是否存储有第一数据对应的第一校验和，M为不大于N的正整数；若是，则利用第一数据生成第二校验和，并将第二校验和与第一校验和进行对比；若第二校验和与第一校验和不相同，则确定第一数据在模块M出现错误。进一步的，在检测预设内存区域是否存储有第一校验和之前，方法还包括：检测模块M的预设校验开关是否开启；若是，则触发检测预设内存区域是否存储有第一校验和的步骤。进一步的，方法还包括：确定分布式文件系统的负载；根据负载的高低开启W个模块对应的预设校验开关，W为不大于N的正整数。进一步的，根据负载的高低开启W个模块对应的预设校验开关包括：将N个模块的重要性按照由高到低的原则排序；根据负载的高低，开启N个模块中排序靠前的W个模块对应的预设校验开关。进一步的，当M为1时，预设校验开关为开启状态；当M为N时，预设校验开关为开启状态。进一步的，方法还包括：若预设内存区域未存储第一校验和，或模块M的预设校验开关未开启，或第二校验和与第一校验和相同，则将第一数据发送至模块M+K，K为-1或1。进一步的，方法还包括：当预设内存区域未存储第一校验和时，在预设存储区域存储第二校验和，或存储第二校验和与预设魔数、第一数据的第一数据长度、第一数据的预设位置的第一采样数据中的至少一种，并将第二校验和作为第一校验和。进一步的，当预设存储区域存储有第一校验和与第一校验和对应的第二数据的第二数据长度时，在利用第一数据生成第二校验和之前，方法还包括：检测第二数据长度是否发生变化；若否，则触发利用第一数据生成第二校验和的步骤。进一步的，当预设存储区域还存储有检测预设魔数时，在检测第二数据长度是否发生变化之前，方法还包括：检测预设魔数是否发生变化；若否，则触发检测第二数据长度是否发生变化的步骤。进一步的，当预设存储区域还存储有第二数据的预设位置的第二采样数据时，若第二校验和与第一校验和相同，则将第一数据发送至模块M+K包括：若第二校验和与第一校验和相同，则将第二采样数据与第一采样数据进行对比；若第二采样数据与第一采样数据相同，则将第一数据发送至模块M+K。本专利技术第二方面提供一种验证装置，应用于基于堆叠式模块设计的分布式文件系统，分布式文件系统包括N个模块，N为不小于2的正整数，可包括：第一检测单元，用于当模块M接收到第一数据时，检测预设内存区域是否存储有第一数据对应的第一校验和，M为不大于N的正整数；生成单元，用于当预设内存区域存储有第一校验和时，则利用第一数据生成第二校验和；对比单元，用于将第二校验和与第一校验和进行对比；第一确定单元，用于当第二校验和与第一校验和不相同时，则确定第一数据在模块M出现错误。进一步的，装置还包括：第二检测单元，用于检测模块M的预设校验开关是否开启；第一触发单元，用于当模块M的预设校验开关开启时，则触发第一检测单元检测预设内存区域是否存储有第一校验和。进一步的，装置还包括：第二确定单元，用于确定分布式文件系统的负载；开启单元，用于根据负载的高低开启W个模块对应的预设校验开关，W为不大于N的正整数。进一步的，开启单元，具体用于：将N个模块的重要性按照由高到低的原则排序；根据负载的高低，开启N个模块中排序靠前的W个模块对应的预设校验开关。进一步的，当M为1时，预设校验开关为开启状态；当M为N时，预设校验开关为开启状态。进一步的，装置还包括：发送单元，用于当预设内存区域未存储第一校验和，或模块M的预设校验开关未开启，或第二校验和与第一校验和相同时，则将第一数据发送至模块M+K，K为-1或1。进一步的，装置还包括：存储单元，用于当预设内存区域未存储第一校验和时，在预设存储区域存储第二校验和，或存储第二校验和与预设魔数、第一数据的第一数据长度、第一数据的预设位置的第一采样数据中的至少一种，并将第二校验和作为第一校验和。进一步的，当预设存储区域存储有第一校验和与第一校验和对应的第二数据的第二数据长度时，装置还包括：第三检测单元，用于检测第二数据长度是否发生变化；第二触发单元，用于当第二数据长度未发生变化时，则触发生成单元利用第一数据生成第二校验和。进一步的，当预设存储区域还存储有检测预设魔数时，装置还包括：第四检测单元，用于检测预设魔数是否发生变化；第三触发单元，用于当预设魔数未发生变化时，则触发第三检测单元检测第二数据长度是否发生变化。进一步的，当预设存储区域还存储有第二数据的预设位置的第二采样数据时，发送单元，具体用于：若第二校验和与第一校验和相同，则将第二采样数据与第一采样数据进行对比；若第二采样数据与第一采样数据相同，则将第一数据发送至模块M+K。本专利技术第三方面提供一种计算机装置，应用于基于堆叠式模块设计的分布式文件系统，分布式文件系统包括N个模块，N为不小于2的正整数，计算机装置包括处理器，处理器用于执行存储器中存储的计算机程序时，实现如下步骤：当模块M接收到第一数据时，检测预设内存区域是否存储有第一数据对应的第一校验和，M为不大于N的正整数；若是，则利用第一数据生成第二校验和，并将第二校验和与第一校验和进行对比；若第二校验和与第一校验和不相同，则确定第一数据在模块M出现错误。本专利技术第四方面提供一种计算机可读存储介质，应用于基于堆叠式模块设计的分布式文件系统，分布式文件系统包括N个模块，N为不小于2的正整数，可读存储介质上存储有计算机程序，计算机程序被处理器执行时，实现如下步骤：当模块M接收到第一数据时，检测预设内存区域是否存储有第一数据对应的第一校验和，M为不大于N的正整数；若是，则利用第一数据生成第二校验和，并将第二校验和与第一校验和进行对比；若第二校验和与第一校验和不相同，则确定第一数据在模块M出现错误。从以上技术方案可以看出，本专利技术实施例具有以下优点：本专利技术实施例提供了一种验本文档来自技高网...

【技术保护点】
一种验证方法，应用于基于堆叠式模块设计的分布式文件系统，所述分布式文件系统包括N个模块，所述N为不小于2的正整数，其特征在于，包括：当模块M接收到第一数据时，检测预设内存区域是否存储有所述第一数据对应的第一校验和，所述M为不大于N的正整数；若是，则利用所述第一数据生成第二校验和，并将所述第二校验和与所述第一校验和进行对比；若所述第二校验和与所述第一校验和不相同，则确定所述第一数据在所述模块M出现错误。

【技术特征摘要】
1.一种验证方法，应用于基于堆叠式模块设计的分布式文件系统，所述分布式文件系统包括N个模块，所述N为不小于2的正整数，其特征在于，包括：当模块M接收到第一数据时，检测预设内存区域是否存储有所述第一数据对应的第一校验和，所述M为不大于N的正整数；若是，则利用所述第一数据生成第二校验和，并将所述第二校验和与所述第一校验和进行对比；若所述第二校验和与所述第一校验和不相同，则确定所述第一数据在所述模块M出现错误。2.根据权利要求1所述的方法，其特征在于，在所述检测预设内存区域是否存储有第一校验和之前，所述方法还包括：检测所述模块M的预设校验开关是否开启；若是，则触发所述检测预设内存区域是否存储有第一校验和的步骤。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：确定所述分布式文件系统的负载；根据所述负载的高低开启W个模块对应的预设校验开关，所述W为不大于N的正整数。4.根据权利要求3所述的方法，其特征在于，所述根据所述负载的高低开启W个模块对应的预设校验开关包括：将所述N个模块的重要性按照由高到低的原则排序；根据所述负载的高低，开启所述N个模块中排序靠前的W个模块对应的预设校验开关。5.根据权利要求4所述的方法，其特征在于，当所述M为1时，所述预设校验开关为开启状态；当所述M为N时，所述预设校验开关为开启状态。6.根据权利要求2至5中任一项所述的方法，其特征在于，所述方法还包括：若所述预设内存区域未存储所述第一校验和，或所述模块M的预设校验开关未开启，或所述第二校验和与所述第一校验和相同，则将所述第一数据发送至模块M+K，所述K为-1或1。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：当所述预设内存区域未存储所述第一校验和时，在所述预设存储区域存储第二校验和，或存储所述第二校验和与预设魔数、所述第一数据的第一数据长度、所述第一数据的预设位置的第一采样数据中的至少一种，并将所述第二校验和作为所述第一校验和。8.根据权...

【专利技术属性】
技术研发人员：古亮，李诗逸，赵辉宇，吴大立，李庆，
申请(专利权)人：深信服科技股份有限公司，
类型：发明
国别省市：广东,44