一种数据正确性校验方法及装置制造方法及图纸

本发明专利技术实施例提供了一种数据正确性校验的方法及装置，该方法通过预先设置正确性校验的时间点，当达到上述设置的时间点时，便开始对已存储在磁盘中的目标数据块进行正确性校验，若目标数据块中存在第一校验码与第二校验码不一致的文件对象，判定目标数据块未通过校验，若目标数据块中不存在第一校验码与第二校验码不一致的文件对象，则判定目标数据块通过校验；可见，应用本发明专利技术实施例提供的方案进行正确性校验，能够根据设置的时间点对目标数据块进行正确性校验，避免了长时间未对目标数据块进行正确性校验的现象，有效地提高了数据存储系统的数据安全性和稳定性。

【技术实现步骤摘要】
一种数据正确性校验方法及装置
本专利技术涉及计算机
，特别是涉及一种数据正确性校验方法及装置。
技术介绍
伴随着互联网时代的高速发展，网络中的文件也呈数量级递增，为了保证海量文件的数据安全性，通常采用多副本形式的数据存储规则对上述文件进行存储，例如可采用三副本形式对上述某一文件进行存储，是将该文件复制成三份相同的文件副本，每一文件副本对应存储到一个磁盘中，如果其中某一磁盘中存储的文件发生损坏的话，可以通过访问余下的两个磁盘中的文件副本进行数据修复，这样能够保证存储文件的数据安全性。在磁盘的长期运行过程中难免会发生碰撞、过保质期等外界干扰，那么磁盘中存储的数据可能会发生损坏，为此需对已存储的数据进行正确性校验。但就目前来说，数据正确性校验均在数据写入和读取的过程中进行，而磁盘中所存储数据中八成以上的数据都很少被访问到，这也意味着，在很长一段时间内这些已存储的数据没有进行数据正确性校验，而如果长时间不进行数据正确性校验的话，很有可能某一文件对应的多个文件副本均发生损坏，若该文件对应的多个副本均发生损坏的话，将无法对该文件进行修复，造成数据存储系统的数据安全性低下、稳定性差。
技术实现思路
本专利技术实施例的目的在于提供一种数据正确性校验的方法及装置，以提高数据存储系统的数据安全性和稳定性。为了达到上述目的，本专利技术实施例公开了一种数据正确性校验方法，应用于数据存储系统中的控制节点，所述方法包括：判断是否到达预设时间点；如果是，对目标数据块进行正确性校验。可选地，所述对目标数据块进行正确性校验的步骤，包括：获得目标数据块和所述目标数据块对应的索引文件，其中，所述目标数据块为至少一个文件对象的集合，所述索引文件为所述目标数据块中每一文件对象的索引的集合；检测所述目标数据块中是否存在第一校验码与第二校验码不一致的文件对象，其中，对于所述目标数据块中的每一文件对象，所述第一校验码为：本地存储的针对文件对象中对象内容的校验码，所述第二校验码为：根据文件对象中对象内容计算得到的校验码；若存在，判定所述目标数据块未通过校验；若不存在，判定所述目标数据块通过校验。可选地，所述获得目标数据块和所述目标数据块对应的索引文件的步骤，包括：根据目标校验目录、目标数据块的标识或所述目标数据块对应的索引文件的标识，从磁盘中获得所述目标数据块和所述索引文件，其中，所述目标校验目录包括：所述目标数据块的标识与所述目标数据块对应索引文件的标识之间的对应关系。可选地，在所述数据存储系统按照多副本形式进行数据存储的情况下，所述方法还包括：当判定所述目标数据块未通过校验时，将所述目标数据块替换为第一数据块，所述第一数据块为与所述目标数据块匹配的其他数据块副本中通过校验的数据块副本。可选地，所述方法还包括：在判定所述目标数据块通过校验之后，判断第一结束时刻是否处于预设结束时刻之前，其中，所述第一结束时刻为：判定所述目标数据块通过校验时的时刻；如果是，在所述第一结束时刻至所述预设结束时刻之间进入睡眠状态。可选地，所述检测所述目标数据块中是否存在第一校验码与第二校验码不一致的文件对象的步骤，包括：按照预设的顺序，从所述目标数据块的文件对象中确定当前文件对象；检测当前文件对象的第一校验码与第二校验码是否一致；若一致，累积所述目标数据块中已检测文件对象的数据大小，获得数据总和；并根据当前时间戳和起始校验时间戳，计算总校验耗时；根据所述数据总和以及所述总校验耗时，计算实际磁盘读取速度；判断所述实际磁盘读取速度是否大于预设磁盘读取速度限值；若小于等于，判断是否完成针对所述目标数据块中所有文件对象的校验，若未完成，按照所述预设的顺序将当前文件对象更新为下一文件对象，并返回所述检测当前文件对象的第一校验码与第二校验码是否一致的步骤；若已完成，判定所述目标数据块中不存在第一校验码与第二校验码不一致的文件对象；若大于，根据所述当前文件对象的数据大小和以及所述预设磁盘读取速度限值，计算对当前文件对象进行校验的标准耗时，并获得对当前文件对象进行校验的实际耗时，进入休眠状态，休眠时长为：所述标准耗时与所述实际耗时的差值；休眠结束后，执行所述判断是否完成针对所述目标数据块中所有文件对象的校验的步骤；若不一致，判定所述目标数据块中存在第一校验码与第二校验码不一致的文件对象。为了达到上述目的，本专利技术实施例还公开了一种数据正确性校验装置，应用于数据存储系统中的控制节点，所述装置包括：第一判断模块，用于判断是否到达预设时间点；校验模块，用于在所述判断模块判定为是的情况下，对目标数据块进行正确性校验。可选地，所述校验模块，包括：获得子模块，用于获得目标数据块和所述目标数据块对应的索引文件，其中，所述目标数据块为至少一个文件对象的集合，所述索引文件为所述目标数据块中每一文件对象的索引的集合；检测子模块，用于检测所述目标数据块中是否存在第一校验码与第二校验码不一致的文件对象，其中，对于所述目标数据块中的每一文件对象，所述第一校验码为：本地存储的针对文件对象中对象内容的校验码，所述第二校验码为：根据文件对象中对象内容计算得到的校验码；第一判定子模块，用于在所述检测子模块检测为是的情况下，判定所述目标数据块未通过校验；第二判定子模块，用于在所述检测子模块检测为否的情况下，判定所述目标数据块通过校验。可选地，所述获得子模块，具体用于：根据目标校验目录、目标数据块的标识或所述目标数据块对应的索引文件的标识，从磁盘中获得所述目标数据块和所述索引文件，其中，所述目标校验目录包括：所述目标数据块的标识与所述目标数据块对应索引文件的标识之间的对应关系。可选地，在所述数据存储系统按照多副本形式进行数据存储的情况下，所述装置还包括：替换模块，用于在所述目标数据块未通过校验时，将所述目标数据块替换为第一数据块，所述第一数据块为与所述目标数据块匹配的其他数据块副本中通过校验的数据块副本。可选地，所述装置还包括：第二判断模块，用于在判定所述目标数据块通过校验之后，判断第一结束时刻是否处于预设结束时刻之前，其中，所述第一结束时刻为：判定所述目标数据块通过校验时的时刻；第一睡眠模块，用于在所述第二判断模块判断结果为是的情况下，在所述第一结束时刻至所述预设结束时刻之间进入睡眠状态。可选地，所述检测子模块，包括：对象确定单元，用于按照预设的顺序，从所述目标数据块的文件对象中确定当前文件对象；对象检测单元，用于检测当前文件对象的第一校验码与第二校验码是否一致；耗时计算单元，用于在所述对象检测单元的检测结果为一致的情况下，累积所述目标数据块中已检测文件对象的数据大小，获得数据总和；并根据当前时间戳和起始校验时间戳，计算总校验耗时；速度计算单元，用于根据所述数据总和以及所述总校验耗时，计算实际磁盘读取速度；速度判断单元，用于判断所述实际磁盘读取速度是否大于预设磁盘读取速度限值；校验判断单元，用于在所述判断单元的判断结果为小于等于的情况下，判断是否完成针对所述目标数据块中所有文件对象的校验，若未完成，按照所述预设的顺序将当前文件对象更新为下一文件对象，并触发所述对象检测单元；若已完成，判定所述目标数据块中不存在第一校验码与第二校验码不一致的文件对象；耗时获得单元，用于在所述判断单元的判断结果为大于的情况下，根据所述当前文件本文档来自技高网...

【技术保护点】
1.一种数据正确性校验方法，应用于数据存储系统中的控制节点，其特征在于，所述方法包括：判断是否到达预设时间点；如果是，对目标数据块进行正确性校验。

【技术特征摘要】
1.一种数据正确性校验方法，应用于数据存储系统中的控制节点，其特征在于，所述方法包括：判断是否到达预设时间点；如果是，对目标数据块进行正确性校验。2.根据权利要求1所述的方法，其特征在于，所述对目标数据块进行正确性校验的步骤，包括：获得目标数据块和所述目标数据块对应的索引文件，其中，所述目标数据块为至少一个文件对象的集合，所述索引文件为所述目标数据块中每一文件对象的索引的集合；检测所述目标数据块中是否存在第一校验码与第二校验码不一致的文件对象，其中，对于所述目标数据块中的每一文件对象，所述第一校验码为：本地存储的针对文件对象中对象内容的校验码，所述第二校验码为：根据文件对象中对象内容计算得到的校验码；若存在，判定所述目标数据块未通过校验；若不存在，判定所述目标数据块通过校验。3.根据权利要求2所述的方法，其特征在于，所述获得目标数据块和所述目标数据块对应的索引文件的步骤，包括：根据目标校验目录、目标数据块的标识或所述目标数据块对应的索引文件的标识，从磁盘中获得所述目标数据块和所述索引文件，其中，所述目标校验目录包括：所述目标数据块的标识与所述目标数据块对应索引文件的标识之间的对应关系。4.根据权利要求2所述的方法，其特征在于，在所述数据存储系统按照多副本形式进行数据存储的情况下，所述方法还包括：当判定所述目标数据块未通过校验时，将所述目标数据块替换为第一数据块，所述第一数据块为与所述目标数据块匹配的其他数据块副本中通过校验的数据块副本。5.根据权利要求2所述的方法，其特征在于，所述方法还包括：在判定所述目标数据块通过校验之后，判断第一结束时刻是否处于预设结束时刻之前，其中，所述第一结束时刻为：判定所述目标数据块通过校验时的时刻；如果是，在所述第一结束时刻至所述预设结束时刻之间进入睡眠状态。6.根据权利要求2-5中任意一项所述的方法，其特征在于，所述检测所述目标数据块中是否存在第一校验码与第二校验码不一致的文件对象的步骤，包括：按照预设的顺序，从所述目标数据块的文件对象中确定当前文件对象；检测当前文件对象的第一校验码与第二校验码是否一致；若一致，累积所述目标数据块中已检测文件对象的数据大小，获得数据总和；并根据当前时间戳和起始校验时间戳，计算总校验耗时；根据所述数据总和以及所述总校验耗时，计算实际磁盘读取速度；判断所述实际磁盘读取速度是否大于预设磁盘读取速度限值；若小于等于，判断是否完成针对所述目标数据块中所有文件对象的校验，若未完成，按照所述预设的顺序将当前文件对象更新为下一文件对象，并返回所述检测当前文件对象的第一校验码与第二校验码是否一致的步骤；若已完成，判定所述目标数据块中不存在第一校验码与第二校验码不一致的文件对象；若大于，根据所述当前文件对象的数据大小和以及所述预设磁盘读取速度限值，计算对当前文件对象进行校验的标准耗时，并获得对当前文件对象进行校验的实际耗时，进入休眠状态，休眠时长为：所述标准耗时与所述实际耗时的差值；休眠结束后，执行所述判断是否完成针对所述目标数据块中所有文件对象的校验的步骤；若不一致，判定所述目标数据块中存在第一校验码与第二校验码不一致的文件对象。7.一种数据正确性校验装置，应用于数据存储系统中的控制节点，其特征在于，所述装置包括：第一判断模块，用于判断是否到达预设时间点；校验模块，用于在所述判断模块判定为是的情...

【专利技术属性】
技术研发人员：韩冰，
申请(专利权)人：北京金山云网络技术有限公司，北京金山云科技有限公司，
类型：发明
国别省市：北京,11