一种数据异常处理方法、装置、存储介质和计算机设备制造方法及图纸

技术编号:27091842 阅读:32 留言:0更新日期:2021-01-25 18:24
本发明专利技术实施例提供的一种数据异常处理方法、装置、存储介质和计算机设备,可以确定存储在第一磁盘块组中的各文件块的序号;根据所述文件块的序号和所述第一磁盘块组中包含的文件块的数量确定存储在所述第一磁盘块组中的各文件块所属的文件块组的序号估值;在确定的各序号估值中包括至少两个不同的序号估值时,确定所述第一磁盘块组中存在异常的文件块。本发明专利技术实施例采用根据磁盘块组中文件块的序号确定该文件块所属的文件块组的序号估值,从而确定磁盘块组中存在异常的文件块的技术手段,克服了无法确定磁盘块组中是否存在异常的文件块的技术问题,进而达到了可以发现磁盘块组中的文件块异常的技术效果。中的文件块异常的技术效果。中的文件块异常的技术效果。

【技术实现步骤摘要】
一种数据异常处理方法、装置、存储介质和计算机设备


[0001]本专利技术涉及数据处理领域,尤其涉及一种数据异常处理方法、装置、存储介质和计算机设备。

技术介绍

[0002]为了简化用户端的使用以及降低数据缓冲对网络造成的压力,如今主要采用分布式存储的方式将数据划分成多个文件块后缓存到磁盘中。
[0003]然而,将划分成多个文件块的数据缓存到磁盘时,该多个文件块中的部分或全部文件块可能会出现错误和丢失等异常情况。当出现异常情况时,由于无法得知已经缓存到磁盘中的多个文件块中具体出现异常的文件块,因此,只能将已缓存到磁盘中的文件块全部清除重新进行缓存,否则用户端从磁盘中获得的数据将是部分错误和/或缺失的数据,也就是在出现异常情况时,用户端无法得到完整正确的数据。
[0004]所以,为了保证用户端可以获得完整正确的数据,需要可以确定磁盘中是否存在异常的文件块的方法。

技术实现思路

[0005]鉴于上述问题,本专利技术提供一种克服上述问题或者至少部分地解决上述问题的一种数据异常处理方法、装置、存储介质和计算机设备,技术方案如下:
[0006]一种数据异常处理方法,包括:
[0007]确定存储在第一磁盘块组中的各文件块的序号;
[0008]根据所述文件块的序号和所述第一磁盘块组中包含的文件块的数量确定存储在所述第一磁盘块组中的各文件块所属的文件块组的序号估值;
[0009]在确定的各序号估值中包括至少两个不同的序号估值时,确定所述第一磁盘块组中存在异常的文件块。r/>[0010]可选的,所述根据所述文件块的序号和所述第一磁盘块组中包含的文件块的数量确定存储在所述第一磁盘块组中的各文件块所属的文件块组的序号估值,包括:
[0011]对每个所述文件块:将该文件块的序号减去文件块的起始序号后除以所述第一磁盘块组中包含的文件块的数量获得商,将该商进行向下取整,将取整后的结果确定为该文件块所属的文件块组的序号估值。
[0012]可选的,所述方法还包括:
[0013]判断确定的各序号估值中所包括的不同的序号估值的数量,在所述数量低于预设数量时,将在所述第一磁盘块组中且所属的文件块组的序号估值位于第一序号估值组的文件块确定为异常的文件块,所述第一序号估值组为在所述各序号估值中出现次数最多的序号估值外的其他序号估值构成的序号估值组;
[0014]和/或,
[0015]判断所述各序号估值中出现次数最多的序号估值的出现次数是否高于预设次数,
如果是,将在所述第一磁盘块组中且所属的文件块组的序号估值位于第一序号估值组的文件块确定为异常的文件块,所述第一序号估值组为在所述各序号估值中出现次数最多的序号估值外的其他序号估值构成的序号估值组。
[0016]可选的,所述方法还包括:
[0017]在所述数量不低于预设数量时,将所述第一磁盘块组中的各文件块进行清除;
[0018]和/或,
[0019]在出现次数不高于预设次数时,将所述第一磁盘块组中的各文件块进行清除。
[0020]可选的,所述方法还包括:
[0021]根据出现次数最多的序号估值,将所述异常的文件块替换为正确的文件块。
[0022]可选的,所述第一磁盘块组位于第一类型磁盘中,所述根据出现次数最多的序号估值,将所述异常的文件块替换为正确的文件块,包括:
[0023]根据所述异常的文件块与正常的文件块在所述第一磁盘块组中的位置关系,确定所述异常的文件块对应的正确的文件块的序号及所述正确的文件块所属的文件的文件id,其中,所述正常的文件块所属的文件块组的序号估值为所述出现次数最多的序号估值;
[0024]根据所述正确的文件块的序号及所述正确的文件块所属的文件的文件id,从第二类型磁盘中获得所述正确的文件块并将所述异常的文件块替换为所述正确的文件块。
[0025]一种数据异常处理装置,包括:文件块序号确定单元、序号估值确定单元和异常文件块确定单元,
[0026]所述文件块序号确定单元,用于确定存储在第一磁盘块组中的各文件块的序号;
[0027]所述序号估值确定单元,用于根据所述文件块的序号和所述第一磁盘块组中包含的文件块的数量确定存储在所述第一磁盘块组中的各文件块所属的文件块组的序号估值;
[0028]所述异常文件块确定单元,用于在确定的各序号估值中包括至少两个不同的序号估值时,确定所述第一磁盘块组中存在异常的文件块。
[0029]可选的,所述序号估值确定单元具体用于对每个所述文件块:将该文件块的序号减去文件块的起始序号后除以所述第一磁盘块组中包含的文件块的数量获得商,将该商进行向下取整,将取整后的结果确定为该文件块所属的文件块组的序号估值。
[0030]一种存储介质,所述存储介质中存储有计算机可执行指令,所述计算机可执行指令被处理器加载并执行时,实现如上述任一项所述的数据异常处理方法。
[0031]一种计算机设备,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序,所述处理器执行程序时至少实现以下步骤:
[0032]确定存储在第一磁盘块组中的各文件块的序号;
[0033]根据所述文件块的序号和所述第一磁盘块组中包含的文件块的数量确定存储在所述第一磁盘块组中的各文件块所属的文件块组的序号估值;
[0034]在确定的各序号估值中包括至少两个不同的序号估值时,确定所述第一磁盘块组中存在异常的文件块。
[0035]借由上述技术方案,本专利技术提供的一种数据异常处理方法、装置、存储介质和计算机设备,可以确定存储在第一磁盘块组中的各文件块的序号;根据所述文件块的序号和所述第一磁盘块组中包含的文件块的数量确定存储在所述第一磁盘块组中的各文件块所属的文件块组的序号估值;在确定的各序号估值中包括至少两个不同的序号估值时,确定所
述第一磁盘块组中存在异常的文件块。本专利技术实施例采用根据磁盘块组中文件块的序号确定该文件块所属的文件块组的序号估值,从而确定磁盘块组中存在异常的文件块的技术手段,克服了无法确定磁盘块组中是否存在异常的文件块的技术问题,进而达到了可以发现磁盘块组中的文件块异常的技术效果。
[0036]上述说明仅是本专利技术技术方案的概述,为了能够更清楚了解本专利技术的技术手段,而可依照说明书的内容予以实施,并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂,以下特举本专利技术的具体实施方式。
附图说明
[0037]通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本专利技术的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
[0038]图1示出了本专利技术实施例提供的一种数据异常处理方法的流程示意图;
[0039]图2示出了本专利技术实施例提供的将总数据划分为文件块的说明示意图;
[0040]图3示出了本专利技术实施例提供的将文件本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据异常处理方法,其特征在于,包括:确定存储在第一磁盘块组中的各文件块的序号;根据所述文件块的序号和所述第一磁盘块组中包含的文件块的数量确定存储在所述第一磁盘块组中的各文件块所属的文件块组的序号估值;在确定的各序号估值中包括至少两个不同的序号估值时,确定所述第一磁盘块组中存在异常的文件块。2.根据权利要求1所述的方法,其特征在于,所述根据所述文件块的序号和所述第一磁盘块组中包含的文件块的数量确定存储在所述第一磁盘块组中的各文件块所属的文件块组的序号估值,包括:对每个所述文件块:将该文件块的序号减去文件块的起始序号后除以所述第一磁盘块组中包含的文件块的数量获得商,将该商进行向下取整,将取整后的结果确定为该文件块所属的文件块组的序号估值。3.根据权利要求1所述的方法,其特征在于,还包括:判断确定的各序号估值中所包括的不同的序号估值的数量,在所述数量低于预设数量时,将在所述第一磁盘块组中且所属的文件块组的序号估值位于第一序号估值组的文件块确定为异常的文件块,所述第一序号估值组为在所述各序号估值中出现次数最多的序号估值外的其他序号估值构成的序号估值组;和/或,判断所述各序号估值中出现次数最多的序号估值的出现次数是否高于预设次数,如果是,将在所述第一磁盘块组中且所属的文件块组的序号估值位于第一序号估值组的文件块确定为异常的文件块,所述第一序号估值组为在所述各序号估值中出现次数最多的序号估值外的其他序号估值构成的序号估值组。4.根据权利要求3所述的方法,其特征在于,还包括:在所述数量不低于预设数量时,将所述第一磁盘块组中的各文件块进行清除;和/或,在出现次数不高于预设次数时,将所述第一磁盘块组中的各文件块进行清除。5.根据权利要求3所述的方法,其特征在于,还包括:根据出现次数最多的序号估值,将所述异常的文件块替换为正确的文件块。6.根据权利要求5所述的方法,其特征在于,所述第一磁盘块组位于第一类型磁盘中,所述根据出现次数最多的序号估值,将所述异常的...

【专利技术属性】
技术研发人员:徐佳宏朱吕亮刘瑞顺
申请(专利权)人:深圳市茁壮网络股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1
相关领域技术
  • 暂无相关专利