一种文件的检测和修复方法、装置和系统制造方法及图纸

本公开实施例提供一种文件的检测和修复方法、装置和系统，涉及分布式文件系统技术领域。该方法的具体实施方式包括：接收一个或多个文件检测任务；响应于文件检测任务，根据端点配置中的元数据服务器地址，访问元数据服务器，从元数据服务器中读取文件检测任务对应的待检测文件的元数据信息；将待检测文件的元数据信息与对应的服务节点上存储的文件副本进行对比，确定各个文件副本中的损坏副本、以及各个损坏副本的损坏类型；根据损坏类型，对损坏副本进行备份修复或者同步修复。该实施方式能够缩短检测耗时和计算资源消耗，提升检测效率，降低系统负载，提升修复效率，兜底极限全损坏场景，保证数据内容的准确度和完整度，提升用户访问体验。

【技术实现步骤摘要】

本公开涉及分布式文件系统，尤其涉及一种文件的检测和修复方法、装置和系统。

技术介绍

1、随着大数据技术的不断发展，具有安全性和可靠性高、扩展性强、存取效率高且用户无感等优点的分布式文件系统(distributed file system，dfs)被广泛应用，以glusterfs(简称gfs)为例，用户通过虚拟端口向gfs的客户端发送数据处理请求，响应于数据处理请求，客户端与对应的gfs的服务端交互，执行数据的读/写、修改、删除等操作。

2、为了保证数据的准确性和完整性，只能利用自带的文件损坏修复命令heal对损坏数据进行修复，heal的修复模式包括自动扫描修复和指定路径修复两种，自动扫描修复是指定期扫描全盘数据，定位其中的损坏数据并修复；指定路径修复是指在用户访问过程中发现数据损坏时，主动上报损坏数据所在的路径，由gfs调用heal命令进行修复。

3、然而，由于gfs没有集中式的元数据管理中心，自动扫描修复方式需要全盘扫描，一方面，修复过程耗时长，使得修复成本大大增加；另一方面，定期扫描的方式对于文件损坏的感知过于滞后，同时修复需要本文档来自技高网...

【技术保护点】

1.一种文件的检测和修复方法，其特征在于，所述方法应用于GFS服务端的GFS服务节点，所述方法包括：

2.如权利要求1所述的文件的检测和修复方法，其特征在于，所述元数据信息包括文件名称、文件大小和节点标识；所述将所述待检测文件的元数据信息与对应的服务节点上存储的文件副本进行对比，确定各个所述文件副本中的损坏副本，包括：

3.如权利要求2所述的文件的检测和修复方法，其特征在于，所述元数据信息还包括与文件名称对应的各个文件块的哈希值；在所述待检测文件的文件大小与所述副本大小相同的情况下，还包括：

4.如权利要求3所述的文件的检测和修复方法，其特征在于，在所...

【技术特征摘要】

1.一种文件的检测和修复方法，其特征在于，所述方法应用于gfs服务端的gfs服务节点，所述方法包括：

2.如权利要求1所述的文件的检测和修复方法，其特征在于，所述元数据信息包括文件名称、文件大小和节点标识；所述将所述待检测文件的元数据信息与对应的服务节点上存储的文件副本进行对比，确定各个所述文件副本中的损坏副本，包括：

3.如权利要求2所述的文件的检测和修复方法，其特征在于，所述元数据信息还包括与文件名称对应的各个文件块的哈希值；在所述待检测文件的文件大小与所述副本大小相同的情况下，还包括：

4.如权利要求3所述的文件的检测和修复方法，其特征在于，在所述当前副本块的哈希值和所述当前文件块的哈希值不等的情况下，确定所述当前副本块为损坏块且所述文件副本为损坏副本。

5.如权利要求4所述的文件的检测和修复方法，其特征在于，还包括：

6.如权利要求1所述的文件的检测和修复方法，其特征在于，所述确定各个所述损坏副本的损坏类型，包括：

7.如权利要求6所述的文件的检测和修复方法，其特征在于，在所述损坏副本的副本数量不等于所述副本总数的情况下，还包括：

8.如权利要求1所述的文件的检测和修复方法，其特征在于，所述损坏类型包括第一类型、第二类型和第三类型，所述根据所述损坏类型，对所述损坏副本进行备份修复，包括：

9.如权利要求8所述的文件的检测和修复方法，其特征在于，所述采用备份修复的方式修复...

【专利技术属性】
技术研发人员：胡东旭，陈存利，赵鹏，
申请(专利权)人：度小满科技北京有限公司，
类型：发明
国别省市：