一种HDFS删除文件恢复方法、终端设备及存储介质技术

技术编号:24205676 阅读:50 留言:0更新日期:2020-05-20 14:33
本发明专利技术涉及一种HDFS删除文件恢复方法、终端设备及存储介质,该方法中包括:S1:扫描本地存储介质,识别HDFS的Namenode池和DataNode池并关联;S2:查找HDFS文件系统中的fsimage文件,并根据fsimage文件构建目录树;S3:解析HDFS文件系统中edit日志文件,提取所有删除文件的文件信息组成删除文件集合;S4:从HDFS文件系统对应的所有磁盘的未分配簇空间中查找DataNode节点对应的所有数据块组成数据块集合;S5:针对删除文件集合中的每个文件,从数据集合中查找其对应的数据块信息,并进行关联;S6:将删除文件集合与构建的目录树合并为包含删除文件的完整目录树。本发明专利技术通过日志重新构建文件系统目录结构,恢复出丢失文件,填补了国内HDFS删除文件恢复技术方便的空白。

An HDFS delete file recovery method, terminal equipment and storage media

【技术实现步骤摘要】
一种HDFS删除文件恢复方法、终端设备及存储介质
本专利技术涉及文件恢复领域,尤其涉及一种HDFS删除文件恢复方法、终端设备及存储介质。
技术介绍
HDFS文件系统是运行在通用硬件上的分布式文件系统,随着大数据的发展与普及,其删除文件的恢复技术在智能设备安全、网络信息安全领域将是一个备受关注的热点。目前对HDFS文件系统的文件提取均需通过Hadoop服务器进行文件读取,在Hadoop服务器未启动情况下,无法读取HDFS文件系统存储的文件;在HDFS文件删除情况下,国内外还没有发现有软件支持HDFS文件系统的删除恢复,导致无法深入对HDFS分布式文件系统删除文件进行取证。
技术实现思路
为了解决上述问题,本专利技术提出了一种HDFS删除文件恢复方法、终端设备及存储介质。具体方案如下:一种HDFS删除文件恢复方法,包括以下步骤:S1:扫描所有本地存储介质,识别HDFS的Namenode池和DataNode池,并关联同一个HDFS对应的namenode池和datanode池;S2:从HDFS的Nam本文档来自技高网...

【技术保护点】
1.一种HDFS删除文件恢复方法,其特征在于,包括以下步骤:/nS1:扫描所有本地存储介质,识别HDFS的Namenode池和DataNode池,并关联同一个HDFS对应的namenode池和datanode池;/nS2:从HDFS的NameNode池中查找HDFS文件系统的fsimage元数据文件,并根据fsimage文件构建目录树;/nS3:从HDFS的NameNode池中查找HDFS文件系统的edit日志文件,并解析HDFS的edit日志文件,提取所有删除文件的文件信息组成删除文件集合;/nS4:从HDFS文件系统关联的所有DataNode池的本地存储介质中,恢复出所有在DataNode...

【技术特征摘要】
1.一种HDFS删除文件恢复方法,其特征在于,包括以下步骤:
S1:扫描所有本地存储介质,识别HDFS的Namenode池和DataNode池,并关联同一个HDFS对应的namenode池和datanode池;
S2:从HDFS的NameNode池中查找HDFS文件系统的fsimage元数据文件,并根据fsimage文件构建目录树;
S3:从HDFS的NameNode池中查找HDFS文件系统的edit日志文件,并解析HDFS的edit日志文件,提取所有删除文件的文件信息组成删除文件集合;
S4:从HDFS文件系统关联的所有DataNode池的本地存储介质中,恢复出所有在DataNode池目录下被删除和已存在的数据块组成数据块集合;
S5:针对删除文件集合中的每个文件,从数据集合中查找其对应的数据块信息,并进行关联;当删除文件的数据块信息记载的所有数据块都完整查找到,将该文件标注为可恢复;当删除文件的数据块信息记载的数据块只有部分能够查找到,将该文件标注为部分可恢复;当删除文件的数据块信息记载的部分数据块都查找不到,将该文件标注为不可恢复;
S6:将删除文件集合与构建的目录树合并为包含删除文件的完整目录树。


2.根据权利要求1所述的HDFS删除文件恢复方法,其特征在于:步骤S1具体包括以下步骤:
S11:扫描所有本地存储介质,获取所有具有HDFS目录结构的目录;
S12:读取HDFS目录结构下的VERSION文件,并获取ClusterID和UuID;
S13:通过ClusterID和UuID,关联同一个HDFS的数据池,即namenode池和datanode池。


3.根据权利要求1所述的HDFS删除文件恢复方法,其特征在于:步...

【专利技术属性】
技术研发人员:杜辉阳沈长达吴少华
申请(专利权)人:厦门市美亚柏科信息股份有限公司
类型:发明
国别省市:福建;35

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1