一种文件的确定方法及装置制造方法及图纸

技术编号:41704703 阅读:19 留言:0更新日期:2024-06-19 12:36
本申请提供一种文件的确定方法及装置,涉及通信领域,能够快速确定分布式文件系统中的目标文件,且不占用分布式文件系统所在集群的资源。该方法包括:获取分布式文件系统HDFS的名称节点NameNode中的元数据,元数据用于表征多个文件的存储信息;传输元数据到接口机,并通过接口机对元数据进行解析,得到多个文件的路径信息;根据多个文件的路径信息,从多个文件中确定至少一个目标文件。

【技术实现步骤摘要】

本申请涉及通信领域,尤其涉及一种文件的确定方法及装置


技术介绍

1、分布式文件系统(hadoop distributed file system,hdfs),主要用于存储大规模的数据,具有较高的容错性。hdfs文件系统的组件包括namenode节点和datanode节点。其中,namenode节点用于管理文件的元数据,datanode节点用于存储文件。

2、在工业应用中,flink开源框架的相关文件通常存储hdfs文件系统中。随着时间的推移和生产程序版本的迭代,使得大量的文件遗留在hdfs文件系统中,这些遗留文件的元数据会占据大量的namenode节点资源,导致namenode节点负载过高,性能降低,从而影响hdfs文件系统的稳定性,增加hdfs文件系统所在的集群崩溃的风险。

3、因此,如何确定hdfs文件系统中遗留的文件,以便于后续对该文件进行清理,是一个亟需解决的问题。


技术实现思路

1、本申请提供一种文件的确定方法及装置,能够确定hdfs文件系统中的目标文件,且不占用hdfs文本文档来自技高网...

【技术保护点】

1.一种文件的确定方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述传输所述元数据到接口机,并通过所述接口机对所述元数据进行解析,得到所述多个文件的路径信息,包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述多个文件的路径信息,从所述多个文件中确定至少一个目标文件,包括:

4.根据权利要求1所述的方法,其特征在于,所述根据所述多个文件的路径信息,确定所述至少一个目标文件的路径信息,包括:

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于...

【技术特征摘要】

1.一种文件的确定方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述传输所述元数据到接口机,并通过所述接口机对所述元数据进行解析,得到所述多个文件的路径信息,包括:

3.根据权利要求1所述的方法,其特征在于,所述根据所述多个文件的路径信息,从所述多个文件中确定至少一个目标文件,包括:

4.根据权利要求1所述的方法,其特征在于,所述根据所述多个文件的路径信息,确定所述至少一个目标文件的路径信息,包括:

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述根据所述至少一个目标文件的生成时间和所述至少一个目标文件的路径信息,从所述至少一个目标文件中删除第一目标文件,包括:

7.根据权利...

【专利技术属性】
技术研发人员:张逸明李振豪郝树运冯佳佳闫阳天穆纯进王云朋姜雨彤霍勇杰
申请(专利权)人:中国联合网络通信集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1