【技术实现步骤摘要】
本申请涉及通信领域,尤其涉及一种文件的确定方法及装置。
技术介绍
1、分布式文件系统(hadoop distributed file system,hdfs),主要用于存储大规模的数据,具有较高的容错性。hdfs文件系统的组件包括namenode节点和datanode节点。其中,namenode节点用于管理文件的元数据,datanode节点用于存储文件。
2、在工业应用中,flink开源框架的相关文件通常存储hdfs文件系统中。随着时间的推移和生产程序版本的迭代,使得大量的文件遗留在hdfs文件系统中,这些遗留文件的元数据会占据大量的namenode节点资源,导致namenode节点负载过高,性能降低,从而影响hdfs文件系统的稳定性,增加hdfs文件系统所在的集群崩溃的风险。
3、因此,如何确定hdfs文件系统中遗留的文件,以便于后续对该文件进行清理,是一个亟需解决的问题。
技术实现思路
1、本申请提供一种文件的确定方法及装置,能够确定hdfs文件系统中的目标文件
...【技术保护点】
1.一种文件的确定方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述传输所述元数据到接口机,并通过所述接口机对所述元数据进行解析,得到所述多个文件的路径信息,包括:
3.根据权利要求1所述的方法,其特征在于,所述根据所述多个文件的路径信息,从所述多个文件中确定至少一个目标文件,包括:
4.根据权利要求1所述的方法,其特征在于,所述根据所述多个文件的路径信息,确定所述至少一个目标文件的路径信息,包括:
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
6.根据权利要求5所
...【技术特征摘要】
1.一种文件的确定方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述传输所述元数据到接口机,并通过所述接口机对所述元数据进行解析,得到所述多个文件的路径信息,包括:
3.根据权利要求1所述的方法,其特征在于,所述根据所述多个文件的路径信息,从所述多个文件中确定至少一个目标文件,包括:
4.根据权利要求1所述的方法,其特征在于,所述根据所述多个文件的路径信息,确定所述至少一个目标文件的路径信息,包括:
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
6.根据权利要求5所述的方法,其特征在于,所述根据所述至少一个目标文件的生成时间和所述至少一个目标文件的路径信息,从所述至少一个目标文件中删除第一目标文件,包括:
7.根据权利...
【专利技术属性】
技术研发人员:张逸明,李振豪,郝树运,冯佳佳,闫阳天,穆纯进,王云朋,姜雨彤,霍勇杰,
申请(专利权)人:中国联合网络通信集团有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。