System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 应用于分布式文件系统的目录元数据的处理方法、装置和设备制造方法及图纸_技高网

应用于分布式文件系统的目录元数据的处理方法、装置和设备制造方法及图纸

技术编号:44908727 阅读:13 留言:0更新日期:2025-04-08 18:53
本公开提供了应用于分布式文件系统的目录元数据的处理方法、装置和设备,涉及计算机技术领域,尤其涉及大数据,分布式文件系统领域。具体实现方案为:当获取到处理请求时,可以根据该处理请求确定处理请求所指示的目录元数据对应的第一索引分片,加载该第一索引分片,并根据该第一索引分片确定处理请求所指示的目录元数据对应的元数据分片。调整所确定出的元数据分片中的信息。根据该处理请求确定与该处理请求所指示的目录元数据相关的第二索引分片,并调整第二索引分片中与目录元数据对应的索引信息。

【技术实现步骤摘要】

本公开涉及计算机技术中的大数据,分布式文件系统,尤其涉及一种应用于分布式文件系统的目录元数据的处理方法、装置和设备


技术介绍

1、随着数据量的增多,分布式文件系统的应用越来越广泛。目前,分布式文件系统中的一个设备节点的索引单元中仅包括一个索引分片。该索引分片用于写入该设备节点的全部目录元数据的索引信息。在从该设备节点读写数据时,需要在加载出整个索引分片,容易导致读写效率降低。

2、因此,如何提高该分布式文件系统的读写效率成为亟待解决的问题。


技术实现思路

1、本公开提供了一种用于应用于分布式文件系统的目录元数据的处理方法、装置和设备。

2、根据本公开的第一方面,提供了一种应用于分布式文件系统的目录元数据的处理方法,所述分布式文件系统中包括多个设备节点,所述设备节点对应有元数据单元和索引单元,所述元数据单元中包括与设备节点中的目录元数据对应的元数据分片,所述索引单元中包括多个索引分片,所述索引分片用于存储部分目录元数据的索引信息,包括:

3、响应于处理请求,确定并加载所述处理请求所指示的目录元数据对应的第一索引分片;并根据所述第一索引分片确定所述处理请求所指示的目录元数据对应的元数据分片;其中,所述处理请求表征对设备节点中的目录元数据进行调整;

4、调整所确定出的所述元数据分片中的信息,以及调整所述处理请求所指示的目录元数据相关的第二索引分片中与所述目录元数据对应的索引信息。

5、根据本公开的第二方面,提供了一种应用于分布式文件系统的目录元数据的处理装置,所述分布式文件系统中包括多个设备节点,所述设备节点对应有元数据单元和索引单元,所述元数据单元中包括与设备节点中的目录元数据对应的元数据分片,所述索引单元中包括多个索引分片,所述索引分片用于存储部分目录元数据的索引信息,包括:

6、确定单元,用于响应于处理请求,确定并加载所述处理请求所指示的目录元数据对应的第一索引分片;并根据所述第一索引分片确定所述处理请求所指示的目录元数据对应的元数据分片;其中,所述处理请求表征对设备节点中的目录元数据进行调整;

7、调整单元,用于调整所确定出的所述元数据分片中的信息,以及调整所述处理请求所指示的目录元数据相关的第二索引分片中与所述目录元数据对应的索引信息。

8、根据本公开的第三方面,提供了一种电子设备,包括:

9、至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行第一方面所述的方法。

10、根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行第一方面所述的方法。

11、根据本公开的第五方面,提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序,所述计算机程序存储在可读存储介质中,电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序,所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法。

12、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

本文档来自技高网...

【技术保护点】

1.一种应用于分布式文件系统的目录元数据的处理方法,应用于分布式文件系统,所述分布式文件系统的设备节点中设置有包含多个元数据分片的元数据单元和包含多个索引分片的索引单元,所述方法包括:

2.根据权利要求1所述的方法,其中,所述处理请求中包括所述目录元数据的路径信息;所述确定并加载所述处理请求所指示的目录元数据对应的第一索引分片,包括:

3.根据权利要求2所述的方法,其中,当所述处理请求指示删除所述目录元数据,或者,创建所述目录元数据时,所述目录元数据的路径信息中包括目标路径;所述目标路径指示出所述目录元数据的路径;

4.根据权利要求3所述的方法,其中,所述根据所述目标路径,计算得到所述第一索引编码,包括:

5.根据权利要求2所述的方法,其中,当所述处理请求指示修改所述目录元数据的路径时,所述目录元数据的路径信息中包括初始路径和最终路径;所述初始路径指示出所述目录元数据未修改时的路径,所述最终路径指示出所述目录元数据修改后的路径;

6.根据权利要求1-5中任一项所述的方法,其中,所述处理请求中包括所述目录元数据的路径信息;

7.根据权利要求6所述的方法,其中,所述根据所述处理请求所指示的目录元数据的路径信息,在所述第一索引分片中确定所述目录元数据对应的元数据编码,包括:

8.根据权利要求1-7中任一项所述的方法,其中,当所述处理请求指示删除所述目录元数据时,所述元数据分片包括所述目录元数据对应的第一元数据分片,以及所述目录元数据的父目录对应的第二元数据分片;

9.根据权利要求1-8中任一项所述的方法,其中,当所述处理请求指示创建所述目录元数据时,所述元数据分片包括所述目录元数据对应的第一元数据分片,以及所述目录元数据的父目录对应的第二元数据分片;

10.根据权利要求1-9中任一项所述的方法,其中,当所述处理请求指示修改所述目录元数据的目录时,所述元数据分片包括所述目录元数据的最终路径所指示的父目录对应的第三元数据分片,以及所述目录元数据初始路径所指示的父目录对应的第四元数据分片;

11.根据权利要求1-10中任一项所述的方法,其中,当所述处理请求指示删除所述目录元数据时,所述目录元数据的路径信息中包括目标路径;

12.根据权利要求1-11中任一项所述的方法,其中,当所述处理请求指示创建所述目录元数据时,所述目录元数据的路径信息中包括目标路径;

13.根据权利要求1-12中任一项所述的方法,其中,当所述处理请求指示修改所述目录元数据的目录时,所述目录元数据的路径信息中包括最终路径和初始路径;

14.一种应用于分布式文件系统的目录元数据的处理装置,应用于分布式文件系统,所述分布式文件系统的设备节点中设置有包含多个元数据分片的元数据单元和包含多个索引分片的索引单元,所述装置包括:

15.一种电子设备,包括:

16.一种于分布式文件系统,所述分布式文件系统包括多个设备节点,所述设备节点中设置有元数据单元和索引单元,所述元数据单元中包括与设备节点中的目录元数据对应的元数据分片,所述索引单元中包括多个索引分片,所述索引分片用于存储部分目录元数据的索引信息;

17.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-13中任一项所述的方法。

18.一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现权利要求1-13中任一项所述方法的步骤。

...

【技术特征摘要】

1.一种应用于分布式文件系统的目录元数据的处理方法,应用于分布式文件系统,所述分布式文件系统的设备节点中设置有包含多个元数据分片的元数据单元和包含多个索引分片的索引单元,所述方法包括:

2.根据权利要求1所述的方法,其中,所述处理请求中包括所述目录元数据的路径信息;所述确定并加载所述处理请求所指示的目录元数据对应的第一索引分片,包括:

3.根据权利要求2所述的方法,其中,当所述处理请求指示删除所述目录元数据,或者,创建所述目录元数据时,所述目录元数据的路径信息中包括目标路径;所述目标路径指示出所述目录元数据的路径;

4.根据权利要求3所述的方法,其中,所述根据所述目标路径,计算得到所述第一索引编码,包括:

5.根据权利要求2所述的方法,其中,当所述处理请求指示修改所述目录元数据的路径时,所述目录元数据的路径信息中包括初始路径和最终路径;所述初始路径指示出所述目录元数据未修改时的路径,所述最终路径指示出所述目录元数据修改后的路径;

6.根据权利要求1-5中任一项所述的方法,其中,所述处理请求中包括所述目录元数据的路径信息;

7.根据权利要求6所述的方法,其中,所述根据所述处理请求所指示的目录元数据的路径信息,在所述第一索引分片中确定所述目录元数据对应的元数据编码,包括:

8.根据权利要求1-7中任一项所述的方法,其中,当所述处理请求指示删除所述目录元数据时,所述元数据分片包括所述目录元数据对应的第一元数据分片,以及所述目录元数据的父目录对应的第二元数据分片;

9.根据权利要求1-8中任一项所述的方法,其中,当所述处理请求指示创建所述目录元数据时,所述元数据分片包括所述目录元数据对应的第一元数据分片,以及所...

【专利技术属性】
技术研发人员:曹彪陈秋实简杰龙段立国郑然
申请(专利权)人:北京百度网讯科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1