System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于提示的分布式文件系统操作实现方法及相关系统技术方案_技高网

基于提示的分布式文件系统操作实现方法及相关系统技术方案

技术编号:41092413 阅读:3 留言:0更新日期:2024-04-25 13:52
本发明专利技术公开了一种基于提示的分布式文件系统操作实现方法及相关系统,在分布式文件系统中引入存储目录标识符的提示节点,当客户端发起文件系统操作时,先从提示节点获取路径中所有目录的标识符作为提示,将路径解析的性能开销从逐层多次元数据读取降低为一次元数据批量读取,通过减少网络传输的次数,降低了路径解析的延迟,进而提升了文件系统操作的性能。同时,提示节点采用叶子目录优先的数据替换算法,尽可能存储完整的目录树,既控制了提示节点的内存开销,又能够保证客户端以较低的延迟获取提示信息。

【技术实现步骤摘要】

本专利技术涉及计算机存储系统,尤其涉及一种基于提示的分布式文件系统操作实现方法及相关系统


技术介绍

1、分布式文件系统是一类重要的计算机存储系统,长期以来,广泛应用于高性能计算和大数据分析等领域。通常情况下,分布式文件系统由元数据节点、数据节点和客户端三部分组成,其中元数据节点负责组织起文件系统的层级结构,数据节点则将文件中的具体数据分块存储。客户端以文件或目录路径作为参数发起文件系统操作,需要先通过元数据节点进行路径解析,获取操作对象的元数据,再执行具体的文件系统操作。

2、在近年来,数据规模进一步扩大,业界普遍采用分布式数据库作为元数据节点,将元数据细粒度划分后存储在多个节点上,例如2021年发表在usenix文件与存储技术会议(fast)的tectonic分布式文件系统。2022年发表在该会议的infinifs:an efficientmetadata service for large-scale distributed filesystems一文指出,随着数据规模的扩大,分布式文件系统中半数以上的文件位于深度10层以上的目录中。客户端需要逐层从分布式数据库中多次读取元数据进行路径解析,才能获取操作目标的元数据,进而执行文件系统操作,路径解析的极高延迟严重制约了分布式文件系统操作的性能。因此,有必要实现高效的分布式文件系统路径解析。


技术实现思路

1、本专利技术的目的是提供一种基于提示的分布式文件系统操作实现方法及相关系统,在细粒度划分元数据到多个节点时,通过在分布式文件系统中加入提供路径解析提示的节点,降低深层目录的路径解析延迟,提升分布式文件系统操作的性能。

2、本专利技术的目的是通过以下技术方案实现的:

3、一种基于提示的分布式文件系统操作实现方法,包括:

4、在分布式文件系统中设置若干提示节点,提示节点在内存中存储分布式文件系统的目录树,客户端发起文件系统操作时,以操作目标的完整路径作为参数发起请求,从提示节点中读取各层目录的标识符作为提示;

5、客户端借助提示从元数据节点中一次批量读取元数据,并结合读取的元数据进行路径解析;

6、客户端根据路径解析得到的操作目标,结合对应的元数据节点或数据节点执行对应的文件系统操作。

7、一种分布式文件系统,包括:客户端、若干提示节点、元数据节点与数据节点,使用前述的方法进行文件系统操作。

8、由上述本专利技术提供的技术方案可以看出,在分布式文件系统中引入存储目录标识符的提示节点,当客户端发起文件系统操作时,先从提示节点获取路径中所有目录的标识符作为提示,通过提示将目录的逐层解析转化为元数据读取,即可完成路径解析。通过本专利技术,可以显著降低路径解析的延迟,提升分布式文件系统中各项操作的性能。

本文档来自技高网...

【技术保护点】

1.一种基于提示的分布式文件系统操作实现方法,其特征在于,包括:

2.根据权利要求1所述的一种基于提示的分布式文件系统操作实现方法,其特征在于,所述若干提示节点的数目为一个或多个,若为多个,则不同提示节点间采用异步复制进行数据同步,且将客户端的请求在多个提示节点间进行负载均衡。

3.根据权利要求1所述的一种基于提示的分布式文件系统操作实现方法,其特征在于,所述从提示节点中读取各层目录的标识符作为提示包括:

4.根据权利要求1所述的一种基于提示的分布式文件系统操作实现方法,其特征在于,客户端借助提示从元数据节点中一次批量读取元数据时,存在两种情况;

5.根据权利要求4所述的一种基于提示的分布式文件系统操作实现方法,其特征在于,当出现第二种情况时,客户端通过逐层读取元数据,可以得到正确的标识符,之后,需要向提示节点发送目录的正确标识符,更新提示节点中的数据。

6.根据权利要求5所述的一种基于提示的分布式文件系统操作实现方法,其特征在于,当设置多个提示节点时,提示节点间采用异步复制,客户端向异步复制的主节点发送目录的正确标识符

7.根据权利要求5所述的一种基于提示的分布式文件系统操作实现方法,其特征在于,所述更新提示节点中的数据包括:

8.根据权利要求1所述的一种基于提示的分布式文件系统操作实现方法,其特征在于,所述结合读取的元数据进行路径解析包括:

9.根据权利要求1所述的一种基于提示的分布式文件系统操作实现方法,其特征在于,所述客户端根据路径解析得到的操作目标,结合对应的元数据节点或数据节点执行对应的文件系统操作包括:

10.一种分布式文件系统,其特征在于,包括:客户端、若干提示节点、元数据节点与数据节点,使用权利要求1~9任一项所述的方法进行文件系统操作。

...

【技术特征摘要】

1.一种基于提示的分布式文件系统操作实现方法,其特征在于,包括:

2.根据权利要求1所述的一种基于提示的分布式文件系统操作实现方法,其特征在于,所述若干提示节点的数目为一个或多个,若为多个,则不同提示节点间采用异步复制进行数据同步,且将客户端的请求在多个提示节点间进行负载均衡。

3.根据权利要求1所述的一种基于提示的分布式文件系统操作实现方法,其特征在于,所述从提示节点中读取各层目录的标识符作为提示包括:

4.根据权利要求1所述的一种基于提示的分布式文件系统操作实现方法,其特征在于,客户端借助提示从元数据节点中一次批量读取元数据时,存在两种情况;

5.根据权利要求4所述的一种基于提示的分布式文件系统操作实现方法,其特征在于,当出现第二种情况时,客户端通过逐层读取元数据,可以得到正确的标识符,之后,需要向提示节点发送目录的正确标识符,更新提...

【专利技术属性】
技术研发人员:吴雨飞李诚王一多李嘉豪
申请(专利权)人:中国科学技术大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1