一种分布式文件系统的文件管理方法及装置制造方法及图纸

技术编号:24573798 阅读:22 留言:0更新日期:2020-06-21 00:05
本发明专利技术公开了一种分布式文件系统的文件管理方法及装置,获取文件创建时刻的文件序号、时间戳以及文件的存储节点序号;其中,文件序号为该文件创建时刻在分布式文件系统中所有创建的文件中的排序号码;将文件序号、时间戳以及文件的存储节点序号串联,组成文件在分布式文件系统中的唯一标识;根据文件的唯一标识生成文件的存储路径;根据文件的存储路径进行文件的创建、读写和删除操作;本发明专利技术通过使用文件创建时刻的序号、时间戳和存储节点的序号生成该文件在分布式文件系统中的唯一标识,并根据该唯一标识生成该文件的存储路径,再结合在各个存储节点本地文件目录树,可以有效提高元数据文件和数据文件的访问性能,节省访问时间。

A file management method and device of distributed file system

【技术实现步骤摘要】
一种分布式文件系统的文件管理方法及装置
本专利技术属于分布式文件系统的存储策略
,尤其涉及一种分布式文件系统的文件管理方法及装置。
技术介绍
当今是数字化时代,大数据带来的信息风暴,产生的数据的存储是当今需要重点解决的问题之一,现如今有各种分布式文件系统,如GFS、TFS和lustre文件系统都是为了解决海量数据的存储。在现有的文件系统中,为了实现数据的存储会产生大量的元数据,并且在数据存储过程中,元数据同时被存储,当文件系统中的存储数据和元数据越来越多时,文件系统的运行效率会越来越低。
技术实现思路
本专利技术的目的是提供一种分布式文件系统的文件管理方法及装置,采用简洁的数据存储策略进行数据存储,以提高文件系统的存储和读取效率,进而提高数据访问能力。本专利技术采用以下技术方案:一种分布式文件系统的文件管理方法,包括:获取文件创建时刻的文件序号、时间戳以及文件的存储节点序号;其中,文件序号为该文件创建时刻在分布式文件系统中所有创建的文件中的排序号码;将文件序号、时间戳以及文件本文档来自技高网...

【技术保护点】
1.一种分布式文件系统的文件管理方法,其特征在于,包括:/n获取文件创建时刻的文件序号、时间戳以及所述文件的存储节点序号;其中,所述文件序号为该文件创建时刻在分布式文件系统中所有创建的文件中的排序号码;/n将所述文件序号、时间戳以及所述文件的存储节点序号串联,组成所述文件在分布式文件系统中的唯一标识;/n根据所述文件的唯一标识生成所述文件的存储路径;/n根据所述文件的存储路径进行文件的创建、读写和删除操作。/n

【技术特征摘要】
1.一种分布式文件系统的文件管理方法,其特征在于,包括:
获取文件创建时刻的文件序号、时间戳以及所述文件的存储节点序号;其中,所述文件序号为该文件创建时刻在分布式文件系统中所有创建的文件中的排序号码;
将所述文件序号、时间戳以及所述文件的存储节点序号串联,组成所述文件在分布式文件系统中的唯一标识;
根据所述文件的唯一标识生成所述文件的存储路径;
根据所述文件的存储路径进行文件的创建、读写和删除操作。


2.如权利要求1所述的一种分布式文件系统的文件管理方法,其特征在于,根据所述文件的唯一标识生成所述文件的存储路径包括:
当所述文件为元数据文件时,以所述唯一标识为输入信息,利用哈希算法生成元数据文件的存储路径。


3.如权利要求2所述的一种分布式文件系统的文件管理方法,其特征在于,当所述文件为元数据目录时,创建该元数据目录包括:
获取该元数据目录的父目录的所有目录项;
检索所述父目录的所有目录项中是否存在该元数据目录:
响应于所述父目录的所有目录项中存在该元数据目录,结束该元数据目录的创建;
响应于所述父目录的所有目录项中不存在该元数据目录,创建该元数据目录文件,获取对应的时间戳、该元数据的文件序号以及存储节点序号,并组合成该元数据目录的唯一标识;
根据该元数据目录的唯一标识生成其在所述存储节点序号对应的存储节点上的存储路径,并在所述存储路径的指向位置创建以该元数据目录唯一标识命名的元数据目录文件。


4.如权利要求2或3所述的一种分布式文件系统的文件管理方法,其特征在于,获取存储节点序号包括:
获取所有文件存储节点的空闲空间信息;
选择空闲空间最大的文件存储节点,提取该文件存储节点的序号。


5.如权利要求2所述的一种分布式文件系统的文件管理方法,其特征在于,当所述文件为元数据目录项文件时,创建该元数据目录项文件包括:
获取所述元数据目录项文件的父目录的元数据目录;
读取所述元数据目录的唯一标识以及其存储节点序号;
根据所述唯一标识生成所述元数据目录在对应的存储节点上的存储路径...

【专利技术属性】
技术研发人员:宋江波
申请(专利权)人:西安奥卡云数据科技有限公司
类型:发明
国别省市:陕西;61

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1