一种分布式文件系统的文件管理方法及装置制造方法及图纸

本发明专利技术公开了一种分布式文件系统的文件管理方法及装置，获取文件创建时刻的文件序号、时间戳以及文件的存储节点序号；其中，文件序号为该文件创建时刻在分布式文件系统中所有创建的文件中的排序号码；将文件序号、时间戳以及文件的存储节点序号串联，组成文件在分布式文件系统中的唯一标识；根据文件的唯一标识生成文件的存储路径；根据文件的存储路径进行文件的创建、读写和删除操作；本发明专利技术通过使用文件创建时刻的序号、时间戳和存储节点的序号生成该文件在分布式文件系统中的唯一标识，并根据该唯一标识生成该文件的存储路径，再结合在各个存储节点本地文件目录树，可以有效提高元数据文件和数据文件的访问性能，节省访问时间。

A file management method and device of distributed file system

【技术实现步骤摘要】
一种分布式文件系统的文件管理方法及装置
本专利技术属于分布式文件系统的存储策略
，尤其涉及一种分布式文件系统的文件管理方法及装置。
技术介绍
当今是数字化时代，大数据带来的信息风暴，产生的数据的存储是当今需要重点解决的问题之一，现如今有各种分布式文件系统，如GFS、TFS和lustre文件系统都是为了解决海量数据的存储。在现有的文件系统中，为了实现数据的存储会产生大量的元数据，并且在数据存储过程中，元数据同时被存储，当文件系统中的存储数据和元数据越来越多时，文件系统的运行效率会越来越低。
技术实现思路
本专利技术的目的是提供一种分布式文件系统的文件管理方法及装置，采用简洁的数据存储策略进行数据存储，以提高文件系统的存储和读取效率，进而提高数据访问能力。本专利技术采用以下技术方案：一种分布式文件系统的文件管理方法，包括：获取文件创建时刻的文件序号、时间戳以及文件的存储节点序号；其中，文件序号为该文件创建时刻在分布式文件系统中所有创建的文件中的排序号码；将文件序号、时间戳以及文件的存储节点序号串联，组成文件在分布式文件系统中的唯一标识；根据文件的唯一标识生成文件的存储路径；根据文件的存储路径进行文件的创建、读写和删除操作。进一步地，根据文件的唯一标识生成文件的存储路径包括：当文件为元数据文件时，以唯一标识为输入信息，利用哈希算法生成元数据文件的存储路径。进一步地，当文件为元数据目录时，创建该元数据目录包括：>获取该元数据目录的父目录的所有目录项；检索父目录的所有目录项中是否存在该元数据目录：响应于父目录的所有目录项中存在该元数据目录，结束该元数据目录的创建；响应于父目录的所有目录项中不存在该元数据目录，创建该元数据目录文件，获取对应的时间戳、该元数据的文件序号以及存储节点序号，并组合成该元数据目录的唯一标识；根据该元数据目录的唯一标识生成其在存储节点序号对应的存储节点上的存储路径，并在存储路径的指向位置创建以该元数据目录唯一标识命名的元数据目录文件。进一步地，获取存储节点序号包括：获取所有文件存储节点的空闲空间信息；选择空闲空间最大的文件存储节点，提取该文件存储节点的序号。进一步地，当文件为元数据目录项文件时，创建该元数据目录项文件包括：获取元数据目录项文件的父目录的元数据目录；读取元数据目录的唯一标识以及其存储节点序号；根据唯一标识生成元数据目录在对应的存储节点上的存储路径；根据元数据目录的存储节点序号以及其在对应的存储节点上的存储路径的指向位置创建元数据目录项文件；在元数据目录上创建元数据目录项；其中，元数据目录项包括元数据目录项文件的存储路径、元数据目录项文件的存储节点列表、条带信息和元数据目录项文件的唯一标识。进一步地，当文件为数据文件时，读写该数据文件包括：获取读写该数据文件时的输入信息；根据输入信息查找对应的元数据目录项；根据元数据目录项获取该数据文件的条带信息、存储节点列表和唯一标识；根据唯一标识生成数据文件的存储路径；根据数据文件的存储路径在存储节点列表对应的存储节点上读写数据文件。进一步地，根据唯一标识生成数据文件的存储路径包括：提取唯一标识中的时间戳，根据时间戳生成数据文件的存储路径。本专利技术的另一种技术方案：一种分布式文件系统的文件管理装置，包括：获取模块，用于获取文件创建时刻的文件序号、时间戳以及文件的存储节点序号；其中，文件序号为该文件创建时刻在分布式文件系统中所有创建的文件中的排序号码；组成模块，用于将文件序号、时间戳以及文件的存储节点序号串联，组成文件在分布式文件系统中的唯一标识；生成模块，用于根据文件的唯一标识生成文件的存储路径；操作模块，用于根据文件的存储路径进行文件的创建、读写和删除操作。本专利技术的再一种技术方案：一种分布式文件系统的文件管理设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的分布式文件系统的文件管理方法。本专利技术的再一种技术方案：一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的分布式文件系统的文件管理方法。本专利技术的有益效果是：本专利技术通过使用文件创建时刻的序号、时间戳和存储节点的序号生成该文件在分布式文件系统中的唯一标识，并根据该唯一标识生成该文件的存储路径，使得文件的存储路径更加简洁，再结合在各个存储节点本地文件目录树，可以有效提高元数据文件和数据文件的访问性能，节省访问时间。【附图说明】图1为本专利技术实施例中文件组织示意图；图2为本专利技术实施例中构建文件系统的流程框图；图3为本专利技术实施例中创建元数据目录文件的流程框图；图4为本专利技术实施例中创建元数据目录项文件的流程框图；图5为本专利技术实施例中读写数据文件的流程框图；图6为本专利技术实施例中删除数据文件的流程框图；图7为本专利技术实施例中删除元数据文件的流程框图；图8为本专利技术实施例中用户视角下的文件组织示意图。【具体实施方式】下面结合附图和具体实施方式对本专利技术进行详细说明。以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、装置以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。应当理解，当在本专利技术说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。如在本专利技术说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。另外，在本专利技术说明书和所附权利要求书的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。本专利技术的一个实施例提供了一种分布式文件系统的文件管理方法，包括：获取文件创建时刻的文件序号、时间戳以及文件的存储节点序号；其中，文件序号为该文件创建时刻在分布式文件系统中所有创建的文件中的排序号码；将文件序号、时间戳以及文件的存储节点序号串联，组成文件在分布式文件系统中的唯一标识；根据文件的唯一标识生成文件的存储路径；根据文件的存储路径进行文件的创建、读写和删除操作。通过使用文件创建时刻的序号、时本文档来自技高网...

【技术保护点】
1.一种分布式文件系统的文件管理方法，其特征在于，包括：/n获取文件创建时刻的文件序号、时间戳以及所述文件的存储节点序号；其中，所述文件序号为该文件创建时刻在分布式文件系统中所有创建的文件中的排序号码；/n将所述文件序号、时间戳以及所述文件的存储节点序号串联，组成所述文件在分布式文件系统中的唯一标识；/n根据所述文件的唯一标识生成所述文件的存储路径；/n根据所述文件的存储路径进行文件的创建、读写和删除操作。/n

【技术特征摘要】
1.一种分布式文件系统的文件管理方法，其特征在于，包括：
获取文件创建时刻的文件序号、时间戳以及所述文件的存储节点序号；其中，所述文件序号为该文件创建时刻在分布式文件系统中所有创建的文件中的排序号码；
将所述文件序号、时间戳以及所述文件的存储节点序号串联，组成所述文件在分布式文件系统中的唯一标识；
根据所述文件的唯一标识生成所述文件的存储路径；
根据所述文件的存储路径进行文件的创建、读写和删除操作。


2.如权利要求1所述的一种分布式文件系统的文件管理方法，其特征在于，根据所述文件的唯一标识生成所述文件的存储路径包括：
当所述文件为元数据文件时，以所述唯一标识为输入信息，利用哈希算法生成元数据文件的存储路径。


3.如权利要求2所述的一种分布式文件系统的文件管理方法，其特征在于，当所述文件为元数据目录时，创建该元数据目录包括：
获取该元数据目录的父目录的所有目录项；
检索所述父目录的所有目录项中是否存在该元数据目录：
响应于所述父目录的所有目录项中存在该元数据目录，结束该元数据目录的创建；
响应于所述父目录的所有目录项中不存在该元数据目录，创建该元数据目录文件，获取对应的时间戳、该元数据的文件序号以及存储节点序号，并组合成该元数据目录的唯一标识；
根据该元数据目录的唯一标识生成其在所述存储节点序号对应的存储节点上的存储路径，并在所述存储路径的指向位置创建以该元数据目录唯一标识命名的元数据目录文件。


4.如权利要求2或3所述的一种分布式文件系统的文件管理方法，其特征在于，获取存储节点序号包括：
获取所有文件存储节点的空闲空间信息；
选择空闲空间最大的文件存储节点，提取该文件存储节点的序号。


5.如权利要求2所述的一种分布式文件系统的文件管理方法，其特征在于，当所述文件为元数据目录项文件时，创建该元数据目录项文件包括：
获取所述元数据目录项文件的父目录的元数据目录；
读取所述元数据目录的唯一标识以及其存储节点序号；
根据所述唯一标识生成所述元数据目录在对应的存储节点上的存储路径...

【专利技术属性】
技术研发人员：宋江波，
申请(专利权)人：西安奥卡云数据科技有限公司，
类型：发明
国别省市：陕西;61