分布式文件系统小文件性能提升方法、目录生成器及系统技术方案

本发明专利技术公开了一种分布式文件系统小文件性能提升方法，包括以下步骤：目录下，创建虚拟目录层，虚拟目录层包括多个虚拟目录；将上述目录下任一小文件对应于一个虚拟目录；将一个或多个元数据服务对应于一个虚拟目录。包括：虚拟目录创建模块，用于在目录下创建虚拟目录层，虚拟目录层包括多个虚拟目录；小文件配置模块，用于将上述目录下任一小文件与虚拟目录层中一个虚拟目录对应；元数据服务配置模块，用于将一个或多个元数据服务与虚拟目录层中一个虚拟目录对应。本发明专利技术还公开了一种分布式文件系统，包括：目录层和小文件层；其中：目录层中至少一个目录下设置有虚拟目录层，该虚拟目录层中具有多个虚拟目录。

Distributed file system, small file performance enhancing method, directory generator and system

The invention discloses a distributed file system for small file performance improvement method, which comprises the following steps: directory, create a virtual directory layer, virtual directory layer includes a plurality of virtual directories will correspond to any of the above documents; small directory in a virtual directory; one or more metadata service corresponds to a virtual directory. Including: the virtual directory creation module, used to create a virtual directory layer in the directory under the virtual directory layer includes a plurality of virtual directory; small file configuration module for a virtual directory of the file directory and any small layer corresponding to the virtual directory; metadata service configuration module, for one or more metadata service with the virtual directory in a virtual directory corresponding layer. The invention also discloses a distributed file system, including directory layer and small file layer; wherein at least one directory layer is arranged under the virtual directory layer has a plurality of layers in the virtual directory virtual directory.

【技术实现步骤摘要】
分布式文件系统小文件性能提升方法、目录生成器及系统
本专利技术涉及分布式文件系统中小文件IO性能提升
，尤其涉及一种分布式文件系统小文件性能提升方法，还涉及一种分布式文件系统目录生成器，还涉及一种分布式文件系统。
技术介绍
在分布式文件系统实际应用中，会遇到在海量小文件的应用场景。元数据集群可以提升大量小文件的元数据性能，数据缓存、小文件数据合并等方法可以提高数据性能。但是有一种应用场景存在性能瓶颈：单目录下小文件性能。单目录下小文件性能由元数据性能和数据性能两部分。数据性能可通过数据缓存机制、小文件数据合并等机制保证，但是元数据性能受到单个元数据服务瓶颈影响，无法通过缓存机制进行提升。除非是提升元数据服务性能，而分布式文件系统元数据性能受到分布式架构影响，能力有限。因此，对于本领域技术人员而言，如何在分布式文件系统中，提升小文件性能为亟需解决的技术问题。
技术实现思路
为了便于理解，对本申请文件中出现的部分词语，澄清如下：IO：input/output，输入/输出。基于
技术介绍
存在的技术问题，本专利技术提出了一种分布式文件系统小文件性能提升方法，包括以下步骤：目录下，创建虚拟目录层，虚拟目录层包括多个虚拟目录；将上述目录下任一小文件对应于一个虚拟目录；将一个或多个元数据服务对应于一个虚拟目录。优选地，包括以下步骤：将单个虚拟目录对应的元数据服务形成元数据集群子树分区。优选地，包括以下步骤：元数据服务操作中对虚拟目录进行过滤处理。优选地，包括以下步骤：根据单个虚拟目录所对应小文件数量调整该虚拟目录所对应的元数据服务数量，且上述元数据服务数量与上述小文件数量呈正相关关系。优选地，创建虚拟目录层过程前，包括以下步骤：根据小文件IO性能要求，确定需要创建虚拟目录层的目录。本专利技术中提供的一种分布式文件系统小文件性能提升方法，当某一目录下所存储的小文件具有IO性能要求时，在该目录下创建多个虚拟目录形成虚拟目录层，并将小文件分配至虚拟目录下形成对应关系，将一个或多个元数据服务形成元数据集群子树分区，将元数据服务集群子树分区分配至虚拟目录形成对应关系；从而使得该目录下的小文件通过元数据集群子树分区来保证IO性能；上述方法至少具有以下优点：1、通过虚拟目录将单目录下的小文件IO性能通过多个元数据服务来保证；2、利用分布式文件支持元数据集群的特点，将单目录、单元数据服务IO模型改为单目录、多元数据服务IO模型，利用元数据集群并发性能，使得单目录小文件IO性能由元数据集群子树分区来保证，提升小文件性能。本专利技术还提供了一种分布式文件系统目录生成器，包括：虚拟目录创建模块，用于在目录下创建虚拟目录层，虚拟目录层包括多个虚拟目录；小文件配置模块，用于将上述目录下任一小文件与虚拟目录层中一个虚拟目录对应；元数据服务配置模块，用于将一个或多个元数据服务与虚拟目录层中一个虚拟目录对应。优选地，元数据服务配置模块还用于将同一虚拟目录对应的元数据服务形成元数据集群子树分区。优选地，还包括：过滤模块，用于元数据服务操作中对虚拟目录进行过滤处理。本专利技术还提供了一种分布式文件系统，包括：目录层和小文件层；其中：目录层中至少一个目录下设置有虚拟目录层，该虚拟目录层中具有多个虚拟目录，小文件层中对应该目录的任一小文件均与所述虚拟目录层中一个虚拟目录对应，所述虚拟目录层中任一虚拟目录均与一个所述元数据集群子树分区对应，所述元数据集群子树分区由一个或多个元数据服务形成。上述分布式文件系统目录生成器和分布式文件系统的有益效果与分布式文件系统小文件性能提升方法中有益效果类似，此处不再赘述。附图说明图1为本专利技术提出的一种分布式文件系统小文件性能提升方法中一种实施例的流程示意图；图2为本专利技术提出的一种分布式文件系统中一种实施例的系统拓扑图。具体实施方式如图1-2所示，图1为本专利技术提出的一种分布式文件系统小文件性能提升方法中一种实施例的流程示意图；图2为本专利技术提出的一种分布式文件系统中一种实施例的系统拓扑图。下面结合附图和实施例对本专利技术进行详细的描述。参考图1，一种分布式文件系统小文件性能提升方法，包括以下步骤：根据小文件IO性能要求，确定需要创建虚拟目录层的目录；在上述指定目录下创建虚拟目录层，虚拟目录层包括多个虚拟目录；将指定目录下的小文件分配到虚拟目录下形成对应关系；根据单个虚拟目录对应小文件的数量，将多个元数据服务分配至虚拟目录形成对应关系，并将多个元数据服务形成元数据集群子树分区；在元数据服务操作中对虚拟目录进行过滤处理。在上述实施例中，我们可以获知，实施例采用的分布式文件系统小文件性能提升方法，通过虚拟目录将单目录下的小文件IO性能由多个元数据服务形成元数据集群子树分区来保证；当客户端在一个目录下发送创建、查看、删除等文件操作请求时，可以依据所指定的文件将请求哈希到对应虚拟目录下，并将请求进一步发送至该虚拟目录对应的元数据集群子树分区，由多个元数据服务来响应操作；同时，通过在元数据服务操作中对虚拟目录进行过滤处理，可以使得虚拟目录不呈现给客户端，从而不会改变用户感知的目录结构。一种分布式文件系统目录生成器，包括：虚拟目录创建模块，用于在目录下创建虚拟目录层，虚拟目录层包括多个虚拟目录；小文件配置模块，用于将上述目录下任一小文件与虚拟目录层中一个虚拟目录对应；元数据服务配置模块，用于将一个或多个元数据服务与虚拟目录层中一个虚拟目录对应；并将同一虚拟目录对应的元数据服务形成元数据集群子树分区；过滤模块，用于元数据服务操作中对虚拟目录进行过滤处理。参考图2，一种分布式文件系统，包括：目录层和小文件层；其中：目录层中至少一个目录下设置有虚拟目录层，该虚拟目录层中具有多个虚拟目录，小文件层中对应该目录的任一小文件均与所述虚拟目录层中一个虚拟目录对应，所述虚拟目录层中任一虚拟目录均与一个所述元数据集群子树分区对应，所述元数据集群子树分区由一个或多个元数据服务形成。以上所述，仅为本专利技术较佳的具体实施方式，但本专利技术的保护范围并不局限于此，任何熟悉本
的技术人员在本专利技术揭露的技术范围内，根据本专利技术的技术方案及其专利技术构思加以等同替换或改变，都应涵盖在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
一种分布式文件系统小文件性能提升方法，其特征在于，包括以下步骤：目录下，创建虚拟目录层，虚拟目录层包括多个虚拟目录；将上述目录下任一小文件对应于一个虚拟目录；将一个或多个元数据服务对应于一个虚拟目录。

【技术特征摘要】
1.一种分布式文件系统小文件性能提升方法，其特征在于，包括以下步骤：目录下，创建虚拟目录层，虚拟目录层包括多个虚拟目录；将上述目录下任一小文件对应于一个虚拟目录；将一个或多个元数据服务对应于一个虚拟目录。2.根据权利要求1所述的分布式文件系统小文件性能提升方法，其特征在于，包括以下步骤：单个虚拟目录对应的元数据服务形成元数据集群子树分区。3.根据权利要求1所述的分布式文件系统小文件性能提升方法，其特征在于，包括以下步骤：元数据服务操作中对虚拟目录进行过滤处理。4.根据权利要求1所述的分布式文件系统小文件性能提升方法，其特征在于，包括以下步骤：根据单个虚拟目录所对应小文件数量调整该虚拟目录所对应的元数据服务数量，且上述元数据服务数量与上述小文件数量呈正相关关系。5.根据权利要求1所述的分布式文件系统小文件性能提升方法，其特征在于，创建虚拟目录层过程前，包括以下步骤：根据小文件IO性能要求，确定需要创建虚拟目录层的目录。6.一种分布式文件...

【专利技术属性】
技术研发人员：张延良，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41