一种基于目录切分机制的元数据性能提升方法技术

本发明专利技术公开了一种基于目录切分机制的元数据性能提升方法，包括以下步骤：将目录切分为若干目录分片；将若干元数据服务与若干目录分片进行对应，一个目录分片对应一个元数据服务。本发明专利技术还公开了一种基于目录切分机制的元数据性能提升方法，包括以下步骤：将目录依次切分为N层目录分片，其中，第1层目录分片包括由目录切分而成的若干第1目录分片，第i层目录分片包括由至少一个第i‑1层目录分片切分而成的若干第i目录分片，i，N均为自然数，2≤i≤N；任一第h目录分片未被切分为若干第h+1目录分片，则为该第h目录分片分配一个元数据服务进行对应，h为自然数，1≤h≤N。

A metadata performance improvement method based on directory segmentation mechanism

The invention discloses a method to improve performance based on metadata directory segmentation mechanism, which comprises the following steps: cut into slice directory directory; some metadata service and several pieces of the corresponding directory, a directory partition corresponding to a metadata service. The invention also discloses a method to improve performance based on metadata directory segmentation mechanism, which comprises the following steps: segmentation for the N directory directory in the slice, the first layer comprises a plurality of first slice directory directory by the directory and segmentation slice, a plurality of I directory in the i layer slice includes a directory by at least one of the I 1 layer slice segmentation and directory slice, I, N are natural number, 2 = I = N; any article directory h slice is not cut into the h+1 directory slice for the H directory slice assigned a metadata service corresponding, h is a natural number, 1 = H = N.

【技术实现步骤摘要】

本专利技术涉及单目录元数据IO性能提升
，尤其涉及一种基于目录切分机制的元数据性能提升方法。
技术介绍
在分布式文件系统实际应用中，会遇到在海量小文件的应用场景。单目录下海量小文件IO性能很大部分取决于元数据性能，由于单目录对应一个元数据服务，因此会出现元数据性能瓶颈。为了解决单目录元数据性能，需要提升单目录的元数据并发性能。单纯的提升单个元数据服务的性能，需要优化元数据路径，这种方式也就能带来10％到50％的元数据提升。因此，对于本领域技术人员而言，如何提升单目录元数据性能为亟需解决的技术问题。
技术实现思路
为了便于理解，对本申请文件中出现的部分词语，澄清如下：IO：input/output，输入/输出。基于
技术介绍
存在的技术问题，本专利技术提出了一种基于目录切分机制的元数据性能提升方法，包括以下步骤：将目录切分为若干目录分片；将若干元数据服务与若干目录分片进行对应，一个目录分片对应一个元数据服务。优选地，元数据服务与目录分片数量相等，且元数据服务与目录分片一一对应。优选地，包括以下步骤：将任一目录分片对应一块或多块磁盘。优选地，包括以下步骤：将不同节点与目录分片对应。优选地，采用哈希的方式将不同节点与目录分片对应。本专利技术中提供的一种基于目录切分机制的元数据性能提升方法，通过将目录切分为若干目录分片，一个目录分片对应一个元数据服务，从而使得单目录使用多个多数据服务进行IO；进一步地，一个目录分片对应一个或多个磁盘，使得单目录写入单个磁盘的方式变成写入多个磁盘的方式，实现了元数据存储的并发；上述方法至少具有以下优点：通过将单目录切分为若干目录分片，将单目录使用一个元数据服务的IO模式转变为使用多个元数据服务的IO模式，大幅度提升单目录元数据并发性能。将单目录切分为若干目录分片后，可以将其中若干目录分片进一步切分，本专利技术还提供了一种基于目录切分机制的元数据性能提升方法，包括以下步骤：将目录依次切分为N层目录分片，其中，第1层目录分片包括由目录切分而成的若干第1目录分片，第i层目录分片包括由至少一个第i-1层目录分片切分而成的若干第i目录分片，i，N均为自然数，2≤i≤N；任一第h目录分片未被切分为若干第h+1目录分片，则为该第h目录分片分配一个元数据服务进行对应，h为自然数，1≤h≤N。优选地，包括以下步骤：若第h目录分片具有对应的元数据服务，则为其分片一块或多块磁盘进行对应。上述基于目录切分机制的元数据性能提升方法的有益效果与第一种基于目录切分机制的元数据性能提升方法中有益效果类似，此处不再赘述。附图说明图1为本专利技术提出的一种基于目录切分机制的元数据性能提升方法中一种实施例的流程示意图；图2为本专利技术提出的一种基于目录切分机制的元数据性能提升方法中一种实施例所形成系统的系统拓扑图。具体实施方式如图1-2所示，图1为本专利技术提出的一种基于目录切分机制的元数据性能提升方法中一种实施例的流程示意图；图2为本专利技术提出的一种分布式文件系统中一种实施例的系统拓扑图。下面结合附图和实施例对本专利技术进行详细的描述。参考图1，一种基于目录切分机制的元数据性能提升方法，包括以下步骤：将目录切分为若干目录分片；将若干元数据服务与若干目录分片进行对应，一个目录分片对应一个元数据服务且元数据服务与目录分片一一对应；将任一目录分片对应一块或多块磁盘；采用哈希的方式将不同节点与目录分片对应。在上述实施例中，我们可以获知，实施例采用的基于目录切分机制的元数据性能提升方法，通过将目录切分为若干目录分片，一个目录分片对应一个元数据服务，从而使得单目录使用多个多数据服务进行IO；进一步地，一个目录分片对应一个或多个磁盘，使得单目录写入单个磁盘的方式变成写入多个磁盘的方式，实现了元数据存储的并发，形成的系统拓扑结构可参考图2；当客户端在目录下发送创建、查看、删除等文件操作请求时，可以依据所指定的文件将请求哈希到对应目录分片下，并将请求进一步发送至该目录分片对应的元数据服务商，由该元数据服务来响应操作。将单目录切分为若干目录分片后，可以将其中若干目录分片进一步切分，本专利技术还提供了一种基于目录切分机制的元数据性能提升方法，包括以下步骤：将目录依次切分为N层目录分片，其中，第1层目录分片包括由目录切分而成的若干第1目录分片，第i层目录分片包括由至少一个第i-1层目录分片切分而成的若干第i目录分片，i，N均为自然数，2≤i≤N；任一第h目录分片未被切分为若干第h+1目录分片，则为该第h目录分片分配一个元数据服务进行对应，h为自然数，1≤h≤N；若第h目录分片具有对应的元数据服务，则为其分片一块或多块磁盘进行对应。以上所述，仅为本专利技术较佳的具体实施方式，但本专利技术的保护范围并不局限于此，任何熟悉本
的技术人员在本专利技术揭露的技术范围内，根据本专利技术的技术方案及其专利技术构思加以等同替换或改变，都应涵盖在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
一种基于目录切分机制的元数据性能提升方法，其特征在于，包括以下步骤：将目录切分为若干目录分片；将若干元数据服务与若干目录分片进行对应，一个目录分片对应一个元数据服务。

【技术特征摘要】
1.一种基于目录切分机制的元数据性能提升方法，其特征在于，包括以下步骤：将目录切分为若干目录分片；将若干元数据服务与若干目录分片进行对应，一个目录分片对应一个元数据服务。2.根据权利要求1所述的基于目录切分机制的元数据性能提升方法，其特征在于，元数据服务与目录分片数量相等，且元数据服务与目录分片一一对应。3.根据权利要求1所述的基于目录切分机制的元数据性能提升方法，其特征在于，包括以下步骤：将任一目录分片对应一块或多块磁盘。4.根据权利要求1所述的基于目录切分机制的元数据性能提升方法，其特征在于，包括以下步骤：将不同节点与目录分片对应。5.根据权利要求4所述的基于目录切分机制的元数据性能提升...

【专利技术属性】
技术研发人员：张延良，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南;41