一种元数据集群动态子树分区方法及装置制造方法及图纸

本发明专利技术公开了一种元数据集群动态子树分区方法，包括：根据目录结构确定动态子树分区目录级别，所述动态子树分区目录级别下的目录与元数据集群中的元数据服务相对应；在新建目录时，若新建的目录属于所述动态子树分区目录级别，则向所述新建的目录分配元数据服务；可见，在本方案中，首先确定态子树分区目录级别，然后在该目录级别上新建的目录会依据元数据服务个数，轮询将目录分配到元数据服务上，这样，在这些目录下IO负载就均衡到每个元数据服务上，从而实现元数据集群动态子树分区，提升元数据服务性能；本发明专利技术还公开了一种元数据集群动态子树分区装置，同样能实现上述技术效果。

Method and device for partitioning metadata cluster dynamic subtree

The invention discloses a metadata cluster dynamic subtree partitioning method, including: according to the directory structure to determine the dynamic subtree partitioning the directory level, the directory service of metadata dynamic subtree partitioning directory level and metadata in the cluster corresponding; in the new directory, if the new directory belongs to the dynamic subtree partitioning level directory, the directory distribution of metadata service into the new; visible, in this scheme, first determine the state level directory subtree partitioning, and then in the new directory level directory based on metadata service number will be assigned to the polling directory metadata service, so, in these directories under IO load balanced to each metadata service thus, metadata cluster dynamic subtree partitioning, improve metadata service performance; the invention also discloses a metadata cluster Dynamic subtree partitioning device, the same can achieve the technical effect.

【技术实现步骤摘要】

本专利技术涉及分布式文件系统领域，更具体地说，涉及一种元数据集群动态子树分区方法及装置。
技术介绍
目前，在视频监控应用中，用户会为每个摄像头每天创建一个目录，然后每天将监控数据直接写到该目录下，特别是卡口图片的存储，会涉及大量的元数据操作，因此，针对：客户应用每天会新建很多目录，然后在这些目录下同时写入大量数据的这种场景，可使用元数据集群来提升元数据性能和负载均衡。目前，元数据集群性能提升和负载均衡有两种方式：元数据集群静态子树分区和元数据集群动态子树分区。元数据集群静态子树分区容易实现，就是通过子树分区命令，手动对已存在的目录进行分区，这种使用方式不友好，也不能实现负载的有效均衡。元数据集群动态子树分区是依据一定的元数据负载算法，将负载自动均衡到各元数据上，该方式很难实现，目前还没有看到具备动态子树分区的产品。因此，如何实现元数据集群的动态子树分区，是本领域技术人员需要解决的问题。
技术实现思路
本专利技术的目的在于提供及一种元数据集群动态子树分区方法及装置，以实现动态的向新建的目录分配元数据服务。为实现上述目的，本专利技术实施例提供了如下技术方案：一种元数据集群动态子树分区方法，包括：根据目录结构确定动态子树分区目录级别，所述动态子树分区目录级别下的目录与元数据集群中的元数据服务相对应；在新建目录时，若新建的目录属于所述动态子树分区目录级别，则向所述新建的目录分配元数据服务。其中，若新建的目录不属于所述动态子树分区目录级别，则直接创建目录。其中，所述若新建的目录属于所述动态子树分区目录级别，则向所述新建的目录分配元数据服务，包括：若新建的目录属于所述动态子树分区目录级别，则以轮训方式，将所述新建的目录分配至所述元数据集群中的元数据服务。其中，所述根据目录结构确定动态子树分区目录级别，包括：将目录结构中新建目录频率大于预定阈值的目录级别，作为所述动态子树分区目录级别。一种元数据集群动态子树分区装置，包括：目录级别确定模块，用于根据目录结构确定动态子树分区目录级别，所述动态子树分区目录级别下的目录与元数据集群中的元数据服务相对应；元数据服务分配模块，用于在新建目录时，若新建的目录属于所述动态子树分区目录级别，则向所述新建的目录分配元数据服务。其中，包括：判断模块，用于判断新建的目录是否属于所述动态子树分区目录级别；目录创建模块，用于在新建的目录不属于所述动态子树分区目录级别时，直接创建目录。其中，所述元数据服务分配模块，以轮训方式，将所述新建的目录分配至所述元数据集群中的元数据服务。其中，所述目录级别确定模块将目录结构中新建目录频率大于预定阈值的目录级别，作为所述动态子树分区目录级别。通过以上方案可知，本专利技术实施例提供的一种元数据集群动态子树分区方法，包括：根据目录结构确定动态子树分区目录级别，所述动态子树分区目录级别下的目录与元数据集群中的元数据服务相对应；在新建目录时，若新建的目录属于所述动态子树分区目录级别，则向所述新建的目录分配元数据服务；可见，在本方案中，首先根据新建目录的频率确定态子树分区目录级别，然后在该目录级别上新建的目录会依据元数据服务个数，轮询将目录分配到元数据服务上，这样，在这些目录下IO负载就均衡到每个元数据服务上，从而实现元数据集群动态子树分区，提升元数据服务性能；本专利技术还公开了一种元数据集群动态子树分区装置，同样能实现上述技术效果。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例公开的一种元数据集群动态子树分区方法流程示意图；图2为本专利技术实施例公开的一种具体的元数据集群动态子树分区方法流程示意图；图3为本专利技术实施例公开的动态子树分区示意图；图4为本专利技术实施例公开的一种元数据集群动态子树分区装置结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例公开了一种元数据集群动态子树分区方法及装置，以实现动态的向新建的目录分配元数据服务。参见图1，本专利技术实施例提供的一种元数据集群动态子树分区方法，包括：S101、根据目录结构确定动态子树分区目录级别，所述动态子树分区目录级别下的目录与元数据集群中的元数据服务相对应；其中，所述根据目录结构确定动态子树分区目录级别，包括：将目录结构中新建目录频率大于预定阈值的目录级别，作为所述动态子树分区目录级别。具体的，在本实施例中，首先需要在存储系统界面中提供设置文件系统目录级别的操作界面，用户依据用户目录结构指定需要动态子树分区的目录级别。比如文件系统目录结构为/a/b/c/，/为文件系统根目录，a为1级目录，b为2级目录，c为3级目录，若将1级目录确定为动态子树分区目录级别，则设置好目录级别后，在这一级创建的目录会自动分配元数据服务，在该级目录下写入的数据直接和分配的元数据服务通信，即每个元数据服务承担属于它的负载。S102、在新建目录时，若新建的目录属于所述动态子树分区目录级别，则向所述新建的目录分配元数据服务；其中，若新建的目录不属于所述动态子树分区目录级别，则直接创建目录。所述若新建的目录属于所述动态子树分区目录级别，则向所述新建的目录分配元数据服务，包括：若新建的目录属于所述动态子树分区目录级别，则以轮训方式，将所述新建的目录分配至所述元数据集群中的元数据服务。具体的，参见图2，为本实施例提供的具体的元数据集群动态子树分区方法，在创建目录时，若检测到创建的目录为子树分区目录，则创建时进行子树分区处理，自动向该目录分配元数据服务；若创建的目录不为子树分区目录，则直接创建，不进行子树分区处理。并且在将创建的目录分配至元数据服务时，可以以轮询的方式进行分配。具体的，参见图3，为本实施例提供的动态子树分区示意图，若用户依据应用设置元数据集群的动态子树分区目录级别为图3中标注部分，也就是dir1的1级目录；客户端运行应用程序，进行用户数据存储。在新建目录时，检查该目录是否为动态子树分区目录，若新建目录属于dir1的1级目录，则将目录分配一个元数据服务；如果不是，直接创建目录。需要说明的是，本方案主要针对类似视频监控中图片和录像存储应用场景提出的一种元数据集群动态子树分区。该类应用场景特征：每天按照监控摄像头个数新建对应目录，然后向这些目录中保存图片和视频数据。这类数据在几KB到几MB大小不等，摄像头数量上百个，数据存储中对元数据压力较大。针对上述应用场景，在文件系统中部署N个元数据服务，当创建这些特征目录时，自动将目录指定到某个元数据服务上，一般使用轮询分配方式。这样，在目录下写入数据后，直接去指定元数据服务上发送IO请求，即能达到元数据压力负责均衡效果，又能实现元数据性能的线性增长。下面对本专利技术实施例提供的动态子树分区装置进行介绍，下文描述的动态子树分区装置与上文描述本文档来自技高网...

【技术保护点】
一种元数据集群动态子树分区方法，其特征在于，包括：根据目录结构确定动态子树分区目录级别，所述动态子树分区目录级别下的目录与元数据集群中的元数据服务相对应；在新建目录时，若新建的目录属于所述动态子树分区目录级别，则向所述新建的目录分配元数据服务。

【技术特征摘要】
1.一种元数据集群动态子树分区方法，其特征在于，包括：根据目录结构确定动态子树分区目录级别，所述动态子树分区目录级别下的目录与元数据集群中的元数据服务相对应；在新建目录时，若新建的目录属于所述动态子树分区目录级别，则向所述新建的目录分配元数据服务。2.根据权利要求1所述的元数据集群动态子树分区方法，其特征在于，若新建的目录不属于所述动态子树分区目录级别，则直接创建目录。3.根据权利要求2所述的元数据集群动态子树分区方法，其特征在于，所述若新建的目录属于所述动态子树分区目录级别，则向所述新建的目录分配元数据服务，包括：若新建的目录属于所述动态子树分区目录级别，则以轮训方式，将所述新建的目录分配至所述元数据集群中的元数据服务。4.根据权利要求1-3中任意一项所述的元数据集群动态子树分区方法，其特征在于，所述根据目录结构确定动态子树分区目录级别，包括：将目录结构中新建目录频率大于预定阈值的目录级别，作为所述动态子树分区目录级别...

【专利技术属性】
技术研发人员：张延良，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南;41