一种目录管理方法及装置制造方法及图纸

本申请提供一种目录管理方法及装置，该方法应用于存储设备中处于活跃状态的MDS模块，该方法包括：在接收到目录创建请求时，若本MDS模块的身份标识为指定的身份标识，则根据目录创建请求创建对应的新目录；若新目录的目录层级为指定的目录层级，则确定目录层级已开启目录固定功能，并执行以下操作：获取其他存储设备中与本MDS模块进行心跳交互且处于活跃状态的MDS模块上被固定的目录的第一数量；根据获取到的第一数量和本MDS模块上被固定的目录的第二数量，确定新目录被固定到的MDS模块；将新目录固定到确定出的MDS模块上进行管理。本申请可提高分布式文件系统的性能。

【技术实现步骤摘要】
一种目录管理方法及装置
本申请涉及文件系统
，尤其涉及一种目录管理方法及装置。
技术介绍
在一个分布式文件系统中，通常由多个存储设备中处于活跃状态的元数据服务(MetaDataServer，MDS)模块共同管理元数据。具体地，这些MDS模块一般通过目录结构的管理模式管理相关元数据。对于任一MDS模块，会根据这些MDS模块管理的目录中的元数据的读写热度，计算这些MDS模块的负载值，并在该MDS模块的负载值较高时，将该MDS管理的部分目录迁移到负载值较低的MDS模块上。但是，在实际使用过程中，发现这些MDS模块之间会频繁发生目录迁移，由于目录迁移过程中被迁移的目录的访问被冻结，这就导致客户无法正常访问被迁移的目录所涉及的业务，从而影响分布式文件系统的性能。
技术实现思路
为克服相关技术中存在的问题，本申请提供了一种目录管理方法及装置。根据本申请实施例的第一方面，提供一种目录管理方法，所述方法应用于存储设备中处于活跃状态的MDS模块，所述方法包括：在接收到目录创建请求时，若本MDS模块的身份标识为指定的身份标识，则根据所述目录创建请求创建对应的新目录；若所述新目录的目录层级为指定的目录层级，则确定所述目录层级已开启目录固定功能，并执行以下操作：获取其他存储设备中与本MDS模块进行心跳交互且处于活跃状态的MDS模块上被固定的目录的第一数量；根据获取到的第一数量和本MDS模块上被固定的目录的第二数量，确定所述新目录被固定到的MDS模块；将所述新目录固定到确定出的MDS模块上进行管理。根据本申请实施例的第二方面，提供一种目录管理装置，所述装置应用于存储设备中处于活跃状态的MDS模块，所述装置包括：创建模块，用于在接收到目录创建请求时，若本MDS模块的身份标识为指定的身份标识，则根据所述目录创建请求创建对应的新目录；处理模块，用于在所述新目录的目录层级为指定的目录层级时，确定所述目录层级已开启目录固定功能，并执行以下操作：获取其他存储设备中与本MDS模块进行心跳交互且处于活跃状态的MDS模块上被固定的目录的第一数量；根据获取到的第一数量和本MDS模块上被固定的目录的第二数量，确定所述新目录被固定到的MDS模块；将所述新目录固定到确定出的MDS模块上进行管理。本申请的实施例提供的技术方案可以包括以下有益效果：在本申请实施例中，在存储设备中处于活跃状态的MDS模块侧，指定一些目录层级开启目录固定功能，这些开启目录固定功能的目录层级下的新目录会被指定的身份标识对应的MDS模块分散地固定到某些MDS模块上，这些新目录不会再频繁发生迁移，从而保证了客户对这些新目录所涉及的业务的访问，一定程度上提高了分布式文件系统的性能。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。附图说明此处的附图被并入说明书中并构成本申请的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。图1为本申请实施例提供的一种目录管理方法的流程示意图；图2为本申请实施例提供的一种目录结构的示意图；图3为本申请实施例提供的固定各个新目录的示意图；图4为本申请实施例提供的日志段的结构示意图之一；图5为本申请实施例提供的日志段的结构示意图之二；图6为本申请实施例提供的一种目录管理装置的结构示意图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“若”或者“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。接下来对本申请实施例进行详细说明。本申请实施例提供了一种目录管理方法，该方法应用于存储设备中处于活跃(active)状态的MDS模块，如图1所示，该方法可以包括如下步骤：S11、在接收到目录创建请求时，若本MDS模块的身份标识为指定的身份标识，则根据目录创建请求创建对应的新目录。S12、若新目录的目录层级为指定的目录层级，则确定目录层级已开启目录固定功能，并执行以下操作：获取与本MDS模块进行通信的所有的处于活跃状态的MDS模块上被固定的目录的第一数量；根据获取到的第一数量和本MDS模块上被固定的目录的第二数量，确定新目录被固定到的MDS模块；将新目录固定到确定出的MDS模块上进行管理。需要说明的是，在本申请实施例中，对于分布式系统中包括有处于active状态的MDS模块的每台存储设备而言，每台存储设备中的处于active状态的MDS模块均会被赋予一个唯一的身份标识，以便每个处于active状态的MDS模块依据自己的身份标识是否为指定的身份标识来决策是否创建新目录。具体地，对于每个处于active状态的MDS模块而言，在接收到来自客户端设备的目录创建请求时，如果自己的身份标识为指定的身份标识，则该MDS模块会根据目录创建请求创建对应的新目录。如果自己的身份标识不为指定的身份标识，则该MDS模块会将目录创建请求发送给指定的身份标识对应的MDS模块，以由此MDS模块开始执行上述步骤S11中的根据目录创建请求创建对应的新目录。在这里，该MDS模块侧保存有与该MDS模块进行心跳交互的所有处于active状态的MDS模块(不同的MDS模块归属于不同的存储设备)的身份标识。例如，假设分布式系统中有3台包括有处于active状态的MDS模块的存储设备，其身份标识分别为rank0、rank1和rank2。假设指定的身份标识为rank0，那么，如果rank0对应的MDS模块接收到来自客户端设备1的目录创建请求1，此时，rank0对应的MDS模块会知晓自己的身份标识是指定的身份标识，直接根据目录创建请求1创建对应的新目录1。如果rank1对应的MDS模块接收到来自客户端设备2的目录创建请求2，此时，rank1对应的MDS模块会知晓自己的身份标识不是指定的身份标识，会将目录创建请求2发送给rank0对应的MD本文档来自技高网...

【技术保护点】
1.一种目录管理方法，其特征在于，所述方法应用于存储设备中处于活跃状态的元数据服务MDS模块，所述方法包括：/n在接收到目录创建请求时，若本MDS模块的身份标识为指定的身份标识，则根据所述目录创建请求创建对应的新目录；/n若所述新目录的目录层级为指定的目录层级，则确定所述目录层级已开启目录固定功能，并执行以下操作：/n获取其他存储设备中与本MDS模块进行心跳交互且处于活跃状态的MDS模块上被固定的目录的第一数量；/n根据获取到的第一数量和本MDS模块上被固定的目录的第二数量，确定所述新目录被固定到的MDS模块；/n将所述新目录固定到确定出的MDS模块上进行管理。/n

【技术特征摘要】
1.一种目录管理方法，其特征在于，所述方法应用于存储设备中处于活跃状态的元数据服务MDS模块，所述方法包括：
在接收到目录创建请求时，若本MDS模块的身份标识为指定的身份标识，则根据所述目录创建请求创建对应的新目录；
若所述新目录的目录层级为指定的目录层级，则确定所述目录层级已开启目录固定功能，并执行以下操作：
获取其他存储设备中与本MDS模块进行心跳交互且处于活跃状态的MDS模块上被固定的目录的第一数量；
根据获取到的第一数量和本MDS模块上被固定的目录的第二数量，确定所述新目录被固定到的MDS模块；
将所述新目录固定到确定出的MDS模块上进行管理。


2.根据权利要求1所述的方法，其特征在于，通过以下方式确定所述新目录被固定到的MDS模块：
若获取到的第一数量全部大于所述第二数量，则将本MDS模块确定为所述新目录被固定到的MDS模块；
若获取到的第一数量不全部大于所述第二数量，则将获取到的第一数量中任一小于所述第二数量的第一数量所对应的MDS模块，确定为所述新目录被固定到的MDS模块。


3.根据权利要求2所述的方法，其特征在于，将所述新目录固定到确定出的MDS模块上进行管理，具体包括：
在确定出的MDS模块为本MDS模块时，将所述新目录固定到本MDS模块上进行管理；
在确定出的MDS模块不为本MDS模块时，将所述新目录固定到所述确定出的MDS模块上，并将所述新目录迁移到所述确定出的MDS模块上进行管理。


4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
在将所述新目录固定到本MDS模块上之后，若所述目录层级配置有目录固定过期时长，则根据所述新目录被固定的时间和所述目录固定过期时长，计算所述新目录的目录固定过期时间并记录；
在当前的解除周期到达时，遍历被固定的所有目录，其中，所述解除周期的时长小于被固定的目录的目录层级所配置的目录固定过期时长；
若遍历到的已超过目录固定过期时间的目录的数量不大于设定数量，则解除已超过目录固定过期时间的目录的目录固定功能；
若遍历到的已超过目录固定过期时间的目录的数量大于所述设定数量，则从遍历到的已超过目录固定过期时间的目录中选择所述设定数量个目录，并解除选择出的目录的目录固定功能，将下一个解除周期作为当前的解除周期，返回执行遍历被固定的所有目录的步骤。


5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在本MDS模块的身份标识不为指定的身份标识时，将所述目录创建请求发送给所述指定的身份标识对应的MDS模块，以由所述指定的身份标识对应的MDS模块开始执行根据所述目录创建请求创建对应的新目录的步骤。


6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
在接收到由所述指定的身份标识对应的MDS模块迁移过来的被固定的新目录后，若所述被固定的新目录的目录层级配置有目录固定过期时长，则根据所述被固定的新目录被固定的时间和所述目录固定过期时长，计算所述被固定的新目录的目录固定过期时间并记录；
在当前的解除周期到达时，遍历被固定的所有目录，其中，所述解除周期的时长小于被固定的目录的目录层级所配置的目录固定过期时长；
若遍历到的已超过目录固定过期时间的目录的数量不大于设定数量，则解除已超过目录固定过期时间的目录的目录固定功能；
若遍历到的已超过目录固定过期时间的目录的数量大于所述设定数量，则从遍历到的已超过目录固定过期时间的目录中选择所述设定数量个目录，并解除选择出的目录的目录固定功能，将下一个解除周期作为当前的解除周期，返回执行遍历被固定的所有目录的步骤。


7.一种目录...

【专利技术属性】
技术研发人员：邵秀，豆文明，张鼎鸿，汪少杰，
申请(专利权)人：新华三大数据技术有限公司，
类型：发明
国别省市：河南;41