分布式存储系统的目录负载均衡方法、装置、设备及介质制造方法及图纸

本发明专利技术实施例公开了一种分布式存储系统的目录负载均衡方法、装置、设备及计算机可读存储介质。其中，方法包括预先在分布式存储系统的客户端中设置元数据服务器集群的目录负载均衡规则的目录及深度，目录负载均衡规则的路径和深度构成目录负载均衡规则数据结构，多个目录负载均衡规则数据结构构成目录数据结构图。当根据新建目录的路径遍历目录数据结构图可匹配目标目录均衡规则，则向元数据服务器集群发送携带标识参数的新建目录的请求，以使元数据服务器集群根据标识参数轮询选择目标元数据服务器为目录提供服务。本申请提供的技术方案分散了mds服务器集群的压力，有利于提升分布式存储系统的数据处理效率，提升了分布式存储系统的性能和稳定性。

Directory Load Balancing Method, Device, Equipment and Media for Distributed Storage Systems

The embodiment of the invention discloses a directory load balancing method, device, device and computer readable storage medium of a distributed storage system. Among them, the method includes setting the directory and depth of load balancing rules of metadata server cluster in the client of distributed storage system in advance. The path and depth of directory load balancing rules constitute the data structure of directory load balancing rules, and the data structure of multiple directory load balancing rules constitutes the data structure diagram of directory data. When traversing the directory data structure diagram according to the path of the new directory matches the target directory equilibrium rule, the request for a new directory with identification parameters is sent to the metadata server cluster to enable the metadata server cluster to poll for the selection of the target metadata server to serve the directory. The technical solution provided in this application disperses the pressure of the MDS server cluster, which is conducive to improving the data processing efficiency of the distributed storage system and the performance and stability of the distributed storage system.

【技术实现步骤摘要】
分布式存储系统的目录负载均衡方法、装置、设备及介质
本专利技术实施例涉及分布式存储系统的数据读写
，特别是涉及一种分布式存储系统的目录负载均衡方法、装置、设备及计算机可读存储介质。
技术介绍
随着云技术、大数据的快速发展，数据呈现爆炸式的增长，促使存储技术得到相应的发展，以满足数据存储的现实需求。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，同时还存在着可靠性和安全性隐患，不能满足大规模存储应用的需要，分布式存储系统应运而生。分布式存储系统将数据分散存储在多台独立的设备上，其采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，不但可提高系统的可靠性、可用性和存取效率，还易于扩展。分布式存储系统为了能有效地管理文件，并加快文件的读写速度，通常将文件的元数据提取出来用单独的服务器(即元数据服务器)进行存储和管理。考虑到元数据的安全和mds(metadataserver，元数据服务器)的稳定性，一套存储系统中往往会配置多个mds进行数据冗余。但是，针对于分布式存储系统的客户端的建立、读写文件等请求，通常只有一个mds提供服务，当海量文件同时读写时会加大该mds的压力，进而影响分布式存储系统的整体性能和稳定性。
技术实现思路
本专利技术实施例的目的是提供一种分布式存储系统的目录负载均衡方法、装置、设备及计算机可读存储介质，分散了mds服务器集群的压力，提升了分布式存储系统的性能和稳定性。为解决上述技术问题，本专利技术实施例提供以下技术方案：本专利技术实施例一方面提供了一种分布式存储系统的目录负载均衡方法，应用于分布式存储系统的客户端，包括：遍历预先构建的目录数据结构图，根据新建目录的路径在所述目录数据结构图匹配目标目录均衡规则；向元数据服务器集群发送携带标识参数的新建所述目录的请求，以使所述元数据服务器集群根据所述标识参数轮询选择目标元数据服务器为所述目录提供服务；其中，预先在所述分布式存储系统的客户端中设置元数据服务器集群的目录负载均衡规则的目录及深度；所述目录数据结构图包含多个目录负载均衡规则数据结构，每个目录负载均衡规则数据结构由相对应的路径和深度构成。可选的，所述根据新建目录的路径在所述目录数据结构图匹配目标目录均衡规则包括：根据所述目录的路径，依次与所述目录数据结构图中的各路径进行比对，判断所述目录数据结构图中是否存在所述目录的父目录；若是，计算所述目录与所述父目录的路径距离值；判断所述路径距离值是否小于所述父目录的深度值；若是，则所述父目录为所述目标目录均衡规则。可选的，所述在所述分布式存储系统的客户端的fsc结构中设置元数据服务器集群的目录负载均衡规则的目录及深度包括：在所述客户端的fsc结构中添加元数据服务器集群的目录负载均衡规则的目录及深度，并将各目录负载均衡规则存储在预设字符串变量中，且各目录负载均衡规则以逗号分割；根据逗号的位置，将各目录负载均衡规则对应分配到预设字符串数组的一个位置中。可选的，所述目录数据结构图的生成过程包括：在所述客户端的fsc结构中添加红黑树数据结构，用于存储各目录负载均衡规则的目录及其层次，以形成目录路径图；将各目录负载均衡规则数据结构链接在所述目录路径图中，生成所述目录数据结构图。可选的，所述在所述分布式存储系统的客户端的fsc结构中设置元数据服务器集群的目录负载均衡规则的目录及深度为：通过动态修改或写入配置文件的方式，在所述客户端的fsc结构中设置所述元数据服务器集群的目录负载均衡规则的目录及深度。本专利技术实施例另一方面提供了一种分布式存储系统的目录负载均衡装置，应用于分布式存储系统的客户端，包括：目录负载均衡规则建立模块，用于预先在所述分布式存储系统的客户端中设置元数据服务器集群的目录负载均衡规则的目录及深度；目录负载均衡规则匹配模块，用于遍历预先构建的目录数据结构图，根据新建目录的路径在所述目录数据结构图匹配目标目录均衡规则；所述目录数据结构图包含多个目录负载均衡规则数据结构，每个目录负载均衡规则数据结构由相对应的路径和深度构成；新建目录模块，用于向元数据服务器集群发送携带标识参数的新建所述目录的请求，以使所述元数据服务器集群根据所述标识参数轮询选择目标元数据服务器为所述目录提供服务。可选的，所述目录负载均衡规则匹配模块包括：路径比对子模块，用于根据所述目录的路径，依次与所述目录数据结构图中的各路径进行比对，判断所述目录数据结构图是否存在所述目录的父目录；距离计算子模块，用于当存在所述目录的父目录，计算所述目录与所述父目录的路径距离值；深度判断子模块，用于判断所述路径距离值是否小于所述父目录的深度值；匹配子模块，用于当所述路径距离值小于所述父目录的深度值，则所述父目录为所述目标目录均衡规则。可选的，所述目录负载均衡规则建立模块包括：目录负载均衡规则添加子模块，用于在所述客户端的fsc结构中添加元数据服务器集群的目录负载均衡规则的目录及深度，并将各目录负载均衡规则存储在预设字符串变量中，且各目录负载均衡规则以逗号分割；目录负载均衡规则分配子模块，用于根据逗号的位置，将各目录负载均衡规则对应分配到预设字符串数组的一个位置中。本专利技术实施例还提供了一种分布式存储系统的目录负载均衡设备，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述分布式存储系统的目录负载均衡方法的步骤。本专利技术实施例最后还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有分布式存储系统的目录负载均衡程序，所述分布式存储系统的目录负载均衡程序被处理器执行时实现如前任一项所述分布式存储系统的目录负载均衡方法的步骤。本专利技术实施例提供了一种分布式存储系统的目录负载均衡方法，预先在分布式存储系统的客户端中设置元数据服务器集群的目录负载均衡规则的目录及深度，目录负载均衡规则的路径和深度构成目录负载均衡规则数据结构，多个目录负载均衡规则数据结构构成目录数据结构图。当根据新建目录的路径遍历目录数据结构图可匹配目标目录均衡规则，则向元数据服务器集群发送携带标识参数的新建目录的请求，以使元数据服务器集群根据标识参数轮询选择目标元数据服务器为目录提供服务。本申请提供的技术方案的优点在于，客户端通过解析设置的目录负载均衡规则对存在父目录的新建目录，在向元数据服务器集群发送新建目录请求时，增加标识参数，元数据服务器集群接收到该请求后轮询mds集群选择一个mds创建该目录及为在该目录下所有文件的创建和读写提供服务，分散了mds服务器集群的压力，避免了现有技术中一直由主元数据服务器或某个元数据服务器提供服务而出现由于服务器压力较大导致系统运行较慢甚至是出错等问题的发生，不仅方便了分布式存储系统的使用，尤其是针对海量文件同时进行读写，有利于提升整个分布式存储系统的数据处理效率，还有利于提升分布式存储系统的性能和稳定性。此外，本专利技术实施例还针对分布式存储系统的目录负载均衡方法提供了相应的实现装置、设备及计算机可读存储介质，进一步使得所述方法更具有实用性，所述装置、设备及计算机可读存储介质具有相应的优点。附图说明为了更清楚的说明本专利技术实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下本文档来自技高网...

【技术保护点】
1.一种分布式存储系统的目录负载均衡方法，其特征在于，应用于分布式存储系统的客户端，包括：遍历预先构建的目录数据结构图，根据新建目录的路径在所述目录数据结构图匹配目标目录均衡规则；向元数据服务器集群发送携带标识参数的新建所述目录的请求，以使所述元数据服务器集群根据所述标识参数轮询选择目标元数据服务器为所述目录提供服务；其中，预先在所述分布式存储系统的客户端中设置元数据服务器集群的目录负载均衡规则的目录及深度；所述目录数据结构图包含多个目录负载均衡规则数据结构，每个目录负载均衡规则数据结构由相对应的路径和深度构成。

【技术特征摘要】
1.一种分布式存储系统的目录负载均衡方法，其特征在于，应用于分布式存储系统的客户端，包括：遍历预先构建的目录数据结构图，根据新建目录的路径在所述目录数据结构图匹配目标目录均衡规则；向元数据服务器集群发送携带标识参数的新建所述目录的请求，以使所述元数据服务器集群根据所述标识参数轮询选择目标元数据服务器为所述目录提供服务；其中，预先在所述分布式存储系统的客户端中设置元数据服务器集群的目录负载均衡规则的目录及深度；所述目录数据结构图包含多个目录负载均衡规则数据结构，每个目录负载均衡规则数据结构由相对应的路径和深度构成。2.根据权利要求1所述的分布式存储系统的目录负载均衡方法，其特征在于，所述根据新建目录的路径在所述目录数据结构图匹配目标目录均衡规则包括：根据所述目录的路径，依次与所述目录数据结构图中的各路径进行比对，判断所述目录数据结构图中是否存在所述目录的父目录；若是，计算所述目录与所述父目录的路径距离值；判断所述路径距离值是否小于所述父目录的深度值；若是，则所述父目录为所述目标目录均衡规则。3.根据权利要求2所述的分布式存储系统的目录负载均衡方法，其特征在于，所述在所述分布式存储系统的客户端的fsc结构中设置元数据服务器集群的目录负载均衡规则的目录及深度包括：在所述客户端的fsc结构中添加元数据服务器集群的目录负载均衡规则的目录及深度，并将各目录负载均衡规则存储在预设字符串变量中，且各目录负载均衡规则以逗号分割；根据逗号的位置，将各目录负载均衡规则对应分配到预设字符串数组的一个位置中。4.根据权利要求1至3任意一项所述的分布式存储系统的目录负载均衡方法，其特征在于，所述目录数据结构图的生成过程包括：在所述客户端的fsc结构中添加红黑树数据结构，用于存储各目录负载均衡规则的目录及其层次，以形成目录路径图；将各目录负载均衡规则数据结构链接在所述目录路径图中，生成所述目录数据结构图。5.根据权利要求4所述的分布式存储系统的目录负载均衡方法，其特征在于，所述在所述分布式存储系统的客户端的fsc结构中设置元数据服务器集群的目录负载均衡规则的目录及深度为：通过动态修改或写入配置文件的方式，在所述客户端的fsc结构中设置所述元数据服务器集群的目录负载均衡规则的目...

【专利技术属性】
技术研发人员：梁明远，魏盟，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41