The embodiment of the invention discloses a directory load balancing method, device, device and computer readable storage medium of a distributed storage system. Among them, the method includes setting the directory and depth of load balancing rules of metadata server cluster in the client of distributed storage system in advance. The path and depth of directory load balancing rules constitute the data structure of directory load balancing rules, and the data structure of multiple directory load balancing rules constitutes the data structure diagram of directory data. When traversing the directory data structure diagram according to the path of the new directory matches the target directory equilibrium rule, the request for a new directory with identification parameters is sent to the metadata server cluster to enable the metadata server cluster to poll for the selection of the target metadata server to serve the directory. The technical solution provided in this application disperses the pressure of the MDS server cluster, which is conducive to improving the data processing efficiency of the distributed storage system and the performance and stability of the distributed storage system.
【技术实现步骤摘要】
分布式存储系统的目录负载均衡方法、装置、设备及介质
本专利技术实施例涉及分布式存储系统的数据读写
,特别是涉及一种分布式存储系统的目录负载均衡方法、装置、设备及计算机可读存储介质。
技术介绍
随着云技术、大数据的快速发展,数据呈现爆炸式的增长,促使存储技术得到相应的发展,以满足数据存储的现实需求。传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,同时还存在着可靠性和安全性隐患,不能满足大规模存储应用的需要,分布式存储系统应运而生。分布式存储系统将数据分散存储在多台独立的设备上,其采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,不但可提高系统的可靠性、可用性和存取效率,还易于扩展。分布式存储系统为了能有效地管理文件,并加快文件的读写速度,通常将文件的元数据提取出来用单独的服务器(即元数据服务器)进行存储和管理。考虑到元数据的安全和mds(metadataserver,元数据服务器)的稳定性,一套存储系统中往往会配置多个mds进行数据冗余。但是,针对于分布式存储系统的客户端的建立、读写文件等请求,通常只有一个mds提供服务,当海量文件同时读写时会加大该mds的压力,进而影响分布式存储系统的整体性能和稳定性。
技术实现思路
本专利技术实施例的目的是提供一种分布式存储系统的目录负载均衡方法、装置、设备及计算机可读存储介质,分散了mds服务器集群的压力,提升了分布式存储系统的性能和稳定性。为解决上述技术问题,本专利技术实施例提供以下技术方案:本专利技术实施例一方面提供了一种分布式存储系统的目录负载均 ...
【技术保护点】
1.一种分布式存储系统的目录负载均衡方法,其特征在于,应用于分布式存储系统的客户端,包括:遍历预先构建的目录数据结构图,根据新建目录的路径在所述目录数据结构图匹配目标目录均衡规则;向元数据服务器集群发送携带标识参数的新建所述目录的请求,以使所述元数据服务器集群根据所述标识参数轮询选择目标元数据服务器为所述目录提供服务;其中,预先在所述分布式存储系统的客户端中设置元数据服务器集群的目录负载均衡规则的目录及深度;所述目录数据结构图包含多个目录负载均衡规则数据结构,每个目录负载均衡规则数据结构由相对应的路径和深度构成。
【技术特征摘要】
1.一种分布式存储系统的目录负载均衡方法,其特征在于,应用于分布式存储系统的客户端,包括:遍历预先构建的目录数据结构图,根据新建目录的路径在所述目录数据结构图匹配目标目录均衡规则;向元数据服务器集群发送携带标识参数的新建所述目录的请求,以使所述元数据服务器集群根据所述标识参数轮询选择目标元数据服务器为所述目录提供服务;其中,预先在所述分布式存储系统的客户端中设置元数据服务器集群的目录负载均衡规则的目录及深度;所述目录数据结构图包含多个目录负载均衡规则数据结构,每个目录负载均衡规则数据结构由相对应的路径和深度构成。2.根据权利要求1所述的分布式存储系统的目录负载均衡方法,其特征在于,所述根据新建目录的路径在所述目录数据结构图匹配目标目录均衡规则包括:根据所述目录的路径,依次与所述目录数据结构图中的各路径进行比对,判断所述目录数据结构图中是否存在所述目录的父目录;若是,计算所述目录与所述父目录的路径距离值;判断所述路径距离值是否小于所述父目录的深度值;若是,则所述父目录为所述目标目录均衡规则。3.根据权利要求2所述的分布式存储系统的目录负载均衡方法,其特征在于,所述在所述分布式存储系统的客户端的fsc结构中设置元数据服务器集群的目录负载均衡规则的目录及深度包括:在所述客户端的fsc结构中添加元数据服务器集群的目录负载均衡规则的目录及深度,并将各目录负载均衡规则存储在预设字符串变量中,且各目录负载均衡规则以逗号分割;根据逗号的位置,将各目录负载均衡规则对应分配到预设字符串数组的一个位置中。4.根据权利要求1至3任意一项所述的分布式存储系统的目录负载均衡方法,其特征在于,所述目录数据结构图的生成过程包括:在所述客户端的fsc结构中添加红黑树数据结构,用于存储各目录负载均衡规则的目录及其层次,以形成目录路径图;将各目录负载均衡规则数据结构链接在所述目录路径图中,生成所述目录数据结构图。5.根据权利要求4所述的分布式存储系统的目录负载均衡方法,其特征在于,所述在所述分布式存储系统的客户端的fsc结构中设置元数据服务器集群的目录负载均衡规则的目录及深度为:通过动态修改或写入配置文件的方式,在所述客户端的fsc结构中设置所述元数据服务器集群的目录负载均衡规则的目...
【专利技术属性】
技术研发人员:梁明远,魏盟,
申请(专利权)人:郑州云海信息技术有限公司,
类型:发明
国别省市:河南,41
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。