负载均衡方法、电子设备及存储介质技术

技术编号:37609652 阅读:29 留言:0更新日期:2023-05-18 12:01
本公开涉及文件系统技术领域,具体涉及负载均衡方法、电子设备及存储介质,该方法应用于元数据服务器MDS集群中的MDS节点中,包括接收并解析目录创建请求,以获得待创建目录的目录信息;基于待创建目录的路径信息确定待创建目录的目录深度;基于目录深度以及预设静态绑定目录深度,确定是否需要进行静态绑定;当需要进行静态绑定时,查询是否存在待绑定的目标MDS节点的记录,目标MDS节点是基于MDS集群中各个MDS节点的负载信息确定的;当不存在目标MDS节点的记录时,从MDS集群中均衡选择迁入MDS;将待创建目录绑定到迁入MDS节点。该方法既能够实现负载均衡,又能避免频繁迁移带来的等待时间较长的问题。等待时间较长的问题。等待时间较长的问题。

【技术实现步骤摘要】
负载均衡方法、电子设备及存储介质


[0001]本公开涉及文件系统
,具体涉及负载均衡方法、电子设备及存储介质。

技术介绍

[0002]随着大数据时代的到来,海量的数据产生,分布式文件系统应用越来越广泛。分布式文件系统由多台独立的设备通过网络建立庞大、可扩展的集群系统,采用统一命名空间,整个文件系统的目录文件是一个树型结构,为避免系统资源争用,消除系统瓶颈,需要将整个文件系统的目录树结构进行切割,划分为若干子树,使得元数据服务器(Mete Data Server,简称为MDS)分别管理不同的子树。每个子树属于一个MDS,一个MDS可以包含若干个子树。
[0003]当文件系统中的某些目录中的文件热度比较高时,集群会根据每个MDS的负载情况进行动态的均衡,将热度较高的目录及其子目录和文件迁移到热度较低的MDS上,即通过子树迁移防止该MDS成为性能瓶颈点。由于迁移过程中相关目录访问被冻结,用户正常访问IO会被挂起,导致相关目录的业务暂时不可用。在目录迁移过程中,迁移的目录树包含的文件数越多,冻结的时间就会越长,如果有客户端请求访问正在迁移本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种负载均衡方法,其特征在于,应用于元数据服务器MDS集群中的MDS节点,所述方法包括:接收并解析目录创建请求,以获得待创建目录的目录信息,所述目录信息包括所述待创建目录的路径信息;基于所述待创建目录的路径信息确定所述待创建目录的目录深度;基于所述目录深度以及预设静态绑定目录深度,确定是否需要进行静态绑定;当需要进行静态绑定时,查询是否存在待绑定的目标MDS节点的记录,所述目标MDS节点是基于所述MDS集群中各个MDS节点的负载信息确定的;当不存在目标MDS节点的记录时,从所述MDS集群中均衡选择迁入MDS节点;将所述待创建目录绑定到所述迁入MDS节点。2.根据权利要求1所述的方法,其特征在于,所述基于所述目录信息中的路径信息,确定所述待创建目录的目录深度,包括:利用所述目录信息中的路径信息查询所述待创建目录的父目录,以获得所述父目录的目录深度;基于所述父目录的目录深度确定所述待创建目录的目标深度。3.根据权利要求1所述的方法,其特征在于,所述目录信息中还包括所述待创建目录的请求来源,所述方法还包括:当所述请求来源的值为静态绑定标识时,确定需要进行静态绑定;当所述请求来源的值不是所述静态绑定标识时,执行基于所述待创建目录的路径信息确定所述待创建目录的目录深度的步骤。4.根据权利要求1所述的方法,其特征在于,所述从所述MDS集群中均衡选择迁入MDS节点,包括:获取待创建目录的索引编号;将待创建目录的索引编号与MDS集群中MDS节点的数量进行计算,以确定所述迁入MDS节点。5.根据权利要求1所述的方法,其特征在于,所述负载信息包括权...

【专利技术属性】
技术研发人员:车香蕾
申请(专利权)人:新华三技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1