分布式文件系统的多个集群的管理技术方案

技术编号:20291194 阅读:28 留言:0更新日期:2019-02-10 21:11
本发明专利技术涉及用于管理其上存储有集群文件的分布式文件系统的集群的方法和系统。其上运行有应用的用户设备与分布式文件系统的集群之间设有中间层,用于使用关于集群文件的元数据管理和协调多个集群之间的操作。

Management of Multiple Clusters of Distributed File Systems

The present invention relates to a method and system for managing a cluster of distributed file systems on which cluster files are stored. There is an intermediate layer between the cluster running the applied user equipment and the distributed file system, which is used to manage and coordinate the operations among multiple clusters using metadata about cluster files.

【技术实现步骤摘要】
【国外来华专利技术】分布式文件系统的多个集群的管理相关申请案交叉申请本专利技术要求2016年11月16日递交的第62/422,751号美国临时专利申请案的在先申请优先权,该在先申请的全部内容以引入的方式并入本文本中。本专利技术还要求2017年5月3日递交的第15/585,815号美国临时专利申请案的在先申请优先权,该在先申请的全部内容也以引入的方式并入本文本中。
本专利技术涉及集中管理分布式文件系统的多个集群。
技术介绍
分布式文件系统的集群为基于客户端/服务器的应用,该应用允许用户(通过客户端)访问和处理来自多个主机的数据,其中这些主机通过计算机网络共享。由于文件系统的大小增加以及组织内有不同的需求,导致相互独立地创建和管理分布式文件系统的多个集群。这会带来一些挑战,例如与以下内容相关的挑战:在一集群中生成不同集群需要的数据,多个集群之间的应用负载均衡,以及用于容灾目的的数据复制需求。存在用于解决这些问题的某些工具,但这些工具很复杂并且针对的是个体需求,例如数据复制或同步命名空间。因此需要一种整体方法来管理分布式文件系统的多个集群。
技术实现思路
本专利技术涉及用于管理其上存储有集群文件的分布式文件系统的集群的方法和系统。其上运行有应用的用户设备与分布式文件系统的集群之间设有中间层,用于使用关于集群文件的元数据管理和协调多个集群之间的操作。根据第一广义方面,提供了一种用于管理分布式文件系统的多个集群的系统,所述多个集群具有集群文件。所述系统包括至少一个处理单元和通信地耦合至所述至少一个处理单元并且包括计算机可读程序指令的非瞬时性存储器。所述程序指令可由所述至少一个处理单元执行以用于如下操作:从用户设备上的应用接收创建新集群文件的请求;创建与所述新集群文件对应的集群管理文件;分配逻辑文件名和物理文件名给所述新集群文件;在所述多个集群中为所述新集群文件分配物理文件位置;将元数据存储在所述集群管理文件中,将所述集群管理文件映射到所述新集群文件,其中所述元数据包括所述物理文件名和所述物理文件位置;使用所述物理文件名将创建所述新集群文件的所述请求传输到所述物理文件位置对应的所述集群中的一个集群;使用所述逻辑文件名向所述应用确认所述集群文件的创建。在任一前述实施例中,所述分布式文件系统是Hadoop分布式文件系统或Hadoop兼容文件系统。在任一前述实施例中,可执行所述程序指令以用于实现至少一个客户端组件与所述应用和所述集群通信,以及用于实现至少一个管理器组件生成和存储所述元数据。在任一前述实施例中,所述至少一个客户端组件包括多个客户端组件,每个客户端组件用于与不同用户应用通信。在任一前述实施例中,所述至少一个管理器组件包括多个管理器组件,每个管理器组件用于与所述多个集群的不同分组通信。在任一前述实施例中,可执行所述程序指令以用于实现将所述系统实现为虚拟机。根据另一广义方面,提供了一种用于管理分布式文件系统的多个集群的方法,所述多个集群具有集群文件。从用户设备上的应用接收创建新集群文件的请求。创建与所述新集群文件对应的集群管理文件。分配逻辑文件名和物理文件名给所述新集群文件。在所述多个集群中为所述新集群文件分配物理文件位置。将元数据存储在所述集群管理文件中,从而将所述集群管理文件映射到所述新集群文件,其中所述元数据包括所述物理文件名和所述物理文件位置。使用所述物理文件名将创建所述新集群文件的所述请求传输到所述物理文件位置对应的所述集群中的一个集群。使用所述逻辑文件名向所述应用确认所述集群文件的创建。在任一前述实施例中,所述方法还包括将创建所述新集群文件的所述请求从第一格式转换为第二格式,其中所述应用支持所述第一格式,所述集群支持所述第二格式。在任一前述实施例中,为所述新集群文件分配物理文件位置包括:选择所述集群中离请求所述新集群文件的所述应用最近的集群。在任一前述实施例中,为所述新集群文件分配物理文件位置包括:从所述集群中选择与其它集群相比可用空间最大的集群。在任一前述实施例中,所述方法还包括:接收访问所述新集群文件的请求,其中所述请求包括所述逻辑文件名;使用所述逻辑文件名检索所述新集群文件对应的所述元数据;根据所述元数据确定所述物理文件位置;使用所述物理文件名将访问所述新集群文件的所述请求发送到所述集群中的至少一个集群。在任一前述实施例中,发送访问所述新集群文件的所述请求包括:通过考虑系统性能、系统一致性、本地数据可用性以及所述集群之间的负载均衡中的至少一个来选择所述至少一个集群。根据另一广义方面,提供了一种计算机可读介质,所述计算机可读介质存储有可由处理器执行的程序指令,以用于管理分布式文件系统的多个集群,其中,所述多个集群具有集群文件。所述程序指令用于执行本文所述的任一方法。根据又一广义方面,提供了一种用于管理分布式文件系统的多个集群的系统,所述多个集群具有集群文件。所述系统包括至少一个处理单元和通信地耦合至所述至少一个处理单元并且包括计算机可读程序指令的非瞬时性存储器。所述程序指令可由所述至少一个处理单元执行以用于如下操作:接收访问所述集群中的至少一个集群内的集群文件的请求,其中所述请求包括逻辑文件名,所述请求从用户设备上的应用接收;使用所述逻辑文件名检索元数据,其中所述元数据将逻辑文件映射到所述集群文件对应的物理文件;根据所述元数据确定所述物理文件的位置;使用物理文件名将访问所述集群文件的所述请求发送到所述物理文件的所述位置对应的所述集群中的一个集群。在任一前述实施例中,所述分布式文件系统是Hadoop分布式文件系统或Hadoop兼容文件系统。在任一前述实施例中,可执行所述程序指令以用于实现至少一个客户端组件与所述应用和所述集群通信,以及用于实现至少一个管理器组件生成和存储所述元数据。在任一前述实施例中,所述至少一个客户端组件包括多个客户端组件,每个客户端组件用于与不同用户应用通信。在任一前述实施例中,所述至少一个管理器组件包括多个管理器组件,每个管理器组件用于与所述多个集群的不同分组通信。在任一前述实施例中,可执行所述程序指令以用于将所述系统实现为虚拟机。根据另一广义方面,提供了一种用于管理分布式文件系统的多个集群的方法,所述多个集群具有集群文件。接收访问所述集群中的至少一个集群内的集群文件的请求,其中所述请求包括逻辑文件名,所述请求从用户设备上的应用接收。使用所述逻辑文件名检索元数据,其中所述元数据将逻辑文件映射到所述集群文件对应的物理文件。根据所述元数据确定所述物理文件的位置;使用物理文件名将访问所述集群文件的所述请求发送到所述集群中的至少一个集群。在任一前述实施例中,所述方法还包括将访问所述新集群文件的所述请求从第一格式转换为第二格式,其中所述应用支持所述第一格式,所述集群支持所述第二格式。在任一前述实施例中,发送访问所述新集群文件的所述请求包括:将所述请求发送到所述物理文件的所述位置对应的所述集群中的所述至少一个集群,其中所述位置是根据所述元数据确定的。在任一前述实施例中,发送访问所述新集群文件的所述请求包括:通过考虑系统性能、系统一致性、本地数据可用性以及所述集群之间的负载均衡中的至少一个来选择所述集群中的所述至少一个集群。在任一前述实施例中,所述方法还包括:接收修改所述新集群文件的请求,其中所述请求包括所述逻辑文本文档来自技高网...

【技术保护点】
1.一种用于管理分布式文件系统的多个集群的系统,其特征在于,所述多个集群具有集群文件,所述系统包括:至少一个处理单元;非瞬时性存储器,其通信地耦合至所述至少一个处理单元,并且包括所述至少一个处理单元可执行的以用于如下操作的计算机可读程序指令:从用户设备上的应用接收创建新集群文件的请求;创建与所述新集群文件对应的集群管理文件;分配逻辑文件名给所述集群管理文件,并分配物理文件名给所述新集群文件;在所述多个集群中为所述新集群文件分配物理文件位置;将元数据存储在所述集群管理文件中,将所述集群管理文件映射到所述新集群文件,其中所述元数据包括所述物理文件名和所述物理文件位置;使用所述物理文件名将创建所述新集群文件的所述请求传输到所述物理文件位置对应的所述集群中的一个集群;使用所述逻辑文件名向所述应用确认所述集群文件的创建。

【技术特征摘要】
【国外来华专利技术】2016.11.16 US 62/422,751;2017.05.03 US 15/585,8151.一种用于管理分布式文件系统的多个集群的系统,其特征在于,所述多个集群具有集群文件,所述系统包括:至少一个处理单元;非瞬时性存储器,其通信地耦合至所述至少一个处理单元,并且包括所述至少一个处理单元可执行的以用于如下操作的计算机可读程序指令:从用户设备上的应用接收创建新集群文件的请求;创建与所述新集群文件对应的集群管理文件;分配逻辑文件名给所述集群管理文件,并分配物理文件名给所述新集群文件;在所述多个集群中为所述新集群文件分配物理文件位置;将元数据存储在所述集群管理文件中,将所述集群管理文件映射到所述新集群文件,其中所述元数据包括所述物理文件名和所述物理文件位置;使用所述物理文件名将创建所述新集群文件的所述请求传输到所述物理文件位置对应的所述集群中的一个集群;使用所述逻辑文件名向所述应用确认所述集群文件的创建。2.根据权利要求1所述的系统,其特征在于,所述分布式文件系统是Hadoop分布式文件系统或Hadoop兼容文件系统。3.根据权利要求1所述的系统,其特征在于,可执行所述程序指令以用于实现至少一个客户端组件与所述应用和所述集群通信,以及用于实现至少一个管理器组件生成和存储所述元数据。4.根据权利要求3所述的系统,其特征在于,所述至少一个客户端组件包括多个客户端组件,每个客户端组件用于与不同用户应用通信。5.根据权利要求3所述的系统,其特征在于,所述至少一个管理器组件包括多个管理器组件,每个管理器组件用于与所述多个集群的不同分组通信。6.根据权利要求1所述的系统,其特征在于,可执行所述程序指令以用于实现将所述系统实现为虚拟机。建议增加关于多个集群管理系统之间的共识、分发策略和目录用例的权项。7.一种用于管理分布式文件系统的多个集群的方法,其特征在于,所述多个集群具有集群文件,所述方法包括:从用户设备上的应用接收创建新集群文件的请求;创建与所述新集群文件对应的集群管理文件;分配逻辑文件名给所述集群管理文件,并分配物理文件名给所述新集群文件;在所述多个集群中为所述新集群文件分配物理文件位置;将元数据存储在所述集群管理文件中,将所述集群管理文件映射到所述新集群文件,其中所述元数据包括所述物理文件名和所述物理文件位置;使用所述物理文件名将创建所述新集群文件的所述请求传输到所述物理文件位置对应的所述集群中的一个集群;使用所述逻辑文件名向所述应用确认所述集群文件的创建。8.根据权利要求7所述的方法,其特征在于,还包括将创建所述新集群文件的所述请求从第一格式转换为第二格式,其中所述应用支持所述第一格式,所述集群支持所述第二格式。9.根据权利要求7所述的方法,其特征在于,为所述新集群文件分配物理文件位置包括:选择所述集群中离请求所述新集群文件的所述应用最近的集群。10.根据权利要求7所述的方法,其特征在于,为所述新集群文件分配物理文件位置包括:从所述集群中选择与其它集群相比可用空间最大的集群。11.根据权利要求7所述的方法,其特征在于,还包括:接收访问所述新集群文件的请求,其中所述请求包括所述逻辑文件名;使用所述逻辑文件名检索所述新集群文件对应的所述元数据;根据所述元数据确定所述物理文件位置;使用所述物理文件名将访问所述新集群文件的所述请求发送到所述集群中的至少一个集群。12.根据权利要求11所述的方法,其特征在于,发送访问所述新集群文件的所述请求包括:通过考虑系统性能、系统一致性、本地数据可用性以及所述集群之间的负载均衡中的至少一个来选择所述至少一个集群。13.一种计算机可读介质,其特征在于,所述计算机可读介质存储有可由处理器执行的程序指令,以用于管理分布式文件系统的多个集群,其中,所述多个集群具有集群文件,所述程序指令用于:从用户设备上的应用接收创建新集群文件的请求;创建与所述新集群文件对应的集群管理文件;分配逻辑文件名给所述集群管理文件,并分配物理文件名给所述新集群文件;在所述多个集群中为所述新集群文件分配物理文件位置;将元数据存储在所述集群管理文件中,将...

【专利技术属性】
技术研发人员:郭雷陈瑾陈冲柯晓棣陈晨
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1