元数据服务架构管理方法、计算机系统、电子设备及介质技术方案

一种元数据服务架构管理方法、计算机系统、电子设备及介质，元数据服务架构包括多个元数据服务器，该管理方法包括：将文件系统中的元数据划分为多个元数据片段并分别存储在不同的元数据存储区域中；每个元数据服务器管理至少一个元数据存储区域。该管理方法减少了系统异常时数据的流动和交互，简化了元数据的管理，加速了元数据服务器的切换、升级等流程。升级等流程。升级等流程。

【技术实现步骤摘要】
元数据服务架构管理方法、计算机系统、电子设备及介质


[0001]本公开的实施例涉及一种用于元数据服务架构的管理方法、计算机系统、电子设备及计算机可读存储介质。

技术介绍

[0002]文件系统是操作系统用于明确存储设备或分区上的文件的方法和数据结构，即在存储设备上组织文件的方法。操作系统中负责管理和存储文件信息的软件称为文件管理系统，简称文件系统。从系统角度来看，文件系统是对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索的系统。具体地说，文件系统负责为用户建立文件、存入、读出、修改、转储文件，控制文件的存储，当用户不再使用时撤销文件等。元数据是文件系统的关键数据，记录了文件的各种属性。文件系统的元数据需要持久保存在磁盘上。

技术实现思路

[0003]本公开至少一个实施例提供一种用于元数据服务架构的管理方法，该元数据服务架构包括多个元数据服务器，该管理方法包括：将文件系统中的元数据划分为多个元数据片段并分别存储在不同的元数据存储区域中；每个元数据服务器管理至少一个元数据存储区域。
[0004]例如，在本公开至少一个实施例提供的管理方法中，不同的元数据片段存储在不同的元数据存储区域中，不同的元数据服务器管理不同的元数据存储区域，不同的元数据存储区域所存储的元数据片段不同。
[0005]例如，在本公开至少一个实施例提供的管理方法中，将文件系统中的元数据划分为多个元数据片段并分别存储在不同的元数据存储区域中，包括：根据目录特性将元数据划分为多个元数据片段；根据各个元数据服务器的负载确定多个元数据片段各自的存储位置并进行存储。
[0006]例如，在本公开至少一个实施例提供的管理方法中，每个元数据服务器管理至少一个元数据存储区域，包括：每个元数据服务器为不同的元数据存储区域中的元数据创建不同的缓存；读取元数据存储区域中的元数据并加载到对应的缓存中。
[0007]例如，在本公开至少一个实施例提供的管理方法中，元数据服务器配置为管理缓存的创建、数据加载和淘汰、缓存的释放。
[0008]例如，本公开至少一个实施例提供的管理方法，还包括：响应于文件系统启动，为每个元数据服务器分配元数据。
[0009]例如，在本公开至少一个实施例提供的管理方法中，响应于文件系统启动，为每个元数据服务器分配元数据，包括：响应于文件系统启动，利用监控模块统计元数据服务器的信息和元数据存储区域的信息；监控模块中的元数据存储区域管理模块将元数据存储区域分配给不同的元数据服务器；元数据存储区域管理模块建立元数据存储区域和元数据服务
器之间的映射信息，并将映射信息发送给元数据服务器；元数据服务器响应于接收到映射信息，为每个元数据存储区域分配缓存，并分别加载各个元数据存储区域中的元数据到对应的缓存中。
[0010]例如，本公开至少一个实施例提供的管理方法，还包括：将发生故障的元数据服务器管理的元数据存储区域进行重新分配。
[0011]例如，在本公开至少一个实施例提供的管理方法中，将发生故障的元数据服务器管理的元数据存储区域进行重新分配，包括：响应于元数据服务器发生故障，元数据存储区域管理模块统计需要重新分配的元数据存储区域；根据元数据服务器的负载情况，元数据存储区域管理模块将发生故障的元数据服务器管理的元数据存储区域分配给其它元数据服务器。
[0012]例如，在本公开至少一个实施例提供的管理方法中，元数据存储区域管理模块统计需要重新分配的元数据存储区域，包括：元数据服务器周期性地向监控模块发送心跳信息，心跳信息包括元数据服务器的状态和所管理的各个元数据存储区域的状态；监控模块根据元数据服务器发送的心跳信息更新监控模块中记录的元数据服务器的状态；响应于监控模块未接收到心跳信息的时间超过阈值时间，监控模块认定元数据服务器故障且元数据服务器管理的元数据区域需要被重新分配。
[0013]例如，在本公开至少一个实施例提供的管理方法中，元数据存储区域管理模块将发生故障的元数据服务器管理的元数据存储区域分配给其它元数据服务器，包括：监控模块响应于检测到发生故障的元数据服务器，根据负载均衡策略将发生故障的元数据服务器管理的元数据存储区域重新分配给其它元数据服务器；更新监控模块中记录的元数据存储器区域和元数据服务器之间的映射信息，并将更新后的映射信息发送给各个元数据服务器；元数据服务器响应于接收到更新后的映射信息，基于更新后的映射信息确定是否需要接管其它元数据服务器的元数据存储区域，并且，在需要接管其它元数据服务器的元数据存储区域的情形，在该元数据服务器上创建新的缓存并加载所接管的元数据存储区域的元数据。
[0014]例如，本公开至少一个实施例提供的管理方法，还包括：在元数据服务架构中增加元数据服务器，并利用增加的元数据服务器接管元数据。
[0015]例如，在本公开至少一个实施例提供的管理方法中，利用增加的元数据服务器接管元数据，包括：增加的元数据服务器向监控模块注册，监控模块更新映射信息；监控模块将更新后的映射信息发送给元数据服务架构中的所有元数据服务器；各个元数据服务器将不再管理的元数据对应的缓存释放；增加的元数据服务器创建缓存并加载要接管的元数据。
[0016]本公开至少一个实施例还提供一种计算机系统，包括多个元数据服务器和多个元数据存储区域，计算机系统运行有文件系统，文件系统中的元数据被划分为多个元数据片段并分别存储在不同的元数据存储区域中，每个元数据服务器被配置为管理多个元数据存储区域中的至少一个元数据存储区域，每个元数据存储区域被配置为存储对应的元数据。
[0017]例如，本公开至少一个实施例提供的计算机系统，还包括监控模块，监控模块被配置为记录多个元数据服务器的信息和多个元数据存储区域的信息，并管理多个元数据服务器与多个元数据存储区域之间的映射关系。
[0018]本公开至少一个实施例还提供一种电子设备，包括：处理器；以及存储器，存储有计算机可执行指令，计算机可执行指令在被处理器执行时实现根据本公开至少一个实施例提供的用于元数据服务架构的管理方法。
[0019]本公开至少一个实施例还提供一种计算机可读存储介质，用于非瞬时性地存储计算机可执行指令，计算机可执行指令在被处理器执行时实现根据本公开至少一个实施例提供的用于元数据服务架构的管理方法。
附图说明
[0020]为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
[0021]图1A示出了一种实现多元数据服务架构的模式示意图；图1B示出了另一种实现多元数据服务架构的模式示意图；图2A示出了本公开至少一个实施例提供的一种元数据服务架构的结构示意图；图2B示出了本公开至少一个实施例提供的一种用于元数据服务架构的管理方法的示意性流程图；图3A示出了本公开至少一个实施例提供的管理方法的步骤S103的示意性流程图；图3B示出了本公开至少一个实施例提供的监控模块的结构示意本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于元数据服务架构的管理方法，其中，所述元数据服务架构包括多个元数据服务器，所述管理方法包括：将文件系统中的元数据划分为多个元数据片段并分别存储在不同的元数据存储区域中；每个所述元数据服务器管理至少一个所述元数据存储区域。2.根据权利要求1所述的管理方法，其中，不同的元数据片段存储在不同的元数据存储区域中，不同的元数据服务器管理不同的元数据存储区域，不同的元数据存储区域所存储的元数据片段不同。3.根据权利要求1所述的管理方法，其中，将所述文件系统中的元数据划分为所述多个元数据片段并分别存储在不同的元数据存储区域中，包括：根据目录特性将所述元数据划分为所述多个元数据片段；根据各个元数据服务器的负载确定所述多个元数据片段各自的存储位置并进行存储。4.根据权利要求1所述的管理方法，其中，每个所述元数据服务器管理至少一个所述元数据存储区域，包括：每个所述元数据服务器为不同的元数据存储区域中的元数据创建不同的缓存；读取所述元数据存储区域中的元数据并加载到对应的缓存中。5.根据权利要求1
‑
4中的任一项所述的管理方法，其中，所述元数据服务器配置为管理缓存的创建、数据加载和淘汰、缓存的释放。6.根据权利要求1
‑
4中的任一项所述的管理方法，还包括：响应于所述文件系统启动，为每个所述元数据服务器分配元数据。7.根据权利要求6所述的管理方法，其中，响应于所述文件系统启动，为每个所述元数据服务器分配元数据，包括：响应于所述文件系统启动，利用监控模块统计所述元数据服务器的信息和所述元数据存储区域的信息；所述监控模块中的元数据存储区域管理模块将所述元数据存储区域分配给不同的元数据服务器；所述元数据存储区域管理模块建立所述元数据存储区域和所述元数据服务器之间的映射信息，并将所述映射信息发送给所述元数据服务器；所述元数据服务器响应于接收到所述映射信息，为每个所述元数据存储区域分配缓存，并分别加载各个元数据存储区域中的元数据到对应的缓存中。8.根据权利要求1
‑
4中的任一项所述的管理方法，还包括：将发生故障的元数据服务器管理的元数据存储区域进行重新分配。9.根据权利要求8所述的管理方法，其中，将发生故障的元数据服务器管理的元数据存储区域进行重新分配，包括：响应于所述元数据服务器发生故障，所述元数据存储区域管理模块统计需要重新分配的元数据存储区域；根据所述元数据服务器的负载情况，所述元数据存储区域管理模块将发生故障的元数据服务器管理的元数据存储区域分配给其它元数据服务器。10.根据权利要求9所述的管理方法，其中，所述元数据存储区域管理模块统计需要重
新分配的元数据存储区域，包括：所述元数据服务器周期性地向监控模块发送心跳信息，其中，所述心跳信息包括所述元数据服务器的状态...

【专利技术属性】
技术研发人员：郝志敏，李红，刘乃鹏，蒋维，韦新伟，李立帅，韩月，
申请(专利权)人：联想凌拓科技有限公司，
类型：发明
国别省市：