一种元数据恢复方法及相关装置、设备、系统和存储介质制造方法及图纸

本申请公开了一种元数据恢复方法及相关装置、设备、系统和存储介质。其中，元数据恢复方法包括：响应于元数据管理系统故障完全恢复，元数据管理系统中当前作为主设备的第一元数据设备从元数据管理系统中当前作为从设备的第二元数据设备获取日志数据；基于日志数据中的第一日志标识和第二日志标识，合并第一元数据设备中的日志数据和从第二元数据设备获取的日志数据；将合并后的日志数据，同步到第二元数据设备。上述方案，能够在系统故障完全恢复后，尤其是在多点故障完全恢复后，连续、完整地恢复元数据。整地恢复元数据。整地恢复元数据。

【技术实现步骤摘要】
一种元数据恢复方法及相关装置、设备、系统和存储介质


[0001]本申请涉及数据处理
，特别是涉及一种元数据恢复方法及相关装置、设备、系统和存储介质。

技术介绍

[0002]在信息爆炸的时代，人们可以获取的数据成指数倍增长，对计算机存储的要求也越来越高，诸如分布式文件系统等存储系统的出现有效解决了数据的存储和管理难题。
[0003]以分布式文件系统为例，存储系统通常含有元数据管理服务、数据存储服务、客户端接入模块等主要架构。其中，元数据管理服务负责管理文件元数据信息，数据存储服务负责存储文件数据，客户端接入模块提供用户读写文件接口。此外，元数据管理服务一般采用主备模式。然而，在这种主备模式下，系统故障完全恢复之后，现有技术无法确保连续、完整地恢复元数据。特别是系统发生多点故障时，由于主备均会有写入数据的运行时段，多点故障完全恢复后，主备分别写入的数据需要合并，但此时合并会造成部分数据的日志重叠，重叠的部分会被直接覆盖导致数据丢失。有鉴于此，如何在系统故障完全恢复后，尤其是在多点故障完全恢复后，连续、完整地恢复元数据，成为亟待解决的问题。

技术实现思路

[0004]本申请主要解决的技术问题是提供一种元数据恢复方法及相关装置、设备、系统和存储介质，能够在系统故障完全恢复后，尤其是在多点故障完全恢复后，连续、完整地恢复元数据。
[0005]为了解决上述技术问题，本申请第一方面提供了一种元数据恢复方法，元数据恢复方法包括响应于元数据管理系统故障完全恢复，元数据管理系统中当前作为主设备的第一元数据设备从元数据管理系统中当前作为从设备的第二元数据设备获取日志数据；基于日志数据中的第一日志标识和第二日志标识，合并第一元数据设备中的日志数据和从第二元数据设备获取的日志数据；将合并后的日志数据，同步到第二元数据设备；其中，日志数据记录有文件操作信息，各条日志数据均附有第一日志标识和第二日志标识，在相同设备的同一正常运行时段分别写入的日志数据具有相同第一日志标识，第二日志标识唯一且随日志数据的增量写入而递增。
[0006]为了解决上述技术问题，本申请第二方面提供了一种电子设备，包括通信电路、存储器和处理器，通信电路、存储器分别与处理器耦接，处理器用于执行存储器中存储的程序指令，以实现上述第一方面中的元数据恢复方法。
[0007]为了解决上述技术问题，本申请第三方面提供了一种元数据管理系统，包括与存储系统通信连接的第一元数据设备和第二元数据设备，用于在作为主设备时写入记录有文件操作信息的日志数据，第一元数据设备和第二元数据设备采用主从热备架构，且第一元数据设备和第二元数据设备均为上述第二方面中的电子设备。
[0008]为了解决上述技术问题，本申请第四方面提供了一种计算机可读存储介质，其上
存储有程序指令，程序指令被处理器执行时实现上述第一方面中的元数据恢复方法。
[0009]上述方案，在系统发生故障并恢复后，元数据管理系统中当前作为主设备的第一元数据设备从当前作为从设备的第二元数据设备获取日志数据，并根据第一日志标识和第二日志标识合并两个元数据设备中的日志数据到第一元数据设备，再将合并后的数据同步到第二元数据设备；一方面，由于第一日志标识只在相同设备的同一正常运行时段保持不变，从而即使发生多点故障也能够通过第一日志标识将每一次故障前运行时段的主设备记录的日志数据区分开来，有利于提高系统的容错性；另一方面，利用第一日志标识和第二日志标识合并日志数据，有利于系统写入日志数据的连续性与完整性。因此，能够在系统故障完全恢复后，尤其是在多点故障完全恢复后，连续、完整地恢复元数据。
附图说明
[0010]图1是本申请元数据恢复方法一实施例的流程示意图；
[0011]图2是本申请多点故障一实施例的示意图；
[0012]图3是本申请元数据恢复方法一实施例的过程示意图；
[0013]图4是本申请元数据恢复方法另一实施例的流程示意图；
[0014]图5是本申请元数据恢复装置一实施例的框架示意图；
[0015]图6是本申请电子设备一实施例的框架示意图；
[0016]图7是本申请元数据管理系统一实施例的框架示意图；
[0017]图8是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
[0018]下面结合说明书附图，对本申请实施例的方案进行详细说明。
[0019]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
[0020]本文中术语“第一元数据设备”和“当前主设备”在本文中常被互换使用，术语“第二元数据设备”和“当前从设备”在本文中常被互换使用。本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
[0021]请参阅图1，图1是本申请元数据恢复方法一实施例的流程示意图。具体而言，可以包括如下步骤：
[0022]步骤S11：响应于元数据管理系统故障完全恢复，元数据管理系统中当前作为主设备的第一元数据设备从元数据管理系统中当前作为从设备的第二元数据设备获取日志数据。
[0023]需要说明的是，如前所述元数据管理系统可以包括第一元数据设备和第二元数据设备，两者采用主从热备架构，主从热备架构指使用互为备份的服务器共同执行同一服务，其中一台主机为工作机，另一台主机为备份主机。在系统正常情况下，工作机为应用系统提供服务，备份机监视工作机的运行情况，当工作机出现异常，不能支持应用系统运营时，备份机主动接管工作机的工作，继续支持关键应用服务，保证系统不间断的运行。
[0024]在本公开实施例中，第一元数据设备作为工作机，第二元数据设备作为备份主机。在此基础上，元数据管理系统故障完全恢复是指第一元数据设备和第二元数据设备均正常工作。也就是说，第一元数据设备能正常写入日志数据，并能将日志数据实时同步到第二元数据设备,另一方面，第二元数据设备也能正常接收第一元数据设备同步过来的日志数据。
[0025]此外，本申请元数据恢复方法既能够适用于单点故障，也能够适用于多点故障。其中，单点故障是指当前主设备发生故障后，当前从设备成为当前主设备运行，此时故障恢复，当前主设备可以正常向故障恢复的设备同步日志数据；多点故障是指当前主设备发生故障后，当前从设备成为当前主设备运行，在数据还未完成同步之前，即之前的主设备还未从故障中恢复过来时，成为当前主设备的从设备又发生故障，主从均处于故障中。在故障恢复后，当前主设备直接将数据同步到当前从设备，故障期间非当前主设备写入的数据被当前主设备的数据覆盖，导致写入的数据丢失，破坏了数据的连续性，也降低了元数据管理系统的可靠性。拓展来说，在主从设备均故障下，主从设备任意一个恢复过来，另一个尚未恢复，也不能完成同步，此时如果恢复过来的设备又发生故障，在故障均本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种元数据恢复方法，其特征在于，包括：响应于元数据管理系统故障完全恢复，所述元数据管理系统中当前作为主设备的第一元数据设备从所述元数据管理系统中当前作为从设备的第二元数据设备获取日志数据；基于所述日志数据中的第一日志标识和第二日志标识，合并所述第一元数据设备中的日志数据和从所述第二元数据设备获取的日志数据；将合并后的日志数据，同步到所述第二元数据设备；其中，所述日志数据记录有文件操作信息，各条所述日志数据均附有所述第一日志标识和所述第二日志标识，在相同设备的同一正常运行时段分别写入的日志数据具有相同所述第一日志标识，所述第二日志标识唯一且随所述日志数据的增量写入而递增。2.根据权利要求1所述的方法，其特征在于，所述基于所述日志数据中的第一日志标识和第二日志标识，合并所述第一元数据设备中的日志数据和从所述第二元数据设备获取的日志数据，包括：检测所述第一元数据设备中的日志数据和从所述第二元数据设备获取的日志数据是否具有相同所述第一日志标识和相同所述第二日志标识；采用与检测结果匹配的合并策略将所述第一元数据设备中的日志数据和从所述第二元数据设备获取的日志数据进行合并。3.根据权利要求2所述的方法，其特征在于，所述采用与检测结果匹配的合并策略将所述第一元数据设备中的日志数据和从所述第二元数据设备获取的日志数据进行合并，包括：响应于所述第一元数据设备中的日志数据和从所述第二元数据设备获取的日志数据具有相同所述第一日志标识和相同所述第二日志标识，将所述第一元数据设备中的日志数据作为合并后的日志数据。4.根据权利要求2所述的方法，其特征在于，所述第二日志标识依次递增，在所述检测所述第一元数据设备中的日志数据和从所述第二元数据设备获取的日志数据是否具有相同所述第一日志标识和相同所述第二日志标识之前或之后，所述方法还包括：基于所述日志数据中的第一日志标识和第二日志标识，对所述第一元数据设备中的日志数据和从所述第二元数据设备获取的日志数据进行排序。5.根据权利要求4所述的方法，其特征在于，所述基于所述日志数据中的第一日志标识和第二日志标识，对所述第一元数据设备中的日志数据和从所述第二元数据设备获取的日志数据进行排序，包括：按照所述第一日志标识由小到大的顺序，将所述第一元数据设备中的日志数据和从所述第二元数据设备获取的日志数...

【专利技术属性】
技术研发人员：江文龙，王志豪，徐涛，罗心，周明伟，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：