用于实时确定数据复制进度的方法和设备技术

为了监控数据复制进度，本公开的实施例涉及用于实时确定数据复制进度的方法和设备。该方法包括启动数据从源系统向目的地系统的复制。该方法还包括确定复制的初始阶段的第一复制进度，在初始阶段中，在复制启动时源系统上存在的原始数据被复制。此外，该方法还包括与初始阶段独立地确定复制的增量阶段的第二复制进度，在增量阶段中增量数据被复制，增量数据至少包括在初始阶段期间产生的数据。本公开开发了一种细粒度的数据复制进度的监控机制。

Method and device for real-time determination of data replication progress

In order to monitor the progress of data replication, embodiments of the present disclosure relate to methods and devices for determining the progress of data replication in real time. The method includes initiating data replication from source system to destination system. The method also includes determining the first replication schedule at the initial stage of replication, in which the original data existing on the source system is replicated at the start of replication. In addition, the method also includes independently determining the second replication progress in the incremental phase of replication, in which the incremental data is replicated, and the incremental data includes at least the data generated during the initial phase. This disclosure develops a fine-grained data replication process monitoring mechanism.

【技术实现步骤摘要】
用于实时确定数据复制进度的方法和设备
本公开的实施例总体涉及数据复制的监控，具体涉及用于实时确定数据复制进度的方法和设备。
技术介绍
需要管理实体中的NAS(网络附属存储)服务器的数据复制(在本文中还称为“数据迁移”和“数据移动”)。例如，将源NAS服务器上安装的所有32位文件系统复制至目的地NAS服务器上安装的64位文件系统。服务器级的数据复制比较漫长，通常需要几天时间才能将数据从源侧传输到目标侧。在数据复制期间，用户需要监控服务器数据复制的实时进度。从而，具有较旧文件服务器的用户可以在最少中断的情况下，将其数据复制到新的文件服务器，同时用户需要知道已经使用和将会使用的时间。然而，目前还没有用于实时确定数据复制进度的方法。而且，没有用于实时确定NAS服务器级复制进度的方法。实时确定服务器数据复制进度的一个问题在于：复制引擎正在复制数据，同时客户端访问也在改变存储器上的数据项。系统需要自动辨别因复制而改变的数据，而不是由客户端访问或其它按需请求所改变的数据。因此，如何合理地计算数据复制的实时进度成为挑战。
技术实现思路
为了解决上述以及其他潜在的问题，本公开的实施例提供了用于实时确定数据复制进度的方法和设备。根据本公开的第一方面，提供了用于实时确定数据复制进度的方法。该方法包括启动数据从源系统向目的地系统的复制。该方法还包括确定复制的初始阶段的第一复制进度，在初始阶段中，在复制启动时源系统上存在的原始数据被复制。此外，该方法还包括与初始阶段独立地确定复制的增量阶段的第二复制进度，在增量阶段中增量数据被复制，增量数据至少包括在初始阶段期间产生的数据。根据本公开的第二方面，提供了用于实时确定数据复制进度的设备。该设备包括至少一个处理单元和至少一个存储器。至少一个存储器被耦合到至少一个处理单元并且存储由至少一个处理单元执行的指令。该指令当由至少一个处理单元执行时，使得设备执行动作，该动作包括：启动数据从源系统向目的地系统的复制；确定复制的初始阶段的第一复制进度，在初始阶段中，在复制启动时源系统上存在的原始数据被复制；以及与初始阶段独立地确定复制的增量阶段的第二复制进度，在增量阶段中增量数据被复制，增量数据至少包括在初始阶段期间产生的数据。根据本公开的第三方面，提供了计算机程序产品。该计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令。机器可执行指令在被执行时使得机器执行根据本公开的第一方面所描述的方法的任意步骤。提供
技术实现思路
部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。
技术实现思路
部分无意标识本公开的关键特征或主要特征，也无意限制本公开的范围。附图说明通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。图1示出了根据本公开的实施例的数据复制的架构的示意图；图2示出了根据本公开的实施例的数据复制处理的流程图；图3示出了根据本公开的实施例的用于实时确定数据复制进度的方法的流程图；图4示出了根据本公开的实施例的复制的初始阶段的示意图；图5示出了根据本公开的实施例的复制的增量阶段的示意图；图6示出了根据本公开的实施例的获得目的地系统中在增量阶段中成功复制的索引节点的第四数目的处理的示意图；图7示出了根据本公开的实施例的用于实时确定数据复制进度的装置的框图；以及图8示出了可以用来实施本公开的实施例的示例设备的示意性框图。具体实施方式下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。在本文中使用的术语“复制”可以与“迁移”和“移动”互换使用。仅通过示例的方式，基于服务器和文件系统来描述本公开的实施例。将源NAS服务器上安装的文件系统复制至目的地NAS服务器上安装的文件系统，通常需要较长时间(例如，几天)。在数据复制期间，向用户呈现实时复制进度是有利的。在数据复制期间，客户端访问可以改变存储器上的数据项，这使得难以准确地确定数据复制进度。NAS服务器可以包含数十个文件系统，每个文件系统单独地执行称为IMT(带内迁移工具包)复制会话的文件系统级复制。本公开解决的另一个问题是将多个文件系统级复制会话的进度合并，从而得到服务器级复制进度。NAS服务器上的这种文件复制问题同样存在于需要复制海量数据的其他设备和场景。为了至少部分地解决上述问题以及其他潜在问题，本公开的示例实施例提出了用于实时确定数据复制进度的机制。该机制将数据复制划分成两个阶段并且针对两个阶段分别计算数据复制进度，同时考虑目的地系统的索引节点的状态，从而实现了对数据复制进度的准确计算。图1示出了根据本公开的实施例的数据复制的架构100的示意图。应当理解，仅出于示例性的目的描述架构100的结构和功能而不是暗示对于本公开的范围的任何限制。本公开的实施例可以被体现在不同的结构和/或功能中。如图1所示，架构100可以包括：客户端110、源机器120和目的地机器130。源系统121安装在源机器120上，并且目的地系统131安装在目的地机器130上。例如，源机器120和目的地机器130可以是服务器。具体而言，源机器120可以是文件服务器的较旧版本，并且目的地机器130可以是文件服务器的较新版本。源系统121和目的地系统131可以是文件系统。文件系统可以包括至少一个索引节点，索引节点可以包括元数据。为了服务器的更换，源机器120上的源系统121的数据将会被复制到目的地机器130上的目的地系统131。复制可以按索引节点来进行。将理解的是，源机器120上可以安装任何数目的源系统。每个源系统可以执行被称为IMT(带内迁移工具包)复制会话的文件系统级复制。多个文件系统级复制可以同时进行。在数据复制期间，客户端110可以访问源机器120或目的地机器130，从而改变文件系统的数据。架构100还可以包括复制引擎135，其安装在目的地机器130上，用于控制从源系统121向目的地系统131的数据复制。图2示出了根据本公开的实施例的数据复制处理200的流程图。例如，数据复制处理200可以由如图1所示的复制引擎135来执行。应当理解的是，数据复制处理200还可以包括未示出的附加框和/或可以省略所示出的框，本公开的范围在此方面不受限制。数据复制处理200开始于框210。在框210，设置系统连接以创建服务器级复制会话。假如图1所示的源机器120上安装有三个源系统121，则该服务器级复制会话可以具有同时执行的三个文件系统级复制会话。可以在源机器120和目的地机器130之间创建用于数据传本文档来自技高网...

【技术保护点】
1.一种用于实时确定数据复制进度的方法，包括：启动数据从源系统向目的地系统的复制；确定所述复制的初始阶段的第一复制进度，在所述初始阶段中，在所述复制启动时所述源系统上存在的原始数据被复制；以及与所述初始阶段独立地确定所述复制的增量阶段的第二复制进度，在所述增量阶段中增量数据被复制，所述增量数据至少包括在所述初始阶段期间产生的数据。

【技术特征摘要】
1.一种用于实时确定数据复制进度的方法，包括：启动数据从源系统向目的地系统的复制；确定所述复制的初始阶段的第一复制进度，在所述初始阶段中，在所述复制启动时所述源系统上存在的原始数据被复制；以及与所述初始阶段独立地确定所述复制的增量阶段的第二复制进度，在所述增量阶段中增量数据被复制，所述增量数据至少包括在所述初始阶段期间产生的数据。2.根据权利要求1所述的方法，其中确定所述第一复制进度包括：响应于所述复制被启动，存储所述源系统的待复制的索引节点的第一数目；在所述初始阶段期间的时刻，获得所述目的地系统的已复制的索引节点的第二数目；以及基于所述第一数目和所述第二数目来确定所述时刻处的所述第一复制进度。3.根据权利要求1所述的方法，其中确定所述第二复制进度包括：在所述增量阶段期间的时刻，获得所述源系统的发生改变的索引节点的第三数目；在所述时刻处，获得所述目的地系统中在所述增量阶段中成功复制的索引节点的第四数目；以及基于所述第三数目和所述第四数目来确定所述时刻处的所述第二复制进度。4.根据权利要求3所述的方法，包括：针对所述目的地系统中在所述增量阶段中发生故障的索引节点，重新复制所述源系统的对应索引节点。5.根据权利要求1所述的方法，其中所述增量数据包括在所述初始阶段期间客户端访问所述源系统所产生的数据。6.根据权利要求1所述的方法，其中所述增量数据还包括在所述增量阶段期间由客户端访问所述目的地系统而在所述源系统产生的数据。7.根据权利要求1所述的方法，其中所述源系统是源机器上的多个文件系统中的第一文件系统，所述方法还包括：基于所述第一复制进度和所述第二复制进度，确定所述第一文件系统的复制进度；以及基于所述第一文件系统的复制进度和所述多个文件系统中其他文件系统的数据的复制进度，确定所述源机器的数据的复制进度。8.一种用于实时确定数据复制进度的设备，包括：至少一个处理单元；至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储由所述至少一个处理单元执行的指令，所述指令当由所述至少一个处理单元执...

【专利技术属性】
技术研发人员：骆渊，徐宁，邬源杨，商秋，钱悦，
申请(专利权)人：伊姆西IP控股有限责任公司，
类型：发明
国别省市：美国,US