用于数据同步的方法、装置和计算机存储介质制造方法及图纸

本公开的实施例提供了用于数据同步的方法、装置和计算机存储介质。例如，一种用于数据同步的方法包括：获取待处理的一组同步作业各自的同步特性，每个同步特性指示相应作业的以下至少一项：期望完成时刻，以及要同步的数据量；基于所述同步特性对所述一组同步作业进行优先级化；以及基于所述优先级化的结果，控制所述一组同步作业的执行。利用本公开的一些实施例中，可以对能够快速完成的同步作业赋予较高优先级，并提高故障发生之前的恢复点目标(RPO)完成率。

Methods, devices and computer storage media for data synchronization

【技术实现步骤摘要】
用于数据同步的方法、装置和计算机存储介质
本公开的实施例一般地涉及数据同步的
，并且更具体地，涉及用于改进数据同步的方法、装置和计算机存储介质。
技术介绍
在数据同步领域，异步复制主要用于远距离复制数据。在异步复制中，引入了恢复点目标(RPO)的概念。RPO表征在发生故障或者灾难时用户愿意丢失的最大数据量，并且可以按时间衡量。RPO可以确定同步发生的最低频率。异步复制的频率可以通过RPO间隔来表示。在相邻两次同步之间的时间内，新数据仅被保存在源存储资源上。然后，按照异步复制的RPO间隔，自上次同步以来对源存储资源所做的所有更改都将复制到目的存储设备。
技术实现思路
本公开的实施例中提供了用于数据同步的方法、装置和计算机存储介质。在本公开的第一方面，提供一种用于数据同步的方法。该方法包括：获取待处理的一组同步作业各自的同步特性，每个同步特性指示相应作业的期望完成时刻和要同步的数据量中的至少一项；基于所述同步特性对所述一组同步作业进行优先级化；以及基于所述优先级化的结果，控制所述一组同步作业的执行。在一些实施例中，获取所述同步特性可以包括：获取所述一组同步作业各自的恢复点目标(RPO)和存储系统的当前时间；以及基于相应同步作业的所述RPO和所述存储系统的所述当前时间，确定所述相应同步作业的期望完成时刻。在一些实施例中，该方法还还可以包括：响应于新的同步作业到达，确定当前活跃的同步作业的数目；以及响应于所述数目达到阈值，将所述新的同步作业加入到所述一组同步作业中。<br>在一些实施例中，优先级化可以包括：基于相应同步作业的所述期望完成时刻，确定在所述期望完成时刻之前用于执行所述相应同步作业的可用时间长度；以及基于所述可用时间长度，确定用于执行所述相应同步作业的优先级。在进一步的实施例中，优先级化可以进一步包括：基于所述可用时间长度和所述要同步的数据量两者，确定用于执行所述相应同步作业的优先级。在一些实施例中，确定用于执行相应同步作业的优先级可以包括：对所述相应同步作业的所述可用时间长度和所述要同步的数据量分别进行归一化；以及基于经归一化的所述可用时间长度和所述要同步的数据量的加权和，确定所述相应同步作业的所述优先级。在一些实施例中，控制所述同步作业的执行可以包括：响应于当前活跃同步作业的数目低于阈值，基于所述优先级化的结果，从所述一组同步作业中选择具有最高优先级的同步作业作为要执行的同步作业；以及执行所选择的所述同步作业。在本公开的第二方面，提供一种电子设备。该电子设备包括至少一个处理器、以及至少一个存储器。该存储器耦合至至少一个处理器并且包含存储于其中的计算机程序。该计算机程序在被该至少一个处理器执行时，使该电子设备执行本公开的第一方面的任何方法。在本公开的第三方面，提供一种计算机存储介质。该计算机存储介质包括存储于其上的计算机程序。该计算机程序在处理器中执行时，促使处理器执行本公开的第一方面的任何方法。在本公开的第四方面，提供一种计算机程序产品。该计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令，所述机器可执行指令在被执行时使机器执行本公开的第一方面的任何方法。尽管在附图中通过示例的方式示出了特定的实施例，然而，应当理解，本文的具体实施例的描述不意在将实施例限制为所公开的具体形式。附图说明从下文的公开内容和权利要求中，本公开的目的、优点和其他特征将变得更加明显。这里仅出于示例的目的，参考附图来给出优选实施例的非限制性描述，在附图中：图1示出根据本公开的实施例的通过异步复制执行数据同步的示例存储系统架构；图2示出对传入的同步作业进行处理的示例；图3示出了根据本公开的实施例的、用于数据同步的方法；图4示出根据本公开的实施例的另一数据同步方法；图5示出用于与本公开中提出的方案进行比较的一种传统方法的流程；图6示出根据本公开的实施例的用于数据同步的方法；图7示出同步作业的开始和完成时间的比较结果；以及图8示出了根据本公开的实施例的电子设备的示例性结构图。具体实施方式在以下描述中，出于说明的目的而阐述许多细节。然而，本领域普通技术人员将认识到可以在不使用这些具体细节的情况下实现本公开的实施例。因此，本公开不旨在于受限于所示实施例、而是将被赋予与本文描述的原理和特征一致的最宽的范围。应当理解，术语“第一”、“第二”等仅被用来将一个元素与另一个元素区分开来。而实际上第一元素也能够被称为第二元素，反之亦然。另外还应当理解“包括”，“包含”仅被用来说明所陈述的特征、元素、功能或者部件的存在，然而并不排除存在一个或者多个其他的特征、元素、功能或者部件。在图1中示出了根据本公开的实施例的通过异步复制执行数据同步的示例存储系统架构100。然而，应当注意的是，本公开的实施例不限于在所示的架构中实施。在图1的示例架构中，包括源存储设备110，目的存储设备120和调度器130。该示例中，源存储设备110包括源资源111、快照112和快照113，并且目的存储设备120包括目标资源121、快照122和快照123。在一些实施例中，图1中的快照可以是统一(Unity)快照。异步复制可以利用Unity快照来维护公共基础映像。作为示例，在调度器130的控制下，在图1的源存储设备110和目的存储设备120之间可以通过以下操作流程并利用快照和RPO来自动执行增量数据的同步：步骤1：创建异步复制会话。作为示例，该操作包括在每个存储资源(111，121)上创建2个快照(112、113以及122、123)。步骤2：将数据从快照112复制到目标资源121。步骤3：目标资源121上的快照122被刷新，并成为公共基本映像。步骤4：数据被写入目标资源121。步骤5：在下一个RPO期间，快照113被刷新，并且仅自上次同步以来对目标资源所做的改变被复制到目标资源121。步骤6：目标上的快照123被刷新，并成为新的公共基本映像。在异步复制(例如基于Unity快照的复制实现)中，同步作业的执行受到存储系统中定义的活动同步作业的最大数量的限制。取决于当前活动作业的数目是否达到活动作业的最大数目，任何传入的同步作业将被推送到活动作业列表或等待作业列表。图2示出由调度器对传入的同步作业进行处理的示例。在该示例中，当一个同步作业在框210被启动之后，调度器在框220确定活动同步作业的数目是否达到预定的最大数目。如果该最大数目没有被达到，则启动的同步专业在框230被执行；否则，启动的同步专业在框240等待被处理。本公开的专利技术人意识到，由于源和目的存储系统性能和网络带宽、剩余数据传输时间、用于同步的增量数据大小以及并发活动同步作业这些因素的影响，异步复制可能无法确保每个复制会话的RPO都能被实现。从用户的角度来看，RPO的损失率应该尽可能小。然而目前的实施方式的限制是，未将本文档来自技高网...

【技术保护点】
1.一种用于数据同步的方法，包括：/n获取待处理的一组同步作业各自的同步特性，每个同步特性指示相应作业的以下至少一项：期望完成时刻，以及要同步的数据量；/n基于所述同步特性对所述一组同步作业进行优先级化；以及/n基于所述优先级化的结果，控制所述一组同步作业的执行。/n

【技术特征摘要】
1.一种用于数据同步的方法，包括：
获取待处理的一组同步作业各自的同步特性，每个同步特性指示相应作业的以下至少一项：期望完成时刻，以及要同步的数据量；
基于所述同步特性对所述一组同步作业进行优先级化；以及
基于所述优先级化的结果，控制所述一组同步作业的执行。


2.根据权利要求1所述的方法，其中获取所述同步特性包括：
获取所述一组同步作业各自的恢复点目标RPO和存储系统的当前时间；以及
基于相应同步作业的所述RPO和所述存储系统的所述当前时间，确定所述相应同步作业的期望完成时刻。


3.根据权利要求1所述的方法，还包括：
响应于新的同步作业到达，确定当前活跃的同步作业的数目；以及
响应于所述数目达到阈值，将所述新的同步作业加入到所述一组同步作业中。


4.根据权利要求1所述的方法，其中所述优先级化包括：
基于相应同步作业的所述期望完成时刻，确定在所述期望完成时刻之前用于执行所述相应同步作业的可用时间长度；以及
基于所述可用时间长度，确定用于执行所述相应同步作业的优先级。


5.根据权利要求4所述的方法，其中所述优先级化进一步包括：
基于所述可用时间长度和所述要同步的数据量两者，确定用于执行所述相应同步作业的优先级。


6.根据权利要求5所述的方法，其中确定用于执行所述相应同步作业的优先级包括：
对所述相应同步作业的所述可用时间长度和所述要同步的数据量分别进行归一化；以及
基于经归一化的所述可用时间长度和所述要同步的数据量的加权和，确定所述相应同步作业的所述优先级。


7.根据权利要求1所述的方法，其中控制所述同步作业的执行包括：
响应于当前活跃同步作业的数目低于阈值，基于所述优先级化的结果，从所述一组同步作业中选择具有最高优先级的同步作业作为要执行的同步作业；以及
执行所选择的所述同步作业。


8.一种电子设备，包括：
至少一个处理器；以及
至少一个存储器，耦合至所述至少一个处理器并且包含存储于其中的计算机程序，所述计算机程序在被所述至少一个处理器执行时，使所述电子设备:
获取待处理的一组同步作业各自的同步特性，每个...

【专利技术属性】
技术研发人员：杜芳，肖攀，陈旭，陈培雷，
申请(专利权)人：伊姆西IP控股有限责任公司，
类型：发明
国别省市：美国;US