数据中心之间鲁棒的数据复制制造技术

一种在第一数据中心和第二数据中心之间的数据复制方法，其中，该第一数据中心具有要复制的数据集，该方法包括：通过以下步骤确定(501)从第一数据中心到第二数据中心的第一路径是否适于要复制的数据集：沿着第一路径发送(502)测试数据；沿着第一路径进行(503)对测试数据的时延测量；以及使用时延测量来确定第一路径的时延参数；以及确定(504)测试数据的时延参数是否小于最大时延阈值。如果时延参数小于最大时延阈值，则方法使用第一路径执行(505)数据集的复制。

Robust data replication between data centers

【技术实现步骤摘要】
【国外来华专利技术】数据中心之间鲁棒的数据复制

是数据中心之间的数据复制。
技术介绍
随着对云服务的需求激增，内容服务提供商越来越多地在多数据中心中存储和复制大量内容。保护多数据中心内和跨多数据中心的数据对于保持业务在线和运营至关重要。对于此范围，使用数据复制。复制使得数据所有者能够在多台服务器上和跨多于一个数据中心而具有相同的信息副本。图1是由网络100链接的一组数据中心的示意图。作为示例示出三数据中心101、102、103，但经常使用更多的数据中心。数据中心由多个路径104和路由器105链接。传统地，已经使用两种方法来进行数据复制、同步和异步。图2是示出了同步复制的数据流图。示出了两数据中心，第一数据中心201具有要复制的数据集，第二数据中心202是该数据集的预期接收方。数据集源自位于第一数据中心处的服务器203处的应用。第一数据中心包括第一本地存储设备204，第二数据中心包括第二本地存储设备205。同步复制的过程开始于从服务器203向第一本地存储设备204的数据集的发送206。然后，将数据集发送207给第二数据中心202，并存储在第二本地存储设备205上。在第二数据中心完成数据集的发送和接收之后，第二数据中心提供确认208，其将该确认208发送回第一数据中心。在接收到确认之后，第一数据中心将确认传递209给应用。数据复制现在已经完成。同步复制确保复制过程期间的连续数据完整性，而不会造成数据丢失的额外风险，这是因为第二数据中心始终具有相同的数据副本。然而，同步复制有一个缺点，即在对应用响应之前，服务器必须等待直到数据复制过程完成为止。仅在从第二数据中心接收到确认之后，确认才被发送给应用。这导致响应时间增加和应用变慢。同步复制的性能受到诸如数据中心之间的连接的链路时延和链路带宽之类的因素的极大影响。特别地，数据中心之间使用的同步复制对传输时延非常敏感，将适于同步复制的最大距离限于100-200km的路径。同步复制的替代方案是异步复制。图3是示出了异步复制过程的数据流图。如在图2中，示出了两个数据中心，其中第一数据中心301具有要复制的数据集，第二数据中心302是该数据集的预期接收方。如在图2中，数据集源自位于第一数据中心301处的服务器303处的应用。第一数据中心包括第一本地存储设备304，第二数据中心302包括第二本地存储设备305。异步复制的过程开始于从服务器303向第一本地存储设备304对数据集的发送306。然而，在异步复制的情况下，本地存储设备在接收到数据集之后立即用确认对应用进行响应307。数据在一段时间之后被发送308给第二数据中心，该第二数据中心提供确认。然而，该应用在复制过程完成之前接收确认，因此能够以较短的等待继续其过程。然而，缺点在于，尽管异步复制克服了同步复制的性能限制，但是必须接受一些数据丢失。还定义了半同步复制，其中一旦第二数据中心确认它已将数据接收到存储器或专用日志文件中，则认为该复制完成。不会立即执行对本地存储设备的实际远程写入，而是异步执行。在完成复制的时间方面，这导致比同步复制更好的性能，但不能提供持久性保证。因此，同步复制是业务关键数据传送的唯一选择。然而，传输时延间题不仅降低了同步复制系统的性能，而且还使它们在系统上易于受攻击。此类攻击越来越多地涉及到对网络中物理组件的损坏。使用同步复制的系统容易受到特定类型的攻击，这包括在两个服务器之间的复制数据的路径中的光纤切断或组件损坏。光纤系统通常具有保护或恢复机制，在出现网络故障时，这些机制提供替代路径。然而，如果备份路径提供路由，该路由的时延大于同步复制系统能够容忍的时延，那么即使使用复位开关或保护开关，结果也将是复制失败。图4是其中发生这种攻击的网络的示意图。在图4中，存在两个数据中心401、402。它们通过包括多个路由器404和链路405的网络403连接。在攻击之前，两个数据中心通过第一路径406进行通信，该第一路径406包括路由器A、D和H。通过下一路径有两条替代路径，第二路径407和第三路径408。其中，第二路径407具有足够低的同步复制时延，但第三路径408没有。如果攻击者使得在第一路径和第二路径中的光纤中发生中断409、410，那么数据将通过第三路径408转移。系统将被恢复，但是恢复到不能再支持同步复制的路径。
技术实现思路
因此，本公开的目的是提供一种用于确定是否可以实现同步复制的机制。在一些实施例中，目的是在网络的时延太大的情况下提供替代机制。根据第一方面，提供了一种在第一数据中心和第二数据中心之间的数据复制方法，其中，所述第一数据中心具有要复制的数据集。所述方法包括通过以下步骤确定从所述第一数据中心到所述第二数据中心的第一路径是否适于要复制的所述数据集：沿着所述第一路径发送测试数据；沿着所述第一路径进行对所述测试数据的时延测量；以及使用所述时延测量来确定所述第一路径的时延参数。所述方法还包括确定所述测试数据的所述时延参数是否小于最大时延阈值，以及如果所述时延参数小于所述最大时延阈值，则使用所述第一路径执行所述数据集的复制。在实施例中，所述方法还包括：如果所述第一路径的所述时延参数大于所述最大时延阈值，则：识别所述第一数据中心和所述第二数据中心之间的第二路径；通过以下步骤确定从所述第一数据中心到所述第二数据中心的所述第二路径是否适于要复制的所述数据集：沿着所述第二路径发送测试数据；沿着所述第二路径进行对所述测试数据的时延测量；以及使用所述时延测量来确定所述第二路径的时延参数。所述方法还包括确定所述测试数据的所述时延参数是否小于所述最大时延阈值，以及如果所述时延参数小于所述最大时延阈值，则使用所述第二路径执行所述数据集的复制。在实施例中，所述方法还包括：识别所述第一数据中心和所述第二数据中心之间的一组路径。如果所述组中每条路径的相应时延参数大于所述最大时延阈值，则识别所述第二数据中心不能用于同步复制。如果不能使用所述第二数据中心，则所述方法还包括识别具有到所述第一数据中心的路径的第三数据中心，所述路径具有小于所述最大时延阈值的时延参数，并且在所述第三数据中心处执行所述数据集的复制。在实施例中，所述方法还包括：在所述第一数据中心中运行的应用处，接收复制等待时间；向所述复制数据中心发送所述数据；以及在发送时，暂停所述应用的进程的至少一部分。在等于所述复制等待时间的时段流逝之后，恢复所述应用的所述进程的所述至少一部分。在实施例中，所述方法还包括：从应用接收所述数据集；向所述复制数据中心发送所述数据；以及在复制等待时段之后，向应用发送所述数据已经被复制的指示。使用被选择用于复制的所述路径的时延参数来计算复制等待时段。在实施例中，由所述复制数据中心提供确认。在实施例中，所述方法还包括将所述数据集存储在位于所述第一数据中心中的本地存储设备处。在实施例中，所述复制等待时段是使用所选择路径的时延参数和所述目的地数据中心处的估计写入时段来计算的。在实施例中，确定路径的时延参数包括以下步骤：设置所需概率，所述所需概率是所述数据集的时延小本文档来自技高网...

【技术保护点】
1.一种第一数据中心和第二数据中心之间的数据复制方法，其中，所述第一数据中心具有要复制的数据集，所述方法包括：/n通过以下步骤确定(501)从所述第一数据中心到所述第二数据中心的第一路径是否适于要复制的数据集：/n沿着所述第一路径发送(502)测试数据；/n沿着所述第一路径进行(503)对所述测试数据的时延测量；以及/n使用所述时延测量来确定所述第一路径的时延参数；以及/n确定(504)所述测试数据的所述时延参数是否小于最大时延阈值；/n其中，如果确定所述时延参数小于所述最大时延阈值，则所述方法使用所述第一路径执行(505)所述数据集的复制。/n

【技术特征摘要】
【国外来华专利技术】1.一种第一数据中心和第二数据中心之间的数据复制方法，其中，所述第一数据中心具有要复制的数据集，所述方法包括：
通过以下步骤确定(501)从所述第一数据中心到所述第二数据中心的第一路径是否适于要复制的数据集：
沿着所述第一路径发送(502)测试数据；
沿着所述第一路径进行(503)对所述测试数据的时延测量；以及
使用所述时延测量来确定所述第一路径的时延参数；以及
确定(504)所述测试数据的所述时延参数是否小于最大时延阈值；
其中，如果确定所述时延参数小于所述最大时延阈值，则所述方法使用所述第一路径执行(505)所述数据集的复制。


2.根据权利要求1所述的数据复制方法，还包括：如果确定所述第一路径的所述时延参数大于所述最大时延阈值，则：
识别(601)所述第一数据中心和所述第二数据中心之间的第二路径；
通过以下步骤确定(602)从所述第一数据中心到所述第二数据中心的所述第二路径是否适于要复制的数据集：
沿着所述第二路径发送(603)测试数据；
沿着所述第二路径进行(604)对所述测试数据的时延测量；以及
使用所述时延测量来确定所述第二路径的时延参数；以及
确定(605)所述测试数据的所述时延参数是否小于所述最大时延阈值；
其中，如果所述时延参数小于所述最大时延阈值，则所述方法使用所述第二路径执行(606)所述数据集的复制。


3.根据权利要求1或2所述的数据复制方法，还包括：
识别(701)所述第一数据中心和所述第二数据中心之间的一组路径；以及
如果所述组(702)中所有路径的相应时延参数都大于所述最大时延阈值，则识别所述第二数据中心不能用于同步复制；以及
如果不能使用所述第二数据中心(703)，则：
识别具有到所述第一数据中心的路径的第三数据中心(704)，所述路径的时延参数小于所述最大时延阈值；以及
在所述第三数据中心处执行所述数据集的复制(705)。


4.根据前述任一项权利要求所述的方法，其中，执行复制的步骤还包括，在所述第一数据中心中运行的应用处：
接收(901)复制等待时间；
将所述数据发送(902)给所述复制数据中心；
在发送时：暂停(903)所述应用的进程的至少一部分；
在等于所述复制等待时间的时段流逝后：恢复(904)所述应用的所述进程的所述至少一部分。


5.根据权利要求4所述的方法，还包括：从所述复制数据中心接收(905)确认。


6.根据权利要求1至3所述的方法，其中，执行复制的步骤还包括：在用于所述第一数据中心的控制器处：
从应用接收(1001)所述数据集；
向所述复制数据中心发送(1002)数据；以及
在复制等待时段之后，向所述应用发送(1003)所述数据已经被复制的指示，其中，使用被选择用于复制的所述路径的时延参数来计算所述复制等待时段。


7.根据权利要求6所述的方法，还包括：从所述复制数据中心接收(905)确认。


8.根据权利要求4至7中任一项所述的方法，其中，所述复制等待时段是使用所选择路径的时延参数和目的地数据中心处的估计写入时段来计算的时段。


9.根据前述任一项权利要求所述的方法，其中，估计路径的时延参数包括以下步骤：
确定所述时延测量的平均值；
确定所述时延测量的标准偏差；
设置所需概率，所述所需概率是所述数据集将会经历的时延小于所述时延参数的概率；以及
使用所述平均值、所...

【专利技术属性】
技术研发人员：朱利奥·博塔里，斯特凡诺·鲁菲尼，
申请(专利权)人：瑞典爱立信有限公司，
类型：发明
国别省市：瑞典;SE