基于内容碎片化放置的快速数据转移方法技术

本发明专利技术公开了一种基于内容碎片化放置的快速数据转移方法，包含以下步骤：内容选择，将需要转移的内容添加到集合，然后按照重要性进行排序；将CEva中内容的足够数量的数据块快速转移到安全区域内的数据中心中。本发明专利技术通过对基于内容碎片化放置的数据快速转移方法的研究，本发明专利技术可以有效提高其灾前数据转移的高效性，有效提高了数据中心网络面对大范围灾难的内容恢复的可能性，避免了大量数据的丢失造成的严重损失。

Fast Data Transfer Method Based on Content Fragmentation Placement

The invention discloses a fast data transfer method based on content fragmentation placement, which includes the following steps: content selection, adding the transferred content to the collection, and then sorting according to importance; fast transferring enough data blocks of content in CEva to the data center in the secure area. By studying the method of fast data transfer based on content fragmentation placement, the invention can effectively improve the efficiency of data transfer before disaster, effectively improve the possibility of content recovery of data center network facing a wide range of disasters, and avoid the serious loss caused by the loss of a large number of data.

【技术实现步骤摘要】
基于内容碎片化放置的快速数据转移方法
本专利技术涉及一种数据转移方法，特别是一种基于内容碎片化放置的快速数据转移方法。
技术介绍
目前，云服务提供商(CSP)通常建立或租用分布式云来互连数据中心(DC)，并向用户提供云应用(如云数据存储、视频流等)。这些数据中心需要存储海量的数据以服务数以百万计的用户。目前，各大云服务提供商在全球各地都建立了数据中心，然而，一些发展中国家容易遭受自然灾害或人为灾害(例如，地震、飓风或大规模毁灭性武器袭击)的影响，从而造成数据中心受到影响，甚至出现大量重要的数据丢失。为避免或减少灾难造成的数据丢失，目前的研究主要集中在数据中心网络中内容/服务的放置策略(CR策略)上。最常用的方法是内容/服务复制策略。其主要的方式是增加内容/服务的备份，并在网络中多个数据中心之间存储，以减少数据丢失的概率。此外，最近针对具有较低数据冗余度(通常小于100％)的内容放置，有人提出了一种基于内容碎片化的放置方法(CF策略)。该方法不会为每个内容生成多个副本，而是将数据编码为多个数据块(包含数据块和校验数据块)，并将这些数据块分发给各个数据中心。该方案可以有效减少数据冗余度，从而节约宝贵的存储资源。然而，在大规模灾难的情况下，例如2011年的日本地震，某些内容的所有副本(对于CR方案)或大多数块(对于CF方案)可能被损坏，导致永久性的数据丢失和服务中断。为了避免这种情况，我们需要研究有效的策略，将数据副本/块从位于灾难区域的数据中心转移到安全的数据中心中。由于这类灾前的数据转移，涉及到大量的数据，且存在时间限制，所以是一个重要且具有挑战性的问题。目前，已有的研究只针对基于CR的内容放置策略，提出了快速的数据转移策略，但是对于基于最新的CF内容放置策略，并没有一个高效的灾前数据转移策略。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于内容碎片化放置的快速数据转移方法，实现最小化的数据转移时间。为解决上述技术问题，本专利技术所采用的技术方案是：一种基于内容碎片化放置的快速数据转移方法，其特征在于包含以下步骤：步骤一：内容选择，将需要转移的内容添加到集合，然后按照重要性进行排序；步骤二：将CEva中内容的足够数量的数据块快速转移到安全区域内的数据中心中。进一步地，所述步骤一具体为1.1在灾难发生前，找到即将由于灾难而会发生丢失的所有内容；1.2对于其中某一个内容，若受影响的数据中心中存储了其超过r个数据块，则将属于该内容的数据块转移到安全的数据中心中，该内容为需要转移的内容；其中r为能够恢复某一内容的最少数据块的数量；1.3将需要转移的内容添加到集合CEva；1.4根据列表中每个内容的重要性αc，按αc降序对CEva进行排序。进一步地，所述步骤二具体为2.1遍历集合CEva中所有的内容c，当|Gc|>r时，即内容c无法进行恢复，存在丢失的可能，则执行步骤1)1)遍历内容c的所有在灾难区域数据块集合Gc，对其中每一个数据块k执行以下操作A、找到当前所有安全区域的数据中心，对于每一个数据中心p，计算转移结束时间B、选择所有数据块中转移时间最短的数据块2)通过计算每个数据块k的转移时间，计算出每个内容c的最短转移时间，以及需要转移的数据块k*和路由p*；按要求进行数据转移，从Gc中移除k*，并将其加入集合Ec；2.2将所有的内容转移的结束时间中最大的时间作为整个转移过程的所需时间本专利技术与现有技术相比，具有以下优点和效果：本专利技术通过对基于内容碎片化放置的数据快速转移方法的研究，本专利技术可以有效提高其灾前数据转移的高效性，有效提高了数据中心网络面对大范围灾难的内容恢复的可能性，避免了大量数据的丢失造成的严重损失。附图说明图1是本专利技术的一种基于内容碎片化放置的快速数据转移方法的内容选择示意图。图2是本专利技术的实施例的一种CF内容放置策略的数据中心网络示意图。图3是本专利技术的实施例的两种网络节点示意图。图4是本专利技术的实施例的算法模型在转移时间性能比较示意图。图5是本专利技术的实施例的转移数据总量示意图。图6是本专利技术的实施例的转移时间示意图。具体实施方式下面通过实施例对本专利技术作进一步的详细说明，以下实施例是对本专利技术的解释而本专利技术并不局限于以下实施例。本专利技术的一种基于内容碎片化放置的快速数据转移方法，其特征在于包含以下步骤：步骤一：内容选择，将需要转移的内容添加到集合，然后按照重要性进行排序；1.1在灾难发生前，找到即将由于灾难而会发生丢失的所有内容；1.2对于其中某一个内容，若受影响的数据中心中存储了其超过r个数据块，则将属于该内容的数据块转移到安全的数据中心中，该内容为需要转移的内容；其中r为能够恢复某一内容的最少数据块的数量；如图2所示，展示了一个采用CF内容放置策略的数据中心网络，在灾难发生前进行数据转移的例子。在示例中，我们采用了RS(5,2)对数据进行编码编码。内容1被分成五个数据块，此外，添加了两个额外的奇偶校验块用于纠错，这七个块随机存储在节点B、C、E和F的数据中心中。其中，节点B、C和F的数据中心分别存储两个数据块，节点E的数据中心存储一个数据块。假设，区域M发生了大范围的灾难，即将影响节点B和C处的两个数据中心。通过统计，节点B和C处两个数据中心总共存储了内容1的4个数据块，按RS(5,2)的编码方式，至少需要5个数据块才能完全恢复该数据。因此，至少需要从处在灾难区域的数据中心转移出至少2个数据块。在该例子中，我们将需要从4个数据块中选择2个进行转移，并需要为这些数据块选择目的节点和转移路径。1.3将需要转移的内容添加到集合CEva；对于集合cEva的建立，如图1所示，假设一个数据中心网络存储了四个内容C1、C2、C3和C4。四个内容具有不同的重要性。基于RS(2，2)的CF内容放置策略，我们将每个内容分为2个内容数据块和2个奇偶校验数据块，并将这些数据块随机存储在不同的数据中心中。在灾难发生之前，我们发现C1、C2和C4在受影响的数据中心(C和B)都存储了2个数据块以上。因此，我们需要将C1、C2和C4添加到内容集cEva。然后，按重要性度量对C_Eva进行降序排序，得到cEva＝{C1，C4，C2}。1.4根据列表中每个内容的重要性αc，按αc降序对cEva进行排序。步骤二：将cEva中内容的足够数量的数据块快速转移到安全区域内的数据中心中。2.1遍历集合cEva中所有的内容c，当|Gc|>r时，即内容c无法进行恢复，存在丢失的可能，则执行步骤1)1)遍历内容c的所有在灾难区域数据块集合Gc，对其中每一个数据块k执行以下操作A、找到当前所有安全区域的数据中心，对于每一个数据中心p，计算转移结束时间B、选择所有数据块中转移时间最短的数据块2)通过计算每个数据块k的转移时间，计算出每个内容c的最短转移时间，以及需要转移的数据块k*和路由p*；按要求进行数据转移，从Gc中移除k*，并将其加入集合Ec；2.2将所有的内容转移的结束时间中最大的时间作为整个转移过程的所需时间如图3所示，为了评估所提出的基于CF内容放置策略的快速数据转移算法的性能，我们考虑两个测试网络。包括(1)具有六个分布式数据中心的六节点八链路(n6s8)网络和(2)具有八个分布式数据中心的24节点43链路美国骨干网(US本文档来自技高网...

【技术保护点】
1.一种基于内容碎片化放置的快速数据转移方法，其特征在于包含以下步骤：步骤一：内容选择，将需要转移的内容添加到集合，然后按照重要性进行排序；步骤二：将CEva中内容的足够数量的数据块快速转移到安全区域内的数据中心中。

【技术特征摘要】
1.一种基于内容碎片化放置的快速数据转移方法，其特征在于包含以下步骤：步骤一：内容选择，将需要转移的内容添加到集合，然后按照重要性进行排序；步骤二：将CEva中内容的足够数量的数据块快速转移到安全区域内的数据中心中。2.按照权利要求1所述的基于内容碎片化放置的快速数据转移方法，其特征在于：所述步骤一具体为1.1在灾难发生前，找到即将由于灾难而会发生丢失的所有内容；1.2对于其中某一个内容，若受影响的数据中心中存储了其超过r个数据块，则将属于该内容的数据块转移到安全的数据中心中，该内容为需要转移的内容；其中r为能够恢复某一内容的最少数据块的数量；1.3将需要转移的内容添加到集合CEva；1.4根据列表中每个内容的重要性αc，按αc降序对C...

【专利技术属性】
技术研发人员：沈纲祥，李泳成，揭水平，房洪莲，赵玉立，张伟，缪鹏，缪爱林，汤俊勇，
申请(专利权)人：中天宽带技术有限公司，
类型：发明
国别省市：江苏,32