基于网格的数据移动性制造技术

公开了将数据从源服务器迁移到目标服务器的数据迁移系统和方法。该系统包括索引，该索引包含标准化数据模型中的多个数据迁移操作，每个数据迁移操作与属性相关联地存储，且数据移动器可通信地连接到该索引。该数据移动器适于根据索引中包含的数据迁移操作将数据从源服务器移动到目标服务器。数据移动器具有与索引中包含的至少一个数据迁移操作的相关联的属性对应的属性，该属性指示可以由数据移动器进行的数据迁移操作的类型。该索引适于获取数据移动器的属性，并适于从索引中包含的数据迁移操作之中向数据移动器传送具有与数据移动器的属性对应的属性的数据迁移操作。该数据移动器适于根据传送的数据迁移操作从源服务器向目标服务器移动数据。

【技术实现步骤摘要】
基于网格的数据移动性
本专利技术涉及用于以更加可扩展和灵活的方式将数据从源服务器移动到目标服务器的系统和过程。
技术介绍
不同物理系统和数据模型之间的大量数据的迁移对产业界而言变得越来越重要。这类迁移对于从现在废弃不用的遗留硬件或数据模型移动数据而言是必要的。迁移对于提供数据的备份和将数据移动到更容易访问的物理位置而言也是必要的。之前使用劳动力密集的手动收集数据以及必须为每个个别的迁移量身定做的转换过程进行数据迁移。这使得该过程昂贵、缓慢，且易于出错。任何类型的数据移动性(mobility)操作都涉及大量的、必须被操纵以最大化数据移动效率并减少操作的总体持续时间的源和目标资源。构建大的数据基础架构以供用户访问数据并在存储基础架构中创建新的数据。数据迁移操作与以上的多线程基础架构不同，倾向为单线程。该单线程操作并没有充分最优化源基础架构资产来使能快速且高效的数据移动。
技术实现思路
根据本专利技术的一个方面，提供了一种用于将数据从源服务器迁移到目标服务器的数据迁移系统，其包括：包含标准化数据模型中的多个数据迁移操作的索引，每个数据迁移操作与属性相关联地存储，以及可通信地连接到该索引的数据移动器，该数据移动器适于根据索引中包含的数据迁移操作将数据从源服务器移动到目标服务器；其中：该数据移动器具有与索引中包含的至少一个数据迁移操作的相关联的属性对应的属性，该属性指示可以由数据移动器进行的数据迁移操作的类型；该索引适于获取该数据移动器的属性，并适于从索引中包含的数据迁移操作之中，向数据移动器传送具有与数据移动器的属性对应的属性的数据迁移操作；以及该数据移动器适于根据传送的数据迁移操作从源服务器向目标服务器移动数据。本专利技术提供了一种通过使用中心工作仓库和分离出的(abstracted)数据移动器应用，允许数据移动性和数据移动操作的巨大可扩展性的逻辑机构。为了使能数据迁移操作的多个线程，本专利技术人意识到多个分离出的数据移动器可被用来帮助多个请求到源基础架构。该结构有效地提高聚合吞吐量。然而，可能并不总需要多个数据移动器且数据移动器的适当的数目会在迁移之间改变。本专利技术的系统允许数据移动器如所需被添加到系统或从系统中移除，从而使得系统的吞吐量可以匹配其工作负荷。优选地，所述数据移动器包括数据提取命令生成引擎，其适于从传送的数据迁移操作生成源服务器的源语言的数据提取命令。适当地，所述数据移动器包括数据提交命令生成引擎，其适于从传送的数据迁移操作生成目标服务器的目标语言的数据提交命令。优选地，所述数据移动器适于在传送的数据迁移操作完成之后向索引发送完成报告。适当地，所述索引适于在传送的数据迁移操作完成之后，确定在数据迁移的当前阶段，具有与数据移动器的属性对应的属性的所有数据迁移操作是否已经完成；以及如果在数据迁移的当前阶段中并非具有该属性的所有数据迁移操作都已经完成，则索引适于从索引中包含的数据迁移操作之中，传送具有该属性的另一数据迁移操作；以及如果在数据迁移的当前阶段具有该属性的所有数据迁移操作都已经完成，则索引适于指示数据移动器进入暂停状态。更优选地，数据移动器具有多个属性，且每个数据迁移操作与多个属性相关联；数据移动器的属性对应于索引中包含的至少一个数据迁移操作的属性；以及索引适于从索引中包含的数据迁移操作之中，向数据移动器传送具有与数据移动器的属性对应的属性的数据迁移操作。适当地，所述系统包括：多个具有不同属性的数据移动器，其中索引将数据迁移操作分发到具有分别匹配所述数据迁移操作的属性的属性的数据移动器。本专利技术人已经发现本专利技术提供的聚合吞吐量的增加比与使用多个数据移动器相关联的额外的复杂性要重要得多，额外的复杂性是由管理和配置多个元件从而避免冲突和避免重复操作造成的。根据本专利技术的另一方面，提供了一种用于将数据从源服务器迁移到目标服务器的方法，其包括：在索引中存储标准化数据模型中的数据迁移操作的集合，每个数据迁移操作与属性相关联地存储；将属性存储在可通信地连接到该索引的数据移动器中，该属性指示可以由数据移动器进行的数据迁移操作的类型；在索引处获取数据移动器中存储的属性；从索引向数据移动器传送具有与该数据移动器中存储的属性对应的相关联的属性的数据迁移操作；将该数据迁移操作转换为源服务器的源语言的数据提取命令；将该数据提取命令传送到源服务器；将该数据迁移操作转换为目标服务器的目标语言的数据提交命令；将该数据提交命令传送到目标服务器；以及将数据从该源服务器移动到该目标服务器。优选地，具有不同属性的多个数据移动器连接到索引，该方法还包括：估计完成将数据从源服务器移动到目标服务器所需的时间；以及如果估计的时间超过预定的上阈值，则将额外的数据移动器连接到索引或激活额外的数据移动器。适当地，具有不同属性的多个数据移动器连接到索引，该方法还包括：估计完成将数据从源服务器移动到目标服务器所需的时间；以及如果估计的时间低于预定的下阈值，则将该数据移动器从索引断开或无效该数据移动器。附图说明将通过更多仅是示例的例子参照附图描述本专利技术的实施例，在附图中：图1示出根据本专利技术的一个实施例的数据迁移系统；图2是示出在本专利技术的一个实施例中用于进行数据迁移操作的数据移动器的操作的流程图；图3是示出在本专利技术的一个实施例用于进行数据迁移操作的索引的操作的流程图；图4示出数据移动器的主要部件的示意图；以及图5示出可以在上面实现本专利技术的数据迁移系统的示例性计算机体系架构1100。具体实施方式图1提供了根据本专利技术的一个实施例的索引-数据移动器关系的概述。参照图1，源服务器300包含源数据，所述源数据将被迁移到目标服务器400中的目标数据。索引200包含源服务器300中的源数据的索引。所述索引200使用独立于源服务器300中数据实际被保存的格式的标准化数据模型。所述索引200使用自动化数据收集器和导入器(importer)生成。数据移动器100是基于有关索引200总包含的源数据的信息将数据从源服务器300移动到目标服务器400的部件。系统可以包含任意数目(anynumberof)的数据移动器100。数据移动器100从索引200取走标准化的工作负荷。术语“标准化”意味着索引200中的所有数据符合数据移动器100理解的单一的标准数据模型。换言之，索引200对源和目标服务器中保存的数据的格式和类型是不可知的(agnostic)。在数据移动器100上进行所有产品-特定的翻译(translation)和管理。在本专利技术的该实施例中，索引200是存储所有需要的数据移动操作的中心索引(centralindex)。这些操作已经被数学地创建并处理，其每个具有诸如源位置、目标目的地、平台类型和数据类型的若干属性。用这些属性对每个迁移操作加标签，意味着存在控制每个数据操作的元数据。然后输入所述迁移操作作为中心索引200上的符合条件的操作，从而有效地将每个迁移操作标记为应该完成的一件工作，如果数据移动器100与该特定的迁移操作所要求的属性一致的话。例如，数据迁移操作可以存储在索引200中，具有以下属性：源A、目标B、类型C和平台D。可以提供许多数据移动器100，仅其子集具有属性源A、目标B、类型C和平台D。数据移动器的该子集中的任何一个可以进行该数据迁移操作。可以用控制文件中的属性预配本文档来自技高网...

【技术保护点】
一种用于将数据从源服务器迁移到目标服务器的数据迁移系统，该系统包括：包含标准化数据模型中的多个数据迁移操作的索引，每个数据迁移操作与属性相关联地存储，以及可通信地连接到该索引的数据移动器，该数据移动器适于根据索引中包含的数据迁移操作将数据从源服务器移动到目标服务器；其中：该数据移动器具有与索引中包含的至少一个数据迁移操作的相关联的属性对应的属性，该数据移动器的属性指示能够由数据移动器进行的数据迁移操作的类型，并且所述数据移动器取决于其属性，将具有匹配其自己属性的与数据迁移操作相关联的属性的迁移操作转换为适当的源语言和目标语言；该索引适于获取该数据移动器的属性，并适于从索引中包含的数据迁移操作之中，向数据移动器传送具有与数据移动器的属性对应的与数据迁移操作相关联的属性的数据迁移操作；以及该数据移动器适于根据传送的数据迁移操作从源服务器向目标服务器移动数据，其中数据移动器包括数据提取命令生成引擎，其适于从传送的数据迁移操作生成源服务器的源语言的数据提取命令，并且其中数据移动器包括数据提交命令生成引擎，其适于从传送的数据迁移操作生成目标服务器的目标语言的数据提交命令。

【技术特征摘要】
2012.08.07 GB 1214119.81.一种用于将数据从源服务器迁移到目标服务器的数据迁移系统，该系统包括：包含标准化数据模型中的多个数据迁移操作的索引，每个数据迁移操作与属性相关联地存储，以及可通信地连接到该索引的数据移动器，该数据移动器适于根据索引中包含的数据迁移操作将数据从源服务器移动到目标服务器；其中：该数据移动器具有与索引中包含的至少一个数据迁移操作的相关联的属性对应的属性，该数据移动器的属性指示能够由数据移动器进行的数据迁移操作的类型，并且所述数据移动器取决于其属性，将具有匹配其自己属性的与数据迁移操作相关联的属性的迁移操作转换为适当的源语言和目标语言；该索引适于获取该数据移动器的属性，并适于从索引中包含的数据迁移操作之中，向数据移动器传送具有与数据移动器的属性对应的与数据迁移操作相关联的属性的数据迁移操作；以及该数据移动器适于根据传送的数据迁移操作从源服务器向目标服务器移动数据，其中数据移动器包括数据提取命令生成引擎，其适于从传送的数据迁移操作生成源服务器的源语言的数据提取命令，并且其中数据移动器包括数据提交命令生成引擎，其适于从传送的数据迁移操作生成目标服务器的目标语言的数据提交命令。2.根据权利要求1所述的数据迁移系统，其中数据移动器适于在传送的数据迁移操作完成之后向索引发送完成报告。3.根据权利要求1所述的数据迁移系统，其中索引适于在传送的数据迁移操作完成之后，确定在数据迁移的当前阶段，具有与数据移动器的属性对应的与数据迁移操作相关联的属性的所有数据迁移操作是否已经完成；以及如果在数据迁移的当前阶段中并非具有该与数据迁移操作相关联的属性的所有数据迁移操作都已经完成，则索引适于从索引中包含的数据迁移操作之中，传送具有该与数据迁移操作相关联的属性的另一数据迁移操作；以及如果在数据迁移的当前阶段具有该与数据迁移操作相关联的属性的所有数据迁移操作都已经完成，则索引适于指...

【专利技术属性】
技术研发人员：IT史密斯，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：美国,US