一种数据迁移系统和方法技术方案
【技术实现步骤摘要】
一种数据迁移系统和方法
本申请涉及计算机系统数据处理
，特别是涉及一种数据迁移系统和方法。
技术介绍
目前，随着网络技术的发展和信息量的增加，网络上形成了数量巨大的分布的异构信息源。各企事业内部由于地理位置的不同或新需求的增加也形成了一个分布式的、异构的且数量巨大的数据集合。异构的数据源出现的一个很重要的原因是由于多种商业数据库的同时存在。异构数据源形式多样，从结构上来区分，其不仅可以包括数据库(如关系数据库)中结构化数据，而且还可以包括文件系统中非结构化的数据，如一般的文本文件、电子邮件、演示文稿和各种文档等。这些数据源往往分布在地理位置上，数据格式和代码不同一，这些都直接推动了对异构数据源的数据共享和透明访问的需求的产生。因此，如何将数据在这些异构数据源之间进行迁移，从而维持一个一致、完整的全局模式，具有重要的意义。在现有技术中，常用的数据迁移方法主要采用导出/导入方式。假设欲将数据从Oracle数据库迁移至HDFS(分布式文件系统，HadoopDistributedFileSystem)系统，则现有技术首先采用Oracle的数据导出命令或工具将源数据导...
【技术保护点】
一种数据迁移系统，其特征在于，包括：配置读取模块，用于读取数据迁移任务的配置文件，所述配置文件中包括有数据读取信息和数据写入信息；读取模块，用于依据所述配置文件中的数据读取信息，进行数据的读取，并在将读取的数据转换为中间格式后，写入数据交换缓冲模块；数据交换缓冲模块，用于临时存储写入的中间格式的数据；及写入模块，用于从所述数据交换缓冲模块中读取所述中间格式的数据，并在依据所述配置文件中的数据写入信息将所述中间格式的数据转换为目标格式后，写入目标地址。
【技术特征摘要】
1.一种数据迁移系统，其特征在于，包括：配置读取模块，用于读取数据迁移任务的配置文件，所述配置文件中包括有数据读取信息和数据写入信息；读取模块，用于依据所述配置文件中的数据读取信息，进行数据的读取，并在将读取的数据转换为中间格式后，写入数据交换缓冲模块；数据交换缓冲模块，用于临时存储写入的中间格式的数据；及写入模块，用于从所述数据交换缓冲模块中读取所述中间格式的数据，并在依据所述配置文件中的数据写入信息将所述中间格式的数据转换为目标格式后，写入目标地址；所述系统还包括：保存模块，用于将所述数据读取信息和/或所述数据写入信息所包括的变化参数，作为变量保存在一个通用的配置文件中。2.一种数据迁移方法，其特征在于，包括：读取数据迁移任务的配置文件，所述配置文件中包括有数据读取信息和数据写入信息；依据所述配置文件中的数据读取信息，进行数据的读取；将读取的数据转换为中间格式，并写入数据交换缓冲模块，其中，所述数据交换缓冲模块用于临时存储写入的中间格式的数据；从所述数据交换缓冲模块中读取所述中间格式的数据；依据所述配置文件中的数据写入信息将所述中间格式的数据转换为目标格式，并写入目标地址；所述方法还包括：将所述数据读取信息和/或所述数据写入信息所包括的变化参数，作为变量保存在一个通用的配置文件中。3.如权利要求2所述的方法，其特征在于，还包括：依据所述配置文件中的数据读取信息，装载相应的读取插件和数据交换缓冲插件，并向所述读取插件提供相应的运行环境，由所述读取插件依据所述配置文件中的数据读取信息，进行数据的读取，并在将读取的数据转换为中间格式后写入数据交换缓冲插件，由所述数据交换缓冲插件临时存储读取插件写入的中间格式的数据；依据所述配置文件中的数据写入信息，装载相应的写入插件，并向所述写入插件提供相应的运行环境，由所述写入插件从所述数据交换缓冲插件中读取所述中间格式的数据，并在依据所述配置文件中的数据写入信息将所述中间格式的数据转换为目标格式后，写入目标地址。4.如权利要求2所述的方法，其特征在于，还包括：在进行数据的读取前，将一个数据迁移任务分解成多个读取子任务；所述依据所述配置文件中的数据读取信息，进行数据的读取的步骤为，在多线程池的读取运行环境下，进行所述多个读取子任务的读取。5.如权利要求...
【专利技术属性】
技术研发人员：王磊，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。