一种关系型数据库的数据集成结构制造技术

本发明专利技术公开了一种关系型数据库的数据集成结构，包括由集成中心管理模块、集成节点管理模块、数据源管理模块以及任务配置模块组成的数据集成配置模块、数据集成调度监控模块和数据集成执行器，集成中心管理模块用于配置数据中心；集成节点管理模块用于物理交换节点的管理；数据源管理模块用于数据源，即物理节点下关系型数据库实例的管理；任务配置模块用于定制交换任务，完成任务属性配置；数据集成调度监控模块用于交换任务调度和交换日志审计；数据集成执行器负责执行交换任务。该关系型数据库的数据集成结构与现有技术相比，提供了一种从MySQL数据库到MySQL数据库、从Oracle数据库到MySQL数据库的全量、增量同步实现方案及部署解决方案，实用性强。

【技术实现步骤摘要】

本专利技术涉及计算机数据集成
，具体地说是一种实用性强、关系型数据库的数据集成结构。
技术介绍
随着互联网技术的发展，数据集成也吸引了越来越多的关注，对数据的共享和融合也提出了越来越高的要求，急切需要对已有的数据进行整合，联通“信息孤岛”，共享信息。目前成熟的数据导入导出工具比较多，但是一般都只能用于数据导入或者导出。用户倾向于一种简单、快捷的方式实现关系型数据库之间的数据集成。数据集成是使数据从一个或多个源前进到一个或多个目标表，数据移动的步骤包括确定应该从中抽取数据的源、数据应当进行的转换以及向什么地方发送数据。基于此，本专利技术提供一种软件产品原型云端分享协作方法，通过该专利可使用户通过界面配置便捷的实现从MySQL到MySQL、从Oracle到MySQL数据库之间的数据全量、增量同步的问题。
技术实现思路
本专利技术的技术任务是针对以上不足之处，提供一种实用性强、关系型数据库的数据集成结构。一种关系型数据库的数据集成结构，包括数据集成配置模块、数据集成调度监控模块和数据集成执行器，其中，数据集成配置包括集成中心管理模块、集成节点管理模块、数据源管理模块以及任务配置模块：集成中心管理模块用于配置数据中心；集成节点管理模块用于物理交换节点的管理；数据源管理模块用于数据源，即物理节点下关系型数据库实例的管理；任务配置模块用于定制交换任务，完成任务属性配置；数据集成调度监控模块用于交换任务调度和交换日志审计；数据集成执行器负责执行交换任务。所述集成节点管理模块管理物理交换节点是指用于配置数据中心下的物理交换节点，该配置信息包括：节点名称、节点IP地址、所属机构信息。数据源管理模块管理数据源是指用于配置交换节点下的数据源信息，这里的配置信息包括：数据源名称、数据源地址信息以及测试数据库的连通性。所述任务配置模块用于定制交换任务且完成的任务属性配置内容包括：任务的源端数据库与目标数据库设置、任务的同步数据表映射设置、同步字段设置、同步方式设置、任务类型设置、定时规则信息配置，上述同步方式包括全量同步、增量同步，任务类型包括定时任务、手动任务；并生成使用数据同步任务执行器执行数据交换任务所需的JSON文件。所述数据集成调度监控模块进行交换任务调度是指同步任务的调度操作，该调度操作包括任务启动、停止、暂停、恢复操作。所述数据集成调度监控模块进行交换日志审计：用于查看已经完成的交换任务的详细信息，该详细信息包括任务启动时间、结束时间、总共读出记录数、写入记录数、失败记录数、写入速度信息，同时提供日志文件的查看、下载功能。所述数据集成执行器负责已启动同步任务的执行，根据交换任务配置模块所生成的JSON文件执行交换任务，从源端数据库的相应表中读出数据写入到目标数据库的相应表中。本专利技术的一种关系型数据库的数据集成结构，具有以下优点：本专利技术提供的一种关系型数据库的数据集成结构，实现了方便、快捷的从MySQL数据库到MySQL数据库、从Oracle数据库到MySQL数据库的数据集成，提供了按照手动任务、定时任务的方式对数据进行全量、增量同步，减少了导入导出数据的工作量，使得数据同步工作更加简便、可控，用户只需要通过界面进行任务配置模块和任务调度即可完成数据集成；用户可以控制数据同步这一动作，控制数据集成任务的启动时间点，数据集成任务的暂停、恢复、停止，对同步过程中的日志信息进行监控，实用性强，适用范围广泛，易于推广。附图说明附图1为本专利技术的实现结构图。具体实施方式下面结合附图及具体实施例对本专利技术作进一步说明。如附图1所示，本专利技术的一种关系型数据库的数据集成结构，涉及到数据同步工具、开源作业调度框架Quartz、分布式定时任务框架、分布式协调服务zookeeper等技术，使得从MySQL到MySQL、从Oracle到MySQL数据库之间能够方便、快捷、高效的进行数据的全量、增量同步。包括数据集成配置、数据集成调度监控和数据集成执行器三大块。其中，数据集成配置包括集成中心管理模块、集成节点管理模块、数据源管理模块以及任务配置模块。集成节点管理模块其功能是物理交换节点的管理。数据源管理模块其功能是物理节点下关系型数据库实例的管理。任务配置模块其功能是数据交换的源端数据库和目标数据库设置、同步数据表设置、同步字段设置、同步方式设置、任务类型设置等任务属性配置。数据集成调度监控主要是任务的启动、暂停、恢复、停止等调度操作以及数据交换任务运行过程中的日志信息监控。数据集成执行器主要是负责执行交换任务。更加具体的，上述三大模块描述如下：一、数据集成配置。中心管理：用于配置各个行政区划下的数据中心，数据中心便于对物理交换节点进行隔离和控制。节点管理：用于配置数据中心下的物理交换节点，包括：节点名称、节点IP地址、所属机构等信息。物理节点便于对交换数据源进行隔离和控制。数据源管理模块：用于配置交换节点下的数据源（关系型数据库）信息，包括：数据源名称、数据源地址等信息，以及测试数据库的连通性等功能。交换任务配置模块：用于定制交换任务，包括：任务的源端数据库与目标数据库设置、任务的同步数据表映射设置、同步字段设置、同步方式（全量同步、增量同步）设置、任务类型（定时任务、手动任务）设置、定时规则等信息配置，并生成使用数据同步任务执行器执行数据交换任务所需的JSON文件。二、数据集成调度监控。（1）交换任务调度：用于同步任务的调度操作，主要包括：任务启动、停止、暂停、恢复等操作。（2）交换日志审计：用于查看已经完成的交换任务的详细信息，包括：任务启动时间、结束时间、总共读出记录数、写入记录数、失败记录数、写入速度等信息，同时提供日志文件的查看、下载功能。三、数据集成执行器。数据同步任务执行器主要负责已启动同步任务的执行，根据交换任务配置模块所生成的JSON文件执行交换任务，从源端数据库的相应表中读出数据写入到目标数据库的相应表中。本专利技术提供了同步任务启动、停止、暂停、恢复、删除等操作按钮，每次数据同步任务执行的结果会记录到日志中，用户可以通过前台监控界面查看已完成的同步任务执行结果：包括同步任务启动时刻、结束时刻、总共耗时、任务读取记录数、写入记录数、失败记录总数、写入记录速度等信息。上述具体实施方式仅是本专利技术的具体个案，本专利技术的专利保护范围包括但不限于上述具体实施方式，任何符合本专利技术的一种关系型数据库的数据集成结构的权利要求书的且任何所述
的普通技术人员对其所做的适当变化或替换，皆应落入本专利技术的专利保护范围。本文档来自技高网...

【技术保护点】
一种关系型数据库的数据集成结构，其特征在于，包括数据集成配置模块、数据集成调度监控模块和数据集成执行器，其中，数据集成配置包括集成中心管理模块、集成节点管理模块、数据源管理模块以及任务配置模块：集成中心管理模块用于配置数据中心；集成节点管理模块用于物理交换节点的管理；数据源管理模块用于数据源，即物理节点下关系型数据库实例的管理；任务配置模块用于定制交换任务，完成任务属性配置；数据集成调度监控模块用于交换任务调度和交换日志审计；数据集成执行器负责执行交换任务。

【技术特征摘要】
1.一种关系型数据库的数据集成结构，其特征在于，包括数据集成配置模块、数据集成调度监控模块和数据集成执行器，其中，数据集成配置包括集成中心管理模块、集成节点管理模块、数据源管理模块以及任务配置模块：集成中心管理模块用于配置数据中心；集成节点管理模块用于物理交换节点的管理；数据源管理模块用于数据源，即物理节点下关系型数据库实例的管理；任务配置模块用于定制交换任务，完成任务属性配置；数据集成调度监控模块用于交换任务调度和交换日志审计；数据集成执行器负责执行交换任务。2.根据权利要求1所述的一种关系型数据库的数据集成结构，其特征在于，所述集成节点管理模块管理物理交换节点是指用于配置数据中心下的物理交换节点，该配置信息包括：节点名称、节点IP地址、所属机构信息。3.根据权利要求1所述的一种关系型数据库的数据集成结构，其特征在于，数据源管理模块管理数据源是指用于配置交换节点下的数据源信息，这里的配置信息包括：数据源名称、数据源地址信息以及测试数据库的连通性。4.根据权利要求1所述的一种关系型数据库的数据集成结构，其特征在于，所述任务配置模块用于定制交换任...

【专利技术属性】
技术研发人员：胡晓庆，李锦峰，
申请(专利权)人：山东浪潮云服务信息科技有限公司，
类型：发明
国别省市：山东;37