数据源之间的数据传输方法和系统技术方案

本发明专利技术提供了一种数据源之间的数据传输方法和系统，该方法包括：配置源数据库和目标数据库之间的任务信息；根据所述任务信息分配完成对应任务的调度节点和工作节点；根据所述任务信息，利用所述调度节点和所述工作节点对源数据库的数据处理后传输给所述目标数据库。本发明专利技术可以实现不同数据源直接的数据传输。

Data transmission methods and systems between data sources

The present invention provides a data transmission method and system between data sources. The method includes: configuring the task information between the source database and the target database, assigning the scheduling nodes and work nodes to complete the corresponding tasks according to the task information, and using the scheduling nodes and the work described according to the task information. Nodes transmit data to the target database after the source database is processed. The invention can realize direct data transmission of different data sources.

【技术实现步骤摘要】
数据源之间的数据传输方法和系统
本专利技术属于数据传输处理
，具体地说，尤其涉及一种数据源之间的数据传输方法和系统。
技术介绍
由于互联网开发日益增多，各平台均开始着力打造开放云架构，云服务也日益丰富，传统应用迁移到私有云的需求也日益增多，这就急需解决不同数据源之间的数据传输功能。现有技术中的产品只能提供固定的目标数据源，或者只能在自己的云服务平台进行数据传输，各个产品的传输服务只能提供片面的功能，这给传统应用的数据传输使用带来了技术困难。
技术实现思路
为解决以上问题，本专利技术提供了一种数据源之间的数据传输方法和系统，用于实现不同数据源直接的数据传输。根据本专利技术的一个方面，提供了一种数据源之间的数据传输方法，包括：配置源数据库和目标数据库之间的任务信息；根据所述任务信息分配完成对应任务的调度节点和工作节点；根据所述任务信息，利用所述调度节点和所述工作节点对源数据库的数据处理后传输给所述目标数据库。根据本专利技术的一个实施例，根据所述任务信息，利用所述调度节点和所述工作节点对源数据库的数据处理后传输给所述目标数据库进一步包括：如所述任务信息为数据同步任务信息，则从所述数据同步任务信息中获取源数据库和目标数据库的连接信息、映射条件、过滤条件和数据同步方式；根据所述连接信息获取源数据库中的数据和模拟交换协议；根据所述模拟交换协议获取源数据库的二进制日志；解析所述二进制日志以获取源数据库中的数据中的增量数据；根据所述映射条件和所述过滤条件来对所述增量数据进行筛选；将筛选后的增量数据转化为对应目标数据库的数据库操作语句；按照所述数据同步方式，将所述数据库操作语句导入目标数据源。根据本专利技术的一个实施例，根据所述任务信息，利用所述调度节点和所述工作节点对源数据库的数据处理后传输给所述目标数据库进一步包括：如所述任务信息为数据订阅任务信息，则从所述数据订阅任务信息中获取源数据库和目标数据库的连接信息、映射条件和过滤条件；根据所述连接信息获取源数据库中的数据和模拟交换协议；根据所述模拟交换协议获取源数据库中的数据中的二进制日志；解析所述二进制日志以获取源数据库的增量数据；根据所述映射条件和所述过滤条件来对所述增量数据进行筛选；将筛选后的增量数据通过分布式发布订阅消息系统发送到目标数据源的消息队列中；解析消息队列里的增量数据来实现目标数据源的数据订阅。根据本专利技术的一个实施例，根据所述任务信息，利用所述调度节点和所述工作节点对源数据库的数据处理后传输给所述目标数据库进一步包括：如所述任务信息为数据迁移任务，则从所述数据迁移任务的配置任务信息中获取源数据库和目标数据库的连接信息、映射条件、过滤条件和数据迁移方式；根据所述连接信息编写多个匹配源数据源的读插件和多个匹配目标数据源的写插件；选取匹配源数据库的读插件来读取源数据库中的数据中的数据；根据所述映射条件和所述过滤条件来对源数据库中的数据进行筛选；按照数据迁移方式，对筛选的数据选择匹配目标数据源的写插件，以将筛选后的数据迁移入目标数据源。根据本专利技术的一个实施例，根据所述任务信息分配完成对应任务的调度节点和工作节点进一步包括：当任务信息生成时，根据任务信息确认完成该任务所需的工作节点数量；基于预定算法选择管理调度的调度节点；通知调度节点根据预定调度算法选择完成该任务的工作节点。根据本专利技术的另一个方面，还提供了一种数据源之间的数据传输系统，包括：任务信息配置模块，其配置为配置源数据库和目标数据库之间的任务信息；节点配置模块，其配置为根据所述任务信息分配完成对应任务的调度节点和工作节点；数据处理模块，其配置为根据所述任务信息，利用所述调度节点和所述工作节点对源数据库的数据处理后传输给所述目标数据库。根据本专利技术的一个实施例，所述数据处理模块进一步包括数据同步任务处理单元，其中，所述数据同步任务处理单元配置为：如所述任务信息为数据同步任务信息，则从所述数据同步任务信息中获取源数据库和目标数据库的连接信息、映射条件、过滤条件和数据同步方式；根据所述连接信息获取源数据库中的数据和模拟交换协议；根据所述模拟交换协议获取源数据库的二进制日志；解析所述二进制日志以获取源数据库中的数据中的增量数据；根据所述映射条件和所述过滤条件来对所述增量数据进行筛选；将筛选后的增量数据转化为对应目标数据库的数据库操作语句；按照所述数据同步方式，将所述数据库操作语句导入目标数据源。根据本专利技术的一个实施例，所述数据处理模块进一步包括数据订阅任务处理单元，其中，所述数据订阅任务处理单元配置为：如所述任务信息为数据订阅任务信息，则从所述数据订阅任务信息中获取源数据库和目标数据库的连接信息、映射条件和过滤条件；根据所述连接信息获取源数据库中的数据和模拟交换协议；根据所述模拟交换协议获取源数据库的二进制日志；解析所述二进制日志以获取源数据库中的数据中的增量数据；根据所述映射条件和所述过滤条件来对所述增量数据进行筛选；将筛选后的增量数据通过分布式发布订阅消息系统发送到目标数据源的消息队列中；解析消息队列里的增量数据来实现目标数据源的数据订阅。根据本专利技术的一个实施例，所述数据处理模块进一步包括数据迁移任务处理单元，其中，所述数据迁移任务处理单元配置为：如所述任务信息为数据迁移任务，则从所述数据迁移任务的配置任务信息中获取源数据库和目标数据库的连接信息、映射条件、过滤条件和数据迁移方式；根据所述连接信息编写多个匹配源数据源的读插件和多个匹配目标数据源的写插件；选取匹配源数据库的读插件来读取源数据库的数据；根据所述映射条件和所述过滤条件来对源数据库中的数据进行筛选；按照数据迁移方式，对筛选的数据选择匹配目标数据源的写插件，以将筛选后的数据迁移入目标数据源。根据本专利技术的一个实施例，所述节点配置模块进一步配置为：当任务信息生成时，根据任务信息确认完成该任务所需的工作节点数量；基于预定算法选择管理调度的调度节点；通知调度节点根据预定调度算法选择完成该任务的工作节点。本专利技术的有益效果：本专利技术可在任意环境下实现多个数据源(同构数据源或异构数据源)之间的数据同步、迁移、订阅等功能，解决了现有技术中固定的目标数据源或有限的数据源之间的数据传输与多样性数据传输需求之间的矛盾，给应用的上云及应用代码的简化带来了极大的改革。本专利技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要的附图做简单的介绍：图1是根据本专利技术的一个实施例的数据源之间的数据传输方法流程图；图2是根据本专利技术的一个实施例的数据源之间的数据流示意图；图3是根据本专利技术的一个实施例的任务调度示意图；图4根据本专利技术的一个实施例的数据源之间的数据传输系统结构图。具体实施方式以下将结合附图及实施例来详细说明本专利技术的实施方式，借此对本专利技术如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本专利技术中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本专利技术的保护范围之内。同时，在以下说明中，出于解释的目的本文档来自技高网...

【技术保护点】
1.一种数据源之间的数据传输方法，包括：配置源数据库和目标数据库之间的任务信息；根据所述任务信息分配完成对应任务的调度节点和工作节点；根据所述任务信息，利用所述调度节点和所述工作节点对源数据库的数据处理后传输给所述目标数据库。

【技术特征摘要】
1.一种数据源之间的数据传输方法，包括：配置源数据库和目标数据库之间的任务信息；根据所述任务信息分配完成对应任务的调度节点和工作节点；根据所述任务信息，利用所述调度节点和所述工作节点对源数据库的数据处理后传输给所述目标数据库。2.根据权利要求1所述的方法，其特征在于，根据所述任务信息，利用所述调度节点和所述工作节点对源数据库的数据处理后传输给所述目标数据库进一步包括：如所述任务信息为数据同步任务信息，则从所述数据同步任务信息中获取源数据库和目标数据库的连接信息、映射条件、过滤条件和数据同步方式；根据所述连接信息获取源数据库中的数据和模拟交换协议；根据所述模拟交换协议获取源数据库的二进制日志；解析所述二进制日志以获取源数据库中的数据中的增量数据；根据所述映射条件和所述过滤条件来对所述增量数据进行筛选；将筛选后的增量数据转化为对应目标数据库的数据库操作语句；按照所述数据同步方式，将所述数据库操作语句导入目标数据源。3.根据权利要求1所述的方法，其特征在于，根据所述任务信息，利用所述调度节点和所述工作节点对源数据库的数据处理后传输给所述目标数据库进一步包括：如所述任务信息为数据订阅任务信息，则从所述数据订阅任务信息中获取源数据库和目标数据库的连接信息、映射条件和过滤条件；根据所述连接信息获取源数据库中的数据和模拟交换协议；根据所述模拟交换协议获取源数据库的二进制日志；解析所述二进制日志以获取源数据库中的数据中的增量数据；根据所述映射条件和所述过滤条件来对所述增量数据进行筛选；将筛选后的增量数据通过分布式发布订阅消息系统发送到目标数据源的消息队列中；解析消息队列里的增量数据来实现目标数据源的数据订阅。4.根据权利要求1所述的方法，其特征在于，根据所述任务信息，利用所述调度节点和所述工作节点对源数据库的数据处理后传输给所述目标数据库进一步包括：如所述任务信息为数据迁移任务，则从所述数据迁移任务的配置任务信息中获取源数据库和目标数据库的连接信息、映射条件、过滤条件和数据迁移方式；根据所述连接信息编写多个匹配源数据源的读插件和多个匹配目标数据源的写插件；选取匹配源数据库的读插件来读取源数据库的数据；根据所述映射条件和所述过滤条件来对源数据库中的数据进行筛选；按照数据迁移方式，对筛选的数据选择匹配目标数据源的写插件，以将筛选后的数据迁移入目标数据源。5.根据权利要求1所述的方法，其特征在于，根据所述任务信息分配完成对应任务的调度节点和工作节点进一步包括：当任务信息生成时，根据任务信息确认完成该任务所需的工作节点数量；基于预定算法选择管理调度的调度节点；通知调度节点根据预定调度算法选择完成该任务的工作...

【专利技术属性】
技术研发人员：严龙云，张奎，卞晓莹，
申请(专利权)人：石化盈科信息技术有限责任公司，
类型：发明
国别省市：北京,11