一种数据源之间的数据传输方法技术

本发明专利技术提供一种数据源之间的数据传输方法，包括：S1：通过配置管理界面，配置数据输出端的连接参数信息和目标端的连接参数信息，并保存所述连接参数信息；S2：根据保存的所述连接参数信息，选择数据输出端，并配置所述数据输出端的数据抽取条件；S3：根据保存的所述连接参数信息，将所述数据输出端分配给选择的目标端，并设置所述目标端的数据载入条件；S4：根据所述数据抽取条件和所述数据载入条件，获取所述数据输出端待同步的数据，并将所述待同步的数据载入所述目标端。本发明专利技术通过典型架构的管理界面，配置待进行数据输出任务的数据输出端和目标端的数据源，并通过多重数据抽取条件进行数据过滤，在任意环境下，可实现多个数据源之间的数据同步与迁移功能。

A method of data transmission between data sources

【技术实现步骤摘要】
一种数据源之间的数据传输方法
本专利技术涉及数据传输服务技术，尤其涉及一种数据源之间的数据传输方法。
技术介绍
由于互联网开发日益增多，各平台着力打造开放云架构，云服务也日益丰富，同时，传统应用迁移到私有云的需求也日益增多。因此，不同数据源之间的数据传输服务有待改善和提高。在现有技术中，各个传输服务只能提供片面的功能，现有产品只能提供固定的目标数据源，或者只能在自己的云服务平台进行数据传输，而在传统应用的数据传输使用上，存在着技术困难。现有技术只能通过繁杂的代码逻辑来进行数据过滤，数据提取，数据载入。举例说明，比如现在有这样一个业务场景，电商会员A在支付平台进行会员冻结时，需要进行多个操作，支付平台是基于分布式架构的一个系统，各个应用之间独立部署，通过远程调用协议可以建立接口连接。冻结会员A的多个操作步骤如下：1.支付平台会员中心修改会员A的状态为冻结状态。2.支付平台账户中心的A会员下的账号信息也修改为冻结状态。3.会员中心A状态修改成功之后API中心需要向电商会员A发送状态修改成功的通知。如果按照代码控制的话，方案如下，由于支付平台是一个分布式架构的系统，且数据库是分库分表的分布式数据库，数据分布在多个数据库中，无法通过数据库事务消息保证整个过程的原子性。所以需要通过消息队列来分别处理三个中心的业务操作，每个中心操作失败了则根据消息队列的异常重试机制再次处理，直到成功为止。这种消息队列的机制除了需要配置消息队列配置之外，还要对每个事物失败之后手写回滚操作。目前实现方案是这样的，会员中心提供冻结接口，当冻结接口被调用之后，会员中心先写一个数据库事物消息，其中对会员中心数据库D1中的会员A的状态表A1进行修改，修改为冻结状态，并且作为发送者发送消息。此消息有三个接受者(1)会员中心，接收到消息之后，对会员中心数据库D1异构索引表的另一个状态表A2进行修改，修改为冻结状态，若消费抛出异常会有自动重试机制，直到消息消费成功，状态修改成功为止。(2)账户中心，接收到消息之后，消费消息，根据消息里的账户号，将对应的账户中心数据库D2的账户信息表B的状态字段修改为冻结状态。若消费抛出异常会有自动重试机制，直到消息消费成功，状态修改成功为止。(3)会员中心，此消费者调用API中心的接口，通过该API接口向电商会员发送成功通知。若接口抛出异常会有自动重试机制，直到消息消费成功，通知到电商为止。并且针对事务消息的失败还要专门写一个checker方法，检查消息是否消费成功，若失败就回滚。这种方法需要耗费大量的人工去编写代码，并且测试也很繁琐，需要耗费大量时间。因此，在实现数据源之间的数据传输的基础上，亟需一种简单，便捷，能够实现异构数据源之间的数据传输的方法。
技术实现思路
为了解决上述问题，本专利技术提供一种数据源之间的数据传输方法，所述方法包括：S1：通过配置管理界面，配置数据输出端的连接参数信息和目标端的连接参数信息，并保存所述连接参数信息；S2：根据保存的所述连接参数信息，选择数据输出端，并配置所述数据输出端的数据抽取条件；S3：根据保存的所述连接参数信息，将所述数据输出端分配给选择的目标端，并设置所述目标端的数据载入条件；S4：根据所述数据抽取条件和所述数据载入条件，获取所述数据输出端待同步的数据，并将所述待同步的数据载入所述目标端。进一步的，所述数据输出端或目标端具体包括，数据库、消息队列和API中的至少一种。进一步的，步骤S1中配置数据输出端的连接参数信息，具体包括：配置数据库的连接参数信息，包括数据库的类型，URL，数据库名，用户名，密码，端口；配置消息队列的连接参数信息，包括消息队列的类型，消息传递模式，端口ID；和/或配置API接口信息。进一步的，步骤S1中配置目标端的连接参数信息，具体包括：配置数据库的连接参数信息，包括数据库的类型，URL，数据库名，用户名，密码，端口；配置消息队列的连接参数信息，包括消息队列的类型，消息传递模式，端口ID；和/或配置API接口信息。进一步的，所述数据输出端和目标端分别为多个。进一步的，步骤S2中所述数据抽取条件为所述数据库的基础数据表的字段信息。进一步的，所述数据抽取条件为多个，且将对于一个数据库的数据抽取结果的字段信息，作为对于另一个数据库的数据抽取条件。进一步的，步骤S3中所述目标端的数据载入条件为所述数据库的基础数据表的字段信息。进一步的，步骤S4具体包括：S41,通过所述数据输出端的连接参数信息和所述数据抽取条件，获取待同步的数据配置；S42,根据所述数据配置和模拟数据库的交互协议，获取数据增量；S43,根据所述数据增量和所述数据抽取条件，获取所述待同步的数据；S44,根据所述目标端的连接参数信息和所述数据载入条件，将所述待同步的数据载入所述目标端。进一步的，步骤S42具体包括：S421,根据所述数据配置和模拟数据库的交互协议，获取数据库的二进制日志；S422,通过解析所述二进制日志，获取数据增量。本专利技术还提供一种计算机可读的存储介质，存储有用于实现上述方法的计算机可读程序。与现有技术相比，本专利技术具有如下优点或有益效果：本专利技术通过典型架构的管理界面，配置待进行数据输出任务的数据输出端和目标端的数据源，并通过多重数据抽取条件进行数据过滤，配合数据载入条件，在任意环境下，可实现多个数据源——包括异构数据源——之间的数据同步与迁移功能，解决了现有技术中固定的目标数据源或有限的数据源之间的数据传输与多样性数据传输需求之间的矛盾。并使得应用可以获得云服务的支持，以及给应用代码的简化带来了极大的改革。同时，本专利技术还提供了在一个同步任务里，多个输出数据源匹配多个目标数据源的复杂数据处理，灵活的解决更多的带逻辑的数据传输。附图说明通过结合附图阅读下文示例性实施例的详细描述可更好地理解本专利技术的保护范围，其中所包括的附图是：图1为本专利技术的一种数据源之间的数据传输方法的流程图；图2为根据本专利技术实施例的将待同步的数据载入目标端的流程图；图3为根据本专利技术实施例的获取数据增量的流程图；图4为本专利技术的系统结构的示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面结合附图以及实施例来详细说明本专利技术的实施方案，借此对本专利技术如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。首先，本专利技术的基本设计理念是通过典型架构的管理界面，配置待进行数据输出任务的数据输出端和目标端的数据源，并通过多重数据抽取条件进行数据过滤，在任意环境下，实现多个数据源之间的数据同步与迁移功能。实施例一图1是本专利技术提供的一种数据源之间的数据传输方法的流程图，以下结合图1对每个步骤进行详细说明。如图1所示，该方法主要包括以下步骤：S1：通过配置管理界面，配置数据输出端的连接参数信息和目标端的连接参数信息，并保存所述连接参数信息。在该步骤中，通过典型架构的管理界面配置待进行数据输出任务的数据输出端与目标端的数据源，数据输出端与目标端的类型包括数据库，数据仓库，网络服务(WebService)和/或消息队列等各种类型的数据源。当数据源为数据库时，配置数据输出端的连接参数信息包括：配置数据输出端的类型，例如，可为Mysql，Oracle等，配置URL，数据库名，用户名，密码等能够连接数本文档来自技高网...

【技术保护点】
1.一种数据源之间的数据传输方法，其特征在于，包括：S1：通过配置管理界面，配置数据输出端的连接参数信息和目标端的连接参数信息，并保存所述连接参数信息；S2：根据保存的所述连接参数信息，选择数据输出端，并配置所述数据输出端的数据抽取条件；S3：根据保存的所述连接参数信息，将所述数据输出端分配给选择的目标端，并设置所述目标端的数据载入条件；S4：根据所述数据抽取条件和所述数据载入条件，获取所述数据输出端待同步的数据，并将所述待同步的数据载入所述目标端。

【技术特征摘要】
1.一种数据源之间的数据传输方法，其特征在于，包括：S1：通过配置管理界面，配置数据输出端的连接参数信息和目标端的连接参数信息，并保存所述连接参数信息；S2：根据保存的所述连接参数信息，选择数据输出端，并配置所述数据输出端的数据抽取条件；S3：根据保存的所述连接参数信息，将所述数据输出端分配给选择的目标端，并设置所述目标端的数据载入条件；S4：根据所述数据抽取条件和所述数据载入条件，获取所述数据输出端待同步的数据，并将所述待同步的数据载入所述目标端。2.根据权利要求1所述的数据源之间的数据传输方法，其特征在于，所述数据输出端或目标端具体包括，数据库、消息队列和API中的至少一种。3.根据权利要求2所述的数据源之间的数据传输方法，其特征在于，步骤S1中配置数据输出端的连接参数信息，具体包括：配置数据库的连接参数信息，包括数据库的类型，URL，数据库名，用户名，密码，端口；配置消息队列的连接参数信息，包括消息队列的类型，消息传递模式，端口ID；和/或配置API接口信息。4.根据权利要求2所述的数据源之间的数据传输方法，其特征在于，步骤S1中配置目标端的连接参数信息，具体包括：配置数据库的连接参数信息，包括数据库的类型，URL，数据库名，用户名，密码，端口；配置消息队列的连接参数信息，包括消息队列的类型，消息传递模式，端口...

【专利技术属性】
技术研发人员：严龙云，卞晓莹，张奎，赖秋，朱奎帅，
申请(专利权)人：石化盈科信息技术有限责任公司，
类型：发明
国别省市：北京,11