异构数据源间的数据同步方法、装置和设备制造方法及图纸

本申请涉及一种异构数据源间的数据同步方法、装置和设备，包括：从源数据库中拉取到待同步数据后，通过预设软件机器人程序对待同步数据进行处理，得到处理数据，然后将处理数据写入到目标数据库中。由于软件机器人具有社会性，能够通过某种语言与其他设备交互，因此，利用软件机器人的社会性，可以自动适配源数据库和目标数据库的数据结构，从而实现以动态配置的模式将待同步数据从源数据库中提取并写入目标数据库中，无需二次开发插件，通用性更强。

Data synchronization methods, devices and devices between heterogeneous data sources

【技术实现步骤摘要】
异构数据源间的数据同步方法、装置和设备
本申请涉及数据同步
，尤其涉及一种异构数据源间的数据同步方法、装置和设备。
技术介绍
为了提高数据管理的稳定性，一般会将数据存储在数据库中，目前有多重不同的数据库，由于各数据库的存储架构各不相同，因此，数据库中存储的数据格式也会有差别。随着大数据时代的到来，不同架构的数据库之间的交互越来越必要，从某一架构的数据库中提取数据存储到另一架构的数据库中的情况越来越常见。目前，对于不同架构的数据库之间的数据同步，一般会针对不同架构的数据库开发读取插件和写入插件，从而实现异构数据源间数据的同步。但是，在使用上述方法实现异构数据源间的数据同步时，对于不同架构的数据库，需要二次开发对应的读取插件和写入插件，通用性较差。
技术实现思路
为至少在一定程度上克服相关技术中存在的问题，本申请提供一种异构数据源间的数据同步方法、装置和设备。根据本申请的第一方面，提供一种异构数据源间的数据同步方法，包括：从源数据库中拉取待同步数据；通过预设软件机器人程序对所述待同步数据进行处理，得到处理数据；将所述处理数据写入目标数据库。可选的，在所述从源数据库中拉取待同步数据之后，且，在所述通过预设软件机器人程序对所述待同步数据进行处理之前，本方法还包括：将所述待同步数据写入消息队列中；通过预设软件机器人程序拉取所述消息队列中的带同步数据。可选的，所述从源数据库中拉取待同步数据，包括：接收同步启动指令；所述同步启动指令包括拉取所述待同步数据的源数据库地址信息和所述目标数据库地址信息；通过DataX从所述源数据库中拉取所述待同步数据。可选的，所述通过DataX从所述源数据库中拉取所述待同步数据，包括：通过DataX的读取插件从所述源数据库中拉取所述待同步数据。可选的，所述源数据库为oracle、mysql、sqlserver、mongodb或db2；所述目标数据库为oracle、mysql、sqlserver、mongodb或db2。根据本申请的第二方面，提供一种异构数据源间的数据同步装置，包括：第一获取模块，用于从源数据库中拉取待同步数据；处理模块，用于通过预设软件机器人程序对所述待同步数据进行处理，得到处理数据；第一写入模块，用于将所述处理数据写入目标数据库。可选的，在所述从源数据库中拉取待同步数据之后，且，在所述通过预设软件机器人程序对所述待同步数据进行处理之前，本装置还包括：第二写入模块，用于将所述待同步数据写入消息队列中；第二获取模块，用于通过预设软件机器人程序拉取所述消息队列中的带同步数据。可选的，所述第一获取模块包括：接收单元，用于接收同步启动指令；所述同步启动指令包括拉取所述待同步数据的源数据库地址信息和所述目标数据库地址信息；获取单元，用于通过DataX从所述源数据库中拉取所述待同步数据。可选的，所述获取单元包括：获取子单元，用于通过DataX的读取插件从所述源数据库中拉取所述待同步数据。根据本申请的第三方面，提供一种异构数据源间的数据同步设备，包括：处理器，以及与所述处理器相连接的存储器；所述存储器用于存储计算机程序，所述计算机程序至少用于执行如下所述的异构数据源间的数据同步方法：从源数据库中拉取待同步数据；通过预设软件机器人程序对所述待同步数据进行处理，得到处理数据；将所述处理数据写入目标数据库。可选的，在所述从源数据库中拉取待同步数据之后，且，在所述通过预设软件机器人程序对所述待同步数据进行处理之前，本方法还包括：将所述待同步数据写入消息队列中；通过预设软件机器人程序拉取所述消息队列中的带同步数据。可选的，所述从源数据库中拉取待同步数据，包括：接收同步启动指令；所述同步启动指令包括拉取所述待同步数据的源数据库地址信息和所述目标数据库地址信息；通过DataX从所述源数据库中拉取所述待同步数据。可选的，所述通过DataX从所述源数据库中拉取所述待同步数据，包括：通过DataX的读取插件从所述源数据库中拉取所述待同步数据。可选的，所述源数据库为oracle、mysql、sqlserver、mongodb或db2；所述目标数据库为oracle、mysql、sqlserver、mongodb或db2。所述处理器用于调用并执行所述存储器中的所述计算机程序。本申请提供的技术方案可以包括以下有益效果：从源数据库中拉取到待同步数据后，通过预设软件机器人程序对待同步数据进行处理，得到处理数据，然后将处理数据写入到目标数据库中。由于软件机器人具有社会性，能够通过某种语言与其他设备交互，因此，利用软件机器人的社会性，可以自动适配源数据库和目标数据库的数据结构，从而实现以动态配置的模式将待同步数据从源数据库中提取并写入目标数据库中，无需二次开发插件，通用性更强。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。图1是本申请的实施例一提供的一种异构数据源间的数据同步方法的流程示意图。图2是本申请的实施例二提供的一种异构数据源间的数据同步装置的结构示意图。图3是本申请的实施例三提供的一种异构数据源间的数据同步设备的结构示意图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。目前，对于异构数据源之间的数据同步，通产采用DataX框架实现，DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作。但是，在使用上述方法实现异构数据源间的数据同步时，对于不同架构的数据库，需要二次开发对应的读取插件和写入插件，通用性较差。为了解决通用性差这一技术问题，本申请提出了通过软件机器人进行异构数据源间的数据同步。其中，软件机器人即agent，agent具有自主性、交互性(即社会性)、反应性和主动性。Agent具有属于其自身的计算资源和局部于自身的行为控制机制,能够在没有外界直接操纵的情况下,根据其内部状态和感知到的环境信息,决定和控制自身的行为。例如,SNMP中的agent就是独立运行在被管理单元上的自主进程。Agent能够与其他Agent(包括人),用Agent通信语言实施灵活多样的交互,能够有效地与其他Agent协同工作。例如,一个Internet上的用户需要使用Agent通信语言向主动服务Agent陈述信息需求。Agent能够感知所处的环境(可能是物理世界,操纵图形界面的用户,或其他Agent等),并对相关事件作出适时反应。例如,一个模拟飞机的Agent能够对用户的操纵作出适时反应。Agent能够遵循承诺采取主动行动,表现出面向目标的行为。例如,一个Internet上的主动服务Agent,在获得新的信息之后能够按照约定主动将其提交给需要的用户；一个工作流管理Agent,能本文档来自技高网...

【技术保护点】
1.一种异构数据源间的数据同步方法，用于将数据从源数据库同步到目标数据库，其特征在于，包括：从源数据库中拉取待同步数据；通过预设软件机器人程序对所述待同步数据进行处理，得到处理数据；将所述处理数据写入目标数据库。

【技术特征摘要】
1.一种异构数据源间的数据同步方法，用于将数据从源数据库同步到目标数据库，其特征在于，包括：从源数据库中拉取待同步数据；通过预设软件机器人程序对所述待同步数据进行处理，得到处理数据；将所述处理数据写入目标数据库。2.根据权利要求1所述的异构数据源间的数据同步方法，其特征在于，在所述从源数据库中拉取待同步数据之后，且，在所述通过预设软件机器人程序对所述待同步数据进行处理之前，还包括：将所述待同步数据写入消息队列中；通过预设软件机器人程序拉取所述消息队列中的带同步数据。3.根据权利要求2所述的异构数据源间的数据同步方法，其特征在于，所述从源数据库中拉取待同步数据，包括：接收同步启动指令；所述同步启动指令包括拉取所述待同步数据的源数据库地址信息和所述目标数据库地址信息；通过DataX从所述源数据库中拉取所述待同步数据。4.根据权利要求3所述的异构数据源间的数据同步方法，其特征在于，所述通过DataX从所述源数据库中拉取所述待同步数据，包括：通过DataX的读取插件从所述源数据库中拉取所述待同步数据。5.根据权利要求1～4任一项所述的异构数据源间的数据同步方法，其特征在于，所述源数据库为oracle、mysql、sqlserver、mongodb或db2；所述目标数据库为oracle、mysql、sqlserver、mongodb或db2。6.一种异构数据...

【专利技术属性】
技术研发人员：丁允胜，
申请(专利权)人：上海中通吉网络技术有限公司，
类型：发明
国别省市：上海,31