数据同步的方法、装置、电子设备及存储介质制造方法及图纸

本申请提供了一种数据同步的方法、装置、电子设备及存储介质。其中，在数据同步的方法中，管理后台首先获取待同步的数据，然后基于待同步的数据，创建待同步的数据的数据同步任务，并将创建的数据同步任务写入消息队列。调用同步服务器读取消息队列中的数据同步任务，并按照数据同步任务进行数据同步。数据同步过程中，接收同步服务器发送的数据同步任务执行状态信息和数据同步任务执行日志，并保存到数据库。利用本申请的方法，可以通过管理后台统一创建数据同步任务，调用各个同步服务器来执行数据同步任务，提升了数据同步的效率，并通过同步服务器返回的数据，对数据同步的状态进行监控。行监控。行监控。

【技术实现步骤摘要】
数据同步的方法、装置、电子设备及存储介质


[0001]本申请涉及数据处理
，尤其涉及一种数据同步的方法、装置、电子设备及存储介质。

技术介绍

[0002]在当前互联网时代，许多企业的数据访问需求量增长迅速，使用到的数据越来越多，离线数据同步的需求越来越大。单一的核心数据库往往无法支撑越来越大的并发操作，为此许多企业建立多个跨区域的目标数据库，将大量业务数据从核心数据库转移到相应的目标数据库中。为确保企业业务的正常运转，核心数据库与各区域的目标数据库之间需要实现数据同步，保证数据的完整性和一致性。
[0003]在现有技术中，在进行数据同步时，通常都是使用单机同步服务器进行数据同步，当业务量增大，单机同步服务器不能支撑时，则需要分配数据同步任务到多台同步服务器进行处理，这时就需要人工制定数据同步任务并分配数据同步任务到各台同步服务器。并且，数据同步任务分配到多台服务器后，对于各个数据同步任务的执行状态的信息只有对应的同步服务器知道。这就导致现有技术中数据同步的效率比较低，数据同步的信息比较分散，无法统一管理和监控的问题。

技术实现思路

[0004]有鉴于此，本申请提供一种数据同步的方法、装置、电子设备及存储介质，以解决现有技术中数据同步的效率比较低，数据同步的信息比较分散，无法统一管理和监控的问题。
[0005]为实现上述目的，本申请提供如下技术方案：
[0006]本申请第一方面公开了一种数据同步的方法，包括：
[0007]获取待同步的数据；
[0008]基于所述待同步的数据，创建所述待同步的数据的数据同步任务；
[0009]将创建的所述数据同步任务写入消息队列；
[0010]调用同步服务器读取所述消息队列中的所述数据同步任务，并按照所述数据同步任务进行数据同步；
[0011]接收所述同步服务发送的数据同步任务执行状态信息和数据同步任务执行日志，并保存到数据库。
[0012]可选的，上述的方法，所述基于所述待同步的数据，创建所述待同步的数据的数据同步任务，包括：
[0013]基于所述待同步的数据，确定所述待同步的数据的数据同步方式和数据同步周期；
[0014]按照所述待同步的数据的同步方式和同步周期，创建所述待同步的数据的数据同步任务。
[0015]可选的，上述的方法，所述将创建的所述数据同步任务写入消息队列之前，还包括：
[0016]将创建的所述数据同步任务进行数据封装。
[0017]可选的，上述的方法，所述调用同步服务器读取所述消息队列中的所述数据同步任务，并按照所述数据同步任务进行数据同步，包括：
[0018]调用所述同步服务器解析所述消息队列中的所述数据同步任务，得到所述数据同步任务对应的数据同步方式和数据同步周期；
[0019]调用所述同步服务器根据所述数据同步任务对应的数据同步方式，查找出所述数据同步任务对应的同步插件；
[0020]调用所述同步服务器利用查找到的同步插件，按照所述数据同步任务的数据同步周期执行数据同步操作。
[0021]可选的，上述的方法，所述接收所述同步服务发送的数据同步任务执行状态信息和数据同步任务执行日志之后，还包括：
[0022]读取所述同步服务发送的数据同步任务执行状态信息和数据同步任务执行日志，判段所述数据同步任务是否正常执行；
[0023]若判段出所述数据同步任务没有正常执行，则生成报警信息，并将所述报警信息发送到客户端。
[0024]本申请第二方面公开了一种数据同步的装置，包括：
[0025]获取单元，用于获取待同步的数据；
[0026]创建单元，用于基于所述待同步的数据，创建所述待同步的数据的数据同步任务；
[0027]数据写入单元，用于将创建的所述数据同步任务写入消息队列；
[0028]调用单元，用于调用同步服务器读取所述消息队列中的所述数据同步任务，并按照所述数据同步任务进行数据同步；
[0029]接收单元，用于接收所述同步服务发送的数据同步任务执行状态信息和数据同步任务执行日志，并保存到数据库。
[0030]可选的，上述的装置，所述创建单元，包括：
[0031]确定子单元，用于基于所述待同步的数据，确定所述待同步的数据的数据同步方式和数据同步周期；
[0032]创建子单元，用于按照所述待同步的数据的同步方式和同步周期，创建所述待同步的数据的数据同步任务。
[0033]可选的，上述的装置，还包括：
[0034]封装单元，用于将创建的所述数据同步任务进行数据封装。
[0035]可选的，上述的装置，所述调用单元，包括：
[0036]解析子单元，用于调用所述同步服务器解析所述消息队列中的所述数据同步任务，得到所述数据同步任务对应的数据同步方式和数据同步周期；
[0037]查找子单元，用于调用所述同步服务器根据所述数据同步任务对应的数据同步方式，查找出所述数据同步任务对应的同步插件；
[0038]执行子单元，用于调用所述同步服务器利用查找到的同步插件，按照所述数据同步任务的数据同步周期执行数据同步操作。
[0039]可选的，上述的装置，还包括：
[0040]判断单元，用于读取所述同步服务发送的数据同步任务执行状态信息和数据同步任务执行日志，判段所述数据同步任务是否正常执行；
[0041]发送单元，用于若判段出所述数据同步任务没有正常执行，则生成报警信息，并将所述报警信息发送到客户端。
[0042]本申请第三方面公开了一种电子设备，包括：
[0043]一个或多个处理器；
[0044]存储装置，其上存储有一个或多个程序；
[0045]当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如本申请第一方面中任意一项所述的方法。
[0046]本申请第四方面公开了一种计算机存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如本申请第一方面中任意一项所述的方法。
[0047]从上述技术方案可以看出，本申请提供的一种数据同步的方法，管理后台首先获取待同步的数据，然后基于待同步的数据，创建待同步的数据的数据同步任务，并将创建的数据同步任务写入消息队列。调用同步服务器读取消息队列中的数据同步任务，并按照数据同步任务进行数据同步。数据同步过程中，接收同步服务器发送的数据同步任务执行状态信息和数据同步任务执行日志，并保存到数据库。由此可知，利用本申请的方法，可以通过管理后台统一创建数据同步任务，调用各个同步服务器来执行数据同步任务，提升了数据同步的效率，并通过同步服务器返回的数据，对数据同步的状态进行监控。解决了现有技术中数据同步的效率比较低，数据同步的信息比较分散，无法统一管理和监控的问题。
附图说明
[0048]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步的方法，其特征在于，包括：获取待同步的数据；基于所述待同步的数据，创建所述待同步的数据的数据同步任务；将创建的所述数据同步任务写入消息队列；调用同步服务器读取所述消息队列中的所述数据同步任务，并按照所述数据同步任务进行数据同步；接收所述同步服务发送的数据同步任务执行状态信息和数据同步任务执行日志，并保存到数据库。2.根据权利要求1所述的方法，其特征在于，所述基于所述待同步的数据，创建所述待同步的数据的数据同步任务，包括：基于所述待同步的数据，确定所述待同步的数据的数据同步方式和数据同步周期；按照所述待同步的数据的同步方式和同步周期，创建所述待同步的数据的数据同步任务。3.根据权利要求1所述的方法，其特征在于，所述将创建的所述数据同步任务写入消息队列之前，还包括：将创建的所述数据同步任务进行数据封装。4.根据权利要求1所述的方法，其特征在于，所述调用同步服务器读取所述消息队列中的所述数据同步任务，并按照所述数据同步任务进行数据同步，包括：调用所述同步服务器解析所述消息队列中的所述数据同步任务，得到所述数据同步任务对应的数据同步方式和数据同步周期；调用所述同步服务器根据所述数据同步任务对应的数据同步方式，查找出所述数据同步任务对应的同步插件；调用所述同步服务器利用查找到的同步插件，按照所述数据同步任务的数据同步周期执行数据同步操作。5.根据权利要求1所述的方法，其特征在于，所述接收所述同步服务发送的数据同步任务执行状态信息和数据同步任务执行日志之后，还包括：读取所述同步服务发送的数据同步任务执行状态信息和数据同步任务执行日志，判段所述数据同步任务是否正常执行；若判段出所述数据同步任务没有正常执行，则生成报警信息，并将...

【专利技术属性】
技术研发人员：黄立超，吴红，张亦弛，
申请(专利权)人：湖南快乐阳光互动娱乐传媒有限公司，
类型：发明
国别省市：