系统间数据同步方法、装置、计算机系统、存储介质制造方法及图纸

本公开提供了一种系统间数据同步方法，包括：获取第一数据库系统的第一数据日志与第二数据库系统的第二数据日志，读取第一数据日志和第二数据日志，将其中的数据操作语句按照时间顺序重新排列，生成融合数据日志，将融合数据日志中的数据操作语句转换为第一数据库系统和第二数据库系统中的待同步数据库可识别的数据操作语句，将转换后的融合数据日志发送给待同步数据库，使待同步数据库执行数据操作语句，实现数据同步。该方法可以实现系统间的异构数据同步的问题。此外，本公开还提供了与该方法对应的装置、计算机系统和计算机可读存储介质。

【技术实现步骤摘要】
系统间数据同步方法、装置、计算机系统、存储介质
本公开涉及计算机

，更具体地，涉及一种系统间数据同步方法、装置、计算机系统、存储介质。
技术介绍
随着技术发展，新的数据系统会逐步替代旧的数据系统。在新系统上线使用、旧系统逐步退出的双系统并轨运行期间，新、旧两套系统均对用户提供服务，用户在新系统、旧系统中操作所产生的数据库数据均需要准实时同步到对应的旧系统、新系统的数据库中。目前没有合理的解决各类不同数据库间数据准实时同步的方案。
技术实现思路
有鉴于此，本公开提供了一种系统间数据同步方法、装置、计算机系统、存储介质。本公开的一个方面提供了一种系统间数据同步方法，包括：获取第一数据库系统的第一数据日志与第二数据库系统的第二数据日志；读取所述第一数据日志和所述第二数据日志，将其中的数据操作语句按照时间顺序重新排列，生成融合数据日志；将所述融合数据日志中的数据操作语句转换为所述第一数据库系统和所述第二数据库系统中的待同步数据库可识别的数据操作语句；将转换后的所述融合数据日志发送给所述待同步数据库，使所述待同步数据库执行所述数据操作语句，实现数据同步。根据本公开的实施例，所述将所述融合数据日志中的数据操作语句转换为所述第一数据库系统和所述第二数据库系统中的待同步数据库可识别的数据操作语句包括：解析所述融合数据日志中的数据操作语句，获取所述数据操作语句包括的表、操作函数及字段名称；根据待同步数据库的类型，将所述操作函数转换为所述待同步数据库可识别的操作函数；基于所述表、所述待同步数据库可识别的操作函数及所述字段名称，重构所述数据操作语句，得到所述待同步数据库可操作的数据操作语句。根据本公开的实施例，还包括：预设包括各类数据库的函数转换关系的函数转换库，基于所述函数转换库进行所述操作函数的转换。根据本公开的实施例，还包括：在重构所述数据操作语句的过程中，忽略所述待同步数据库自身的所述第一数据日志或所述第二数据日志中在预设时间段内已执行的所述数据操作语句。根据本公开的实施例，在所述待同步数据库执行所述数据操作语句，实现数据同步的过程中，包括：记录各所述数据操作语句、各所述数据操作语句的执行时间、执行结果。根据本公开的实施例，所述第一数据库系统包括至少一个第一数据库，所述第二数据库系统包括至少一个第二数据库，所述获取第一数据库系统的第一数据日志与第二数据库系统的第二数据日志包括：定期获取各所述第一数据库的第一数据日志和各所述第二数据库的第二数据日志；将所有所述第一数据日志均存储于所述第一数据库系统中，将所有所述第二数据日志均存储于第二数据库系统中。根据本公开的实施例，所述读取所述第一数据日志和所述第二数据日志，将其中的数据操作语句按照时间顺序重新排列，生成融合数据日志包括：读取所述第一数据库系统中全部的所述第一数据日志和所述第二数据库系统中全部的所述第二数据日志，将其中所包括的数据操作语句按照时间顺序排列，生成所述融合数据日志。根据本公开的实施例，还包括：定时打包备份所述第一数据日志、所述第二数据日志和所述融合数据日志。本公开另一方面提供了一种系统间数据同步装置，包括：日志获取模块，用于获取第一数据库系统的第一数据日志与第二数据库系统的第二数据日志；日志融合模块，用于读取所述第一数据日志和所述第二数据日志，将其中的数据操作语句按照时间顺序重新排列，生成融合数据日志；语句转换模块，用于将所述融合数据日志中的数据操作语句转换为所述第一数据库系统和所述第二数据库系统中的待同步数据库可识别的数据操作语句；数据同步模块，用于将转换后的所述融合数据日志发送给所述待同步数据库，使所述待同步数据库执行所述数据操作语句，实现数据同步。根据本公开的实施例，所述语句转换模块包括：语句解析单元，用于解析所述融合数据日志中的数据操作语句，获取所述数据操作语句包括的表、操作函数及字段名称；函数转换单元，用于根据待同步数据库的类型，将所述操作函数转换为所述待同步数据库可识别的操作函数；语句重构单元，用于基于所述表、所述待同步数据库可识别的操作函数及所述字段名称，重构所述数据操作语句，得到所述待同步数据库可操作的数据操作语句。根据本公开的实施例，所述数据同步模块包括：同步记录单元，用于记录各所述数据操作语句、各所述数据操作语句的执行时间、执行结果。根据本公开的实施例，还包括：日志备份模块，用于定时打包备份所述第一数据日志、所述第二数据日志和所述融合数据日志。本公开另一方面提供了一种计算机系统，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现第一方面中任一项所述的方法。本公开另一方面提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现第一方面中任一项所述的方法。根据本公开的实施例，通过将新、旧系统间的数据日志融合，可以实现新、旧系统间的数据同步，避免新、旧系统间存在数据差异，进一步的，在数据同步的过程中，通过转换数据操作语句，可实现新、旧系统间结构不同数据库的数据同步。附图说明通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：图1示意性示出了可以应用本公开的用于系统间数据同步方法和装置的示例性系统架构；图2示意性示出了可以应用本公开的用于系统间数据同步方法应用场景的示意图；图3示意性示出了根据本公开实施例的系统间数据同步方法的流程图；图4示意性示出了根据本公开实施例的系统间数据同步方法的操作S330的流程图；图5示意性示出了根据本公开实施例的另一种系统间数据同步方法的流程图；图6示意性示出了根据本公开实施例的系统间数据同步的框图；以及图7示意性示出了根据本公开实施例的适于实现系统间数据同步方法的计算机系统700的框图。具体实施方式以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来本文档来自技高网...

【技术保护点】
1.一种系统间数据同步方法，包括：/n获取第一数据库系统的第一数据日志与第二数据库系统的第二数据日志；/n读取所述第一数据日志和所述第二数据日志，将其中的数据操作语句按照时间顺序重新排列，生成融合数据日志；/n将所述融合数据日志中的数据操作语句转换为所述第一数据库系统和所述第二数据库系统中的待同步数据库可识别的数据操作语句；/n将转换后的所述融合数据日志发送给所述待同步数据库，使所述待同步数据库执行所述数据操作语句，实现数据同步。/n

【技术特征摘要】
1.一种系统间数据同步方法，包括：
获取第一数据库系统的第一数据日志与第二数据库系统的第二数据日志；
读取所述第一数据日志和所述第二数据日志，将其中的数据操作语句按照时间顺序重新排列，生成融合数据日志；
将所述融合数据日志中的数据操作语句转换为所述第一数据库系统和所述第二数据库系统中的待同步数据库可识别的数据操作语句；
将转换后的所述融合数据日志发送给所述待同步数据库，使所述待同步数据库执行所述数据操作语句，实现数据同步。


2.根据权利要求1所述的方法，所述将所述融合数据日志中的数据操作语句转换为所述第一数据库系统和所述第二数据库系统中的待同步数据库可识别的数据操作语句包括：
解析所述融合数据日志中的数据操作语句，获取所述数据操作语句包括的表、操作函数及字段名称；
根据待同步数据库的类型，将所述操作函数转换为所述待同步数据库可识别的操作函数；
基于所述表、所述待同步数据库可识别的操作函数及所述字段名称，重构所述数据操作语句，得到所述待同步数据库可操作的数据操作语句。


3.根据权利要求2所述的方法，还包括：
预设包括各类数据库的函数转换关系的函数转换库，基于所述函数转换库进行所述操作函数的转换。


4.根据权利要求2所述的方法，还包括：
在重构所述数据操作语句的过程中，忽略所述待同步数据库自身的所述第一数据日志或所述第二数据日志中在预设时间段内已执行的所述数据操作语句。


5.根据权利要求1所述的方法，在所述待同步数据库执行所述数据操作语句，实现数据同步的过程中，包括：
记录各所述数据操作语句、各所述数据操作语句的执行时间、执行结果。


6.根据权利要求1所述的方法，所述第一数据库系统包括至少一个第一数据库，所述第二数据库系统包括至少一个第二数据库，所述获取第一数据库系统的第一数据日志与第二数据库系统的第二数据日志包括：
定期获取各所述第一数据库的第一数据日志和各所述第二数据库的第二数据日志；
将所有所述第一数据日志均存储于所述第一数据库系统中，将所有所述第二数据日志均存储于第二数据库系统中。


7.根据权利要求6所述的方法，所述读取所述第一数据日志和所述第二数据日志，将其中的数据操作语句按照时间顺序重...

【专利技术属性】
技术研发人员：王明飞，张曙晟，刘玉红，
申请(专利权)人：工银科技有限公司，中国工商银行股份有限公司，
类型：发明
国别省市：河北;13