一种基于归档日志文件的数据同步方法及装置制造方法及图纸

本发明专利技术提供一种基于归档日志文件的数据同步方法及装置，可用于金融领域或其他技术领域，所述方法包括：监控源数据库的归档日志文件；根据目标数据表从所述归档日志文件中获取所述目标数据表对应的变化数据；其中，所述目标数据表是预先获得的；将所述目标数据表对应的变化数据发送到消息队列服务器，以使得所述消息队列服务器将所述目标数据表对应的变化数据发布到对应的消息队列中，以将所述目标数据表对应的变化数据同步到对应的目标数据库。所述装置用于执行上述方法。本发明专利技术实施例提供的基于归档日志文件的数据同步方法及装置，提高了数据的同步效率。高了数据的同步效率。高了数据的同步效率。

【技术实现步骤摘要】
一种基于归档日志文件的数据同步方法及装置


[0001]本专利技术涉及计算机
，具体涉及一种基于归档日志文件的数据同步方法及装置。

技术介绍

[0002]目前，在互联网金融、银行等大型金融企业中，研发过程中经常遇到的需要将上下游数据进行数据同步的情况。
[0003]现有技术中，进行上下游数据的同步，通常由下游的数据需求方定时获取上游数据，可以通过数据文件进行数据同步，如果数据需求方需要同步的数据依赖上游数据文件生成，而上游数据文件还没有生成，则需要等待上游数据文件生成之后进行数据同步，时效性较差。

技术实现思路

[0004]针对现有技术中的问题，本专利技术实施例提供一种基于归档日志文件的数据同步方法及装置，能够至少部分地解决现有技术中存在的问题。
[0005]第一方面，本专利技术提出一种基于归档日志文件的数据同步方法，包括：
[0006]监控源数据库的归档日志文件；
[0007]根据目标数据表从所述归档日志文件中获取所述目标数据表对应的变化数据；其中，所述目标数据表是预先获得的；
[0008]将所述目标数据表对应的变化数据发送到消息队列服务器，以使得所述消息队列服务器将所述目标数据表对应的变化数据发布到对应的消息队列中，以将所述目标数据表对应的变化数据同步到对应的目标数据库。
[0009]第二方面，本专利技术提供一种基于归档日志文件的数据同步装置，包括：
[0010]监控模块，用于监控源数据库的归档日志文件；
[0011]获取模块，用于根据目标数据表从所述归档日志文件中获取所述目标数据表对应的变化数据；其中，所述目标数据表是预先获得的；
[0012]发送模块，用于将所述目标数据表对应的变化数据发送到消息队列服务器，以使得所述消息队列服务器将所述目标数据表对应的变化数据发布到对应的消息队列中，以将所述目标数据表对应的变化数据同步到对应的目标数据库。
[0013]第三方面，本专利技术提供一种用于实现上述任一实施例所述的基于归档日志文件的数据同步方法的基于归档日志文件的数据同步系统，包括数据库服务器、控制台、消息队列服务器和消息队列管控平台，其中：
[0014]所述数据库服务器分别与所述控制台和所述消息队列服务器通信连接，所述控制台与所述消息队列管控平台通信连接，所述消息队列管控平台与所述消息队列服务器通信连接；
[0015]所述控制台用于配置目标数据表，并发送给所述数据库服务器；所述数据库服务
器用于源数据库的归档日志文件，以获取所述目标数据表对应的变化数据发送到所述消息队列服务器；所述消息队列服务器用于将所述目标数据表对应的变化数据发布到对应的消息队列中，以将所述目标数据表对应的变化数据同步到对应的目标数据库中；所述消息队列管控平台用于接收消息订阅请求，并基于消息订阅请求生成所述目标数据表发送给所述控制台。
[0016]第四方面，本专利技术提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例所述的基于归档日志文件的数据同步方法。
[0017]第五方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一实施例所述的基于归档日志文件的数据同步方法。
[0018]第六方面，本专利技术提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的基于归档日志文件的数据同步方法。
[0019]本专利技术实施例提供的基于归档日志文件的数据同步方法及装置，能够监控源数据库的归档日志文件，根据目标数据表从归档日志文件中获取目标数据表对应的变化数据，将目标数据表对应的变化数据发送到消息队列服务器，以使得消息队列服务器将目标数据表对应的变化数据发布到对应的消息队列中，以将目标数据表对应的变化数据同步到对应的目标数据库，能够及时将源数据库发生变化的数据同步到目标数据库，提高了数据的同步效率。
附图说明
[0020]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0021]图1是本专利技术第一实施例提供的基于归档日志文件的数据同步系统的结构示意图。
[0022]图2是本专利技术第二实施例提供的基于归档日志文件的数据同步方法的流程示意图。
[0023]图3是本专利技术第三实施例提供的基于归档日志文件的数据同步方法的流程示意图。
[0024]图4是本专利技术第四实施例提供的基于归档日志文件的数据同步方法的流程示意图。
[0025]图5是本专利技术第五实施例提供的基于归档日志文件的数据同步装置的结构示意图。
[0026]图6是本专利技术第六实施例提供的基于归档日志文件的数据同步装置的结构示意图。
[0027]图7是本专利技术第七实施例提供的基于归档日志文件的数据同步装置的结构示意图。
[0028]图8是本专利技术第八实施例提供的基于归档日志文件的数据同步装置的结构示意图。
[0029]图9是本专利技术第九实施例提供的基于归档日志文件的数据同步装置的结构示意图。
[0030]图10是本专利技术第十实施例提供的电子设备的实体结构示意图。
具体实施方式
[0031]为使本专利技术实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本专利技术实施例做进一步详细说明。在此，本专利技术的示意性实施例及其说明用于解释本专利技术，但并不作为对本专利技术的限定。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。本申请中技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
[0032]为了便于理解本申请提供的技术方案，下面先对本申请技术方案的相关内容进行说明。
[0033]归档日志文件，保留了所有的事务重做历史记录，意味着数据库进行的所有事务都留有一个备份，以便数据库出现异常时进行数据恢复。生产者，数据复制场景中的数据提供方，将数据上送至指定主题。
[0034]消费者，数据复制场景中的下游，数据需求方，从指定主题消费数据。
[0035]银行等大型金融企业存量传统项目在研发过程中经常遇到的上下游数据依赖引出的数据同步的问题，因数据间的依赖常成树形或网状依赖，易出现数据同步时效性差、耗时长、同步成本高等无法快速响应数据需求的问题。为解决金融、通信、银行等大型金融企业在数据依赖、数据同步中遇到的上述问题，为了快速、高质量、高效率的完成数据同步，提高数据同步效率，降低数据同步成本，本专利技术实施例提供的基于归档日志文件的数据同步方法，通过解析归档日志文件中的变化数据，准实时地进行数据同步，减少了数据同步的耗时，提高了数据同步的效率。
[0036]图1是本专利技术第一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于归档日志文件的数据同步方法，其特征在于，包括：监控源数据库的归档日志文件；根据目标数据表从所述归档日志文件中获取所述目标数据表对应的变化数据；其中，所述目标数据表是预先获得的；将所述目标数据表对应的变化数据发送到消息队列服务器，以使得所述消息队列服务器将所述目标数据表对应的变化数据发布到对应的消息队列中，以将所述目标数据表对应的变化数据同步到对应的目标数据库。2.根据权利要求1所述的方法，其特征在于，所述将所述目标数据表对应的变化数据发送到消息队列服务器包括：将所述目标数据表对应的变化数据以行为单位转换为JSON字符串，获得所述目标数据表中每个数据表的发布数据；基于所述目标数据表中每个数据表的数据表名称和数据表名称对应的应用集群名称，获得每个数据表的发布数据对应的主题名称；将每个数据表的发布数据以及对应主题名称发送到所述消息队列服务器。3.根据权利要求1所述的方法，其特征在于，所述根据目标数据表从所述归档日志文件中获取所述目标数据表对应的变化数据包括：根据所述目标数据表中每个数据表的数据表名称从所述归档日志文件中查询获得每个数据表名称对应的变化数据。4.根据权利要求1所述的方法，其特征在于，还包括：接收控制台发送的源头表配置信息，所述源头表配置信息包括各个源头表；将各个源头表作为所述目标数据表。5.根据权利要求1所述的方法，其特征在于，在将所述目标数据表对应的变化数据发送到消息队列服务器之前，还包括：对所述目标数据表对应的变化数据进行脱敏处理和/或对所述目标数据表对应的变化数据进行加密处理。6.根据权利要求1至5任一项所述的方法，其特征在于，所述消息队列以应用集群名称和数据表名称命名。7.一种用于实现权利要求1...

【专利技术属性】
技术研发人员：梁世雄，吴宏招，陈譞，王博，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：