一种数据写入方法、系统、电子设备及可存储介质技术方案

本发明专利技术涉及数据处理技术领域，公开了一种数据写入方法、系统、电子设备及可存储介质，包括：读取源数据库的redo日志并进行解析，对解析出来的日志文件进行处理得到带有唯一时间编码的json文件，将所述json文件存储到硬盘中，其中，每存入一个json文件都自动匹配一个唯一时间编码存储到所述硬盘中，记录排列顺序；根据唯一时间编码的时间顺序依次获取所述硬盘中的json文件，对所述json文件进行解析，得到对应不同表名的SQL语句，写入到目标数据库中。本发明专利技术解决了现有技术中当写入器发生异常需要再重新从头开始同步的问题，而是使得能够从中断的地方开始写入，提高同步效率。提高同步效率。提高同步效率。

【技术实现步骤摘要】
一种数据写入方法、系统、电子设备及可存储介质


[0001]本专利技术涉及数据处理
，具体为一种数据写入方法、系统、电子设备及可存储介质。

技术介绍

[0002]在当前的信息化时代，数据库是储存资讯时必不可少的系统，并且，在很多业务场景下，都涉及到数据库之间的数据同步，但是随着业务量的增多，数据库服务器也会越来越多，这样各个数据库服务器之间的数据同步就变得很麻烦而且容易出错，而现有的数据库同步方法都是基于日志分析器和写入器都不会出现问题的场景之上进行的，但是，如当电脑突然断电等外部因素，会导致写入器发生异常退出，而当把写入器重新启动后是无法判断上次读取的位置的，如果要重新写入还需实时记录文件读取的位置，但是这样的方式始终会出现一些问题。为此需要有一种当日志分析器和写入器发生异常也会从中断的位置开始读取的数据库同步方法。

技术实现思路

[0003]本专利技术的目的在于克服现有数据库同步方式不能解决写入器发生异常的问题，提供了一种数据写入方法、系统、电子设备及可存储介质。
[0004]为了实现上述目的，本专利技术提供一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据写入方法，其特征在于，包括以下步骤：读取源数据库的redo日志并进行解析，对解析出来的日志文件进行处理得到带有唯一时间编码的json文件，将所述json文件存储到硬盘中，其中，每存入一个json文件都自动匹配一个唯一时间编码存储到所述硬盘中，记录排列顺序；根据唯一时间编码的编码时间顺序依次获取所述硬盘中的json文件，对所述json文件进行解析，得到对应不同表名的SQL语句，写入到目标数据库中。2.根据权利要求1所述的数据写入方法，其特征在于，在根据唯一时间编码的时间顺序依次获取所述硬盘中的json文件的过程中还包括：当发生异常导致中断获取，接收到重新获取指令后根据json文件的唯一时间编码的时间顺序从中断的地方开始依次获取所述硬盘中的json文件。3.根据权利要求1所述的数据写入方法，其特征在于，在得到对应不同表名的SQL语句后写入到目标数据库中的步骤具体包括，根据表名将SQL语句推送到不同消息队列当中，不同消息队列将接收到的对应不同表名的SQL语句写入到目标数据库中。4.根据权利要求1所述的数据写入方法，其特征在于，获取所述硬盘中的json文件的方式包括通过pushconsumer方式获取所述硬盘中的json文件。5.一种数据写入系统，其特征在于，包括：日志分析器，用于读取源数据库的redo日志并进行解析，对解析出来的日志文件进行处理得到带有唯一时间编码的json文件，将所述json文件存储到硬盘中，其中，每存入一...

【专利技术属性】
技术研发人员：邵震洲，姚迪，邓林，黄益民，杨国蓉，朱国耀，
申请(专利权)人：浙江省人力资源和社会保障信息中心，
类型：发明
国别省市：