一种数据同步日志优化方法技术

本发明专利技术公开了一种数据同步日志优化方法，利用数据库日志中存储的数据库操作的可恢复性，持续对日志文件进行优化压缩，将日志文件传到目的端数据库完成数据库之间的异地同步。该方案使用极小的系统资源与带宽，兼顾多种异常网络场景处理，并且规避了重复冗余数据提交带来的恢复数据过大的问题。该发明专利技术具有可实用性，同时提升了数据同步的可用性，数据库的防灾以及可维护性。灾以及可维护性。灾以及可维护性。

【技术实现步骤摘要】
一种数据同步日志优化方法


[0001]本专利技术属于数据通信系统尤其是数据库领域，具体涉及一种数据同步日志优化方法。

技术介绍

[0002]数据库异地同步在分布式系统框架中有着巨大的应用价值。在分布式系统中，每个分布式服务节点都需要根据中央调度来独立处理业务逻辑，因此作为数据存储功能的数据库，需要能适应数据异地多活，数据灾备等多种业务场景，这使得数据库的数据异地同步功能的重要性显得尤为重要。其次，由于无法预测业务时机以及日益增长的数据规模，又对数据同步的实时性与轻量性提出了更高的要求。
[0003]现有的数据库同步技术可分为两类，一种是采用数据库内部机制来实现，一种是采用第三方软件实现，比较成熟的数据库同步技术包含以下几种。
[0004]1)数据库快照加定时任务的方式，快照从根本上是一张数据库表，这张表将数据库中需要同步的数据的查询结果存在一张快照表中，然后根据数据库创建的定时任务定时地从源端数据库将数据“复制”到目的端数据库，但是这种是非实时的数据同步。
[0005]2)数据库内置日志备库方式，其基本原理是将日志文件从本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步日志优化方法，其特征在于，包括如下步骤：步骤一：源端数据库监听数据库中的所有DDL和DML操作，并将监听到的DDL和DML操作写入到日志文件并存储到硬盘空间；步骤二：启动源端服务器管理进程，包括日志优化进程和日志传输进程；日志优化进程不定时对日志文件进行优化重构或删除；同时日志传输进程将生成的日志文件传输到目的端服务器；步骤三：启动目的端服务器管理进程，包括日志接收进程、日志优化进程和日志解析进程；目的端服务器的日志接收进程接收到日志文件后将日志文件交付给日志解析进程，同时日志优化进程不定时对日志文件进行优化重构或删除；步骤四：目的端服务器日志解析进程解析日志文件并将记录到的DDL和DML操作写入到目的端数据库中。2.如权利要求1所述的数据同步日志优化方法，其特征在于：所述源端数据库与目的端数据库为同一型数据库或不同型数据库，但都支持SQL，以便进行数据的更新。3.如权利要求1所述的数据同步日志优化方法，其特征在于：所述源端数据库与目的端数据库的数量应满足实现一对一或一对多或多对一或多对多，以及实现双向复制。4.如权利要求1所述的数据同步日志优化方法，其特征在于：在步骤一里的源端数据库支持归档模式，在该模式下可将用户的DDL与DML操作写入到归档日志文件中。5.如权利要求1所述的数据同步日志优化方法，其特征在于：在步骤一里的源端服务器管理进程负责日志传输进程和日志优化进程的启动与系统资源调度，同时负责所有定时以及监控日志文件的任务。6.如权利要求1所述的数据同步日志优化方法，其特征在于：步骤二中的一个源端日志传输进程只对应着一个目的端，即开启多少日志传输进程根据要同步的目的端数据库数量而定。7.如权利要求1所述的数据同步日志优化方法，其特征在于：步骤二中的目的端服务器不在线时，日志传输进程将日志文件暂时存储在源端服务器硬盘上，日志优化进程根据未传输的日志文件里的记录冗余改动来将日志文件重构为新的日志文件，源端服务器管理进程在满足以下任何条件的时机通知日志优化进程对硬盘上的未传输的日志文件进行优化重构：a)定时器到达一小时；b)未传输的日志文件占用空间达到阈值；c)未传输的...

【专利技术属性】
技术研发人员：邓晖，宁达，钟逸，李洋，王啸原，周建军，黄灿，徐鹏飞，曾文艺，吴阳，刘晓俐，江雪，陈涛，杨婧，吴江楠，
申请(专利权)人：武汉船舶通信研究所中国船舶重工集团公司第七二二研究所，
类型：发明
国别省市：