数据库同步数据的处理方法、存储介质与设备技术

本发明专利技术提供了一种数据库同步数据的处理方法、存储介质与设备。其中上述方法包括：数据库对事务数据进行解析，并将断点信息保存至每条解析后的事务数据中；在事务数据中获取断点信息，并根据断点信息与LSN段找到待同步数据表集合；通过断点信息与待同步数据表集合在CD表中查找已变更目标数据行的更改操作信息，并进行同步。通过这种方法，避免了断点与数据分开存储会导致的不一致的问题，保证了多张CD表事件数据的有序性，并且断点信息中记录了处理时的唯一序列号，可以在处理任意行时提交断点。点。点。

【技术实现步骤摘要】
数据库同步数据的处理方法、存储介质与设备


[0001]本专利技术涉及数据库技术，特别是涉及一种数据库同步数据的处理方法、存储介质与设备。

技术介绍

[0002]当前数据库在利用数据同步工具进行数据实时同步时分为三个阶段，第一阶段进行存量数据的初始化装载，获得数据同步的基础点；第二阶段以初始化数据装载建立的同步基础点为基准进行增量数据同步；第三阶段定期对数据同步的源端数据和目标数据进行比对校验，以确认在数据同步过程中没有丢失数据。其中第二阶段和第三阶段会处于长时间并行状态。
[0003]在第二阶段增量数据同步时，通过分析数据库日志获取增量数据，从而实现数据实时同步是一种常用的实时复制技术。这种技术通过解析源数据库在线日志或者归档日志，获得数据的增删改变化，再将这些变化以事务为单位转换为同步软件内部特定的消息格式，通过数据同步软件的私有传输协议发送到目标端数据同步软件，最后目标端同步软件将获取到的事务日志恢复成目标数据库支持的SQL语句并在目标端数据库上执行，来实现数据的实时同步，保持源端和目标数据库的数据一致性。/>[0004]DB本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据库同步数据的处理方法，包括：所述数据库对事务数据进行解析，并将断点信息保存至每条解析后的事务数据中；在所述事务数据中获取所述断点信息，并根据所述断点信息与LSN段找到待同步数据表集合；通过所述断点信息与所述待同步数据表集合在CD表中查找已变更目标数据行的更改操作信息，并进行同步。2.根据权利要求1所述的数据库同步数据的处理方法，其中，所述断点信息包括：LSN段起始值、LSN段结束值以及已变更目标数据行序列号；所述根据所述断点信息与LSN段找到待同步数据表集合的步骤包括：获取所述LSN段中LSN最大值；判断所述LSN最大值是否为空；在所述LSN最大值不为空的情况下，判断所述断点信息中所述LSN段起始值是否为空；在所述LSN段起始值不为空的情况下，判断所述LSN段起始值是否小于所述LSN最大值；在所述LSN段起始值小于所述LSN最大值的情况下，判断所述断点信息中所述LSN段结束值是否为空；在所述LSN段结束值不为空的情况下，查询所述LSN段起始值至所述LSN段结束值中的日志信息，得到所述待同步数据表集合。3.根据权利要求1所述的数据库同步数据的处理方法，其中，所述通过所述断点信息与所述待同步数据表集合在CD表中查找已变更目标数据行的更改操作信息，并进行同步的步骤包括：遍历所述待同步数据表集合；逐一处理所述待同步数据表集合中变更数据。4.根据权利要求3所述的数据库同步数据的处理方法，其中，所述断点信息还包括：源表唯一标识；所述逐一处理所述待同步数据表集合中变更数据的步骤包括：判断所述待同步数据表集合中待同步数据表的源表唯一标识是否大于等于所述断点信息中的源表唯一标识；若所述待同步数据表的源表唯一标识大于等于所述断点信息中的源表唯一标识，则查询并处理所述待同步数据表中的变更数据；将所述断点信息中的已变更目标数据行序列号设置为空。5.根据权利要求4所述的数据库同步数据的处理方法，其中，所述断点信息包括：LSN段起始值、LSN段结束值以及已变更目标数据行序列号；所述查询并处理所述待同步数据表集合中的变更数据的步骤包括...

【专利技术属性】
技术研发人员：雷东，王凯龙，魏乾，
申请(专利权)人：北京人大金仓信息技术股份有限公司，
类型：发明
国别省市：