数据同步方法、存储介质及设备技术

本发明专利技术提供了一种数据同步方法、存储介质及设备，该数据同步方法包括：从多个影子表中查找起始日志序号，将所述起始日志序号对应数据所在的影子表记为第一影子表；从所述第一影子表中抽取全部的增量数据，确定全部的增量数据中最大的日志序号，并将所述最大的日志序号记为数据断点；从其余影子表中抽取日志序号小于等于所述数据断点的增量数据；将从所述多个影子表中抽取的增量数据封装为一个分片，并存入中间文件。本发明专利技术的优点是只需记录一个数据断点即可在抽取增量数据使数据不重复、不缺失，有效保证了生产环境中数据的可靠性。有效保证了生产环境中数据的可靠性。有效保证了生产环境中数据的可靠性。

【技术实现步骤摘要】
数据同步方法、存储介质及设备


[0001]本专利技术涉及数据库
，特别是涉及一种数据同步方法、存储介质及设备。

技术介绍

[0002]在利用数据同步工具进行数据实时同步时分为三个阶段，第一阶段进行存量数据的初始化装载，获得数据同步的基础点；第二阶段以初始化数据装载建立的同步基础点为基准进行增量数据同步；第三阶段定期对数据同步的源端数据和目标数据进行比对校验，以确认在数据同步过程中没有丢失数据。其中第二阶段和第三阶段会处于长时间并行状态。
[0003]在第二阶段增量数据同步时，通过分析数据库日志获取增量数据，从而实现数据实时同步是一种常用的实时复制技术。这种技术通过解析源数据库在线日志或者归档日志，获得数据的增删改变化，再将这些变化以事务为单位转换为同步软件内部特定的消息格式，通过数据同步软件的私有传输协议发送到目标端数据同步软件，最后目标端同步软件将获取到的事务日志恢复成目标数据库支持的SQL语句并在目标端数据库上执行，来实现数据的实时同步，保持源端和目标数据库的数据一致性。
[0004]在第二阶段的运行过程中，有些数据源本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法，包括：从多个影子表中查找起始日志序号，将所述起始日志序号对应数据所在的影子表记为第一影子表，其中，所述多个影子表与待同步的多个数据表一一对应，并用于记录待同步的多个数据表的增量数据；从所述第一影子表中抽取全部的增量数据，确定全部的增量数据中最大的日志序号，并将所述最大的日志序号记为数据断点；从其余影子表中抽取日志序号小于等于所述数据断点的增量数据；将从所述多个影子表中抽取的增量数据封装为一个分片，并存入中间文件。2.根据权利要求1所述的数据同步方法，还包括：启动线程；定时从所述中间文件的最后一个所述分片中获取数据断点；删除所述多个影子表中日志序号小于等于所述数据断点的增量数据。3.根据权利要求1所述的数据同步方法，其中，所述从多个影子表中查找起始日志序号的步骤包括：从多个所述影子表中查找各所述增量数据的日志序号；比较各所述增量数据的日志序号的大小；将各所述增量数据中最小的日志序号作为起始日志序号。4.根据权利要求3所述的数据同步方法，其中，所述日志序号被设置成二进制的值。5.根据权利要求4所述的数据同步方...

【专利技术属性】
技术研发人员：魏乾，王凯龙，
申请(专利权)人：北京人大金仓信息技术股份有限公司，
类型：发明
国别省市：