数据同步方法、装置、存储介质及电子设备制造方法及图纸

本公开涉及一种数据同步方法、装置、存储介质及电子设备，能够同时进行数据初始化及增量同步的步骤，简化了整个数据库同步的过程，避免了因事务日志被清理而导致的增量同步出错。所述方法包括在从源数据库导出待备份数据的同时，监听所述源数据库的事务日志，以获取备份过程中的增量数据；将所述增量数据存储在缓存队列中；将导出的待备份数据及所述缓存队列中的增量数据导入到目标数据库。

【技术实现步骤摘要】
数据同步方法、装置、存储介质及电子设备
本公开涉及计算机
，具体地，涉及一种数据同步方法、装置、存储介质及电子设备。
技术介绍
数据库实时同步方法可以应用在数据库双活备份、读写分离等场景中，数据库实时同步通常的操作步骤为首先进行数据初始化，然后再通过基于日志解析的实时数据同步工具，同步源端的增量数据。目前，数据库同步中的数据初始化工作需要人为手动执行，使用数据库的备份工具将数据从源数据库导出成备份文件，然后再到目标数据库手动导入，接着进行增量同步，同样需要人为手动开启增量同步工具。整个过程中，需要大量的人为工作量，不断监控备份文件的导出以及导入的过程，较为繁琐，同时，针对一些大型数据库，一次初始化过程通常要持续3-4天，更有甚者持续长达数周，然而这期间的数据库事务日志可能因时间过长而被清理，从而导致增量同步工具无法正常工作。
技术实现思路
本公开的目的是提供一种数据同步方法、装置、存储介质及电子设备，能够同时进行数据初始化及增量同步的步骤，简化了整个数据库同步的过程，避免了因事务日志被清理而导致的增量同步出错。根据本公开实施例的第一方面，提供一种数据同步方法，包括：在从源数据库导出本文档来自技高网...

【技术保护点】
1.一种数据同步方法，其特征在于，所述方法包括：在从源数据库导出待备份数据的同时，监听所述源数据库的事务日志，以获取备份过程中的增量数据；将所述增量数据存储在缓存队列中；将导出的待备份数据及所述缓存队列中的增量数据导入到目标数据库。

【技术特征摘要】
1.一种数据同步方法，其特征在于，所述方法包括：在从源数据库导出待备份数据的同时，监听所述源数据库的事务日志，以获取备份过程中的增量数据；将所述增量数据存储在缓存队列中；将导出的待备份数据及所述缓存队列中的增量数据导入到目标数据库。2.根据权利要求1所述的方法，其特征在于，在将导出的待备份数据及所述缓存队列中的增量数据导入到目标数据库之前，还包括：将所述待备份数据转换成标准数据对象，及，将所述增量数据转换成所述标准数据对象；其中，所述标准数据对象至少包括所有者信息、数据表信息、元数据信息、具体数据、变更类型、及时间戳；所述待备份数据的变更类型均为插入类型。3.根据权利要求2所述的方法，其特征在于，在将导出的待备份数据及所述缓存队列中的增量数据导入到目标数据库之前，还包括：确定所述目标数据库的数据库类型；将转换为所述标准数据对象后的所述待备份数据及所述增量数据，装载为符合所述数据库类型的结构化查询语言SQL语句。4.根据权利要求1所述的方法，其特征在于，监听所述源数据库的事务日志，以获取备份过程中的增量数据，包括：在监听到所述事务日志的每个变更数据时，根据该变更记录的事务信息，确定是否已分配对应事务的数据存储空间；若未分配对应事务的数据存储空间，则新分配一块数据存储空间，并存入该变更数据；若已分配对应事务的数据存储空间，则将该变更数据存入对应事务的数据存储空间；其中，同一数据存储空间中存储的变更数据属于同一事务，各数据存储空间中存储的变更数据即为所述增量数据。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：针对类型为事务回滚的变更数据，清空该变更数据的事务信息对应的数据存储空间；针对类型为事务提交的变更数据：确定该变更数据的事务信息对应的数据存储空间是否存储有类型为事务开始的变更数据；若...

【专利技术属性】
技术研发人员：井玉成，牟晓光，黄治纲，
申请(专利权)人：东软集团股份有限公司，
类型：发明
国别省市：辽宁,21