数据库增量数据同步备份方法及系统技术方案

本发明专利技术涉及一种数据库增量数据同步备份方法，包括：步骤1)将关系型数据库保存的数据按照时间顺序分各个时间段分别导出对应的各个数据文件；步骤2)确定各个时间段中出现数据内容增量的时间段以作为目标时间段，将所述目标时间段对应的数据文件上传到同步系统中；步骤3)使用同步系统读取所述上传的数据文件的数据，对数据文件执行数据重复性校验和数据规范性校验，将通过校验的数据作为增量数据导入到目标数据库中，完成所述关系型数据库的增量数据到所述目标数据库的同步备份。本发明专利技术还涉及一种数据库增量数据同步备份系统。通过本发明专利技术，能够通过按日期导出增量数据文件方式实现第一数据库到第二数据库的数据同步备份。

Method and system of database incremental data synchronous backup

【技术实现步骤摘要】
数据库增量数据同步备份方法及系统
本专利技术涉及数据同步备份领域，尤其涉及一种数据库增量数据同步备份方法及系统。
技术介绍
随着数据库技术的发展，越来越多的业务系统采用数据库对数据进行存储和管理。在业务系统运行的过程中，所产生的数据被记录在业务系统的数据库中。而为了便于业务方对数据进行分析和处理，业务系统数据库的数据需要同步到业务方的其他数据库，以形成业务系统中的数据的备份。在现有技术中，每一次需要从业务系统的数据库同步数据到另一数据库时，业务系统的数据库都需要对所要同步的数据进行查找。但是，对于一些要求数据同步频繁的场景，尤其是要求数据同步的场景，过于频繁的数据同步会导致业务系统的数据库面对大量的数据查找任务，从而影响到业务系统的数据库对业务系统运行过程所产生的数据处理任务的处理能力，使得业务系统的正常运行受到影响。现有技术中，国外大多数数据库厂商提供了数据复制的功能，而且一般都支持异构数据库间的复制，如MSSQLServer、Oracle、Sybase等，也开发了能作为数据导入导出工具的产品，如SQLServer2000的DTS。有一些软件商开发的复制中间件应用于数据复制领域，如比较知名的有PeerDirect公司的PDRE、SynchroLogic公司的SyncKit、Syware公司的DataSync等。这些方法的优点在于它们独立于数据库系统本身，能够解决各种异构问题；能够适应主从复制和同步复制；能够提供丰富的API，可扩展性好。增量同步系统基于成熟的关系数据模型和标准接口，能以极少的系统开支实现秒级数据同步，可广泛应用于应急系统、容灾备份、负载均衡、数据移植、联机维护、多业务中心等业务领域。以金融系统而言，现如今每目交易量普遍达到百万级，数据增量可以达到百万字节甚S是数十亿字节，传统的单一数据可难以满足这类系统的实际需要。现有技术中，在原数据库进行数据同步时，采用数据分片技术通过分区键进行区分，将不同分为的数据存储S不同的实体数据库中，多个实体数据库作为一个整体再向外提供数据访问服务。但是上述现有技术在实现过程中需要停止联机服务，这会严重影响正常业务的进行，带来巨大的损失。因此，如何不停止联机服务进行数据同步，是本领域技术人员目前需要解决的技术问题。公开号“CN103927313A”、名称为“企业信息系统数据同步核查机制”的专利文献公开了一种自动核查系统，通过对原始记录进行标记来实施数据同步以及比对核定数据同步的信息一致性。该方法破坏了原始数据的固有结构，对应用系统的插入、更新操作提出了额外的工作要求。为解决上述问题，本专利技术提供了一种实现增量同步数据的方法及装置，能够实现数据由关系型数据库按时间筛选增量同步，同时有效减平台的负担，增强用户体验。
技术实现思路
针对现有技术上存在的不足，本专利技术提供了一种数据库增量数据同步备份方法及系统，能够避免业务系统的数据库面对数据同步时产生的大量数据查找任务，使得同步任务不会影响到业务系统的数据，从而在业务系统的正常运行不受影响的情况下实现数据库的实时数据同步。根据本专利技术的一方面，提供了一种数据库增量数据同步备份方法，所述方法包括：步骤1)将关系型数据库保存的数据按照时间顺序分各个时间段分别导出对应的各个数据文件；步骤2)确定各个时间段中出现数据内容增量的时间段以作为目标时间段，将所述目标时间段对应的数据文件上传到同步系统中；步骤3)使用同步系统读取所述上传的数据文件的数据，对数据文件执行数据重复性校验和数据规范性校验，将通过校验的数据作为增量数据导入到目标数据库中，完成所述关系型数据库的增量数据到所述目标数据库的同步备份；其中，导出的数据文件为JSON结构的文件，导出的数据文件中的数据被封装成key-value结构的形式储存在JSON结构的文件中，在key-value结构中，key是对应目标数据库中的字段，而value则对应目标数据库中字段的值。更具体地，在所述数据库增量数据同步备份方法中：步骤2)还包括，在同步系统接收到上传的数据文件后，检测上传的数据文件的命名格式是否符合同步系统上传文件的格式要求，符合，则执行步骤3)，不符合，，则同步备份结束。更具体地，在所述数据库增量数据同步备份方法中：在步骤3)中，对数据文件执行数据重复性校验包括：根据数据文件的ID查询云代码知识库中是否已经包含所述ID的数据记录，如果包含，则不对数据文件进行基于云代码知识库的数据读取，并记录所述ID作为忽略跳过数据的唯一标识以便于后续需要再次同步备份数据时基于所述ID再次执行增量数据同步备份操作，如果不包含，则重复性校验通过。更具体地，在所述数据库增量数据同步备份方法中：在步骤3)中，对数据文件执行数据规范性校验包括：将云代码知识库的字段与JSON结构的文件的key一一对应校验，如果在云代码知识库中与key对应的字段的value缺失，则认为校验失败，排除云代码知识库中与key对应的字段，否则，认为数据规范性校验通过。更具体地，在所述数据库增量数据同步备份方法中：在步骤3)中，当出现value缺失或同步系统异常时，使用Spring企业级开源框架进行云代码知识库的控制以实现异常数据回滚和正常数据提交操作。根据本专利技术的另一方面，还提供了一种数据库增量数据同步备份装置，所述装置包括：文件导出模块，用于将关系型数据库保存的数据按照时间顺序分各个时间段分别导出对应的各个数据文件；文件上传模块，用于确定各个时间段中出现数据内容增量的时间段以作为目标时间段，将所述目标时间段对应的数据文件上传到同步系统中；同步备份模块，用于使用同步系统读取所述上传的数据文件的数据，对数据文件执行数据重复性校验和数据规范性校验，将通过校验的数据作为增量数据导入到目标数据库中，完成所述关系型数据库的增量数据到所述目标数据库的同步备份；其中，导出的数据文件为JSON结构的文件，导出的数据文件中的数据被封装成key-value结构的形式储存在JSON结构的文件中，在key-value结构中，key是对应目标数据库中的字段，而value则对应目标数据库中字段的值。更具体地，在所述数据库增量数据同步备份装置中：在所述文件上传模块中，在同步系统接收到上传的数据文件后，还用于检测上传的数据文件的命名格式是否符合同步系统上传文件的格式要求，符合，则启动所述同步备份模块的同步备份操作，不符合，则同步备份结束。更具体地，在所述数据库增量数据同步备份装置中：在所述同步备份模块中，对数据文件执行数据重复性校验包括：根据数据文件的ID查询云代码知识库中是否已经包含所述ID的数据记录，如果包含，则不对数据文件进行基于云代码知识库的数据读取，并记录所述ID作为忽略跳过数据的唯一标识以便于后续需要再次同步备份数据时基于所述ID再次执行增量数据同步备份操作，如果不包含，则重复性校验通过。更具体地，在所述数据库增量数据同步备份装置中：在所述同步备份模块中，对数据文件执行数据规范性校验包括：将云代码知识库的字段与JSON结构的文件的key一一对应校验，如果在云代码知识库本文档来自技高网...

【技术保护点】
1.一种数据库增量数据同步备份方法，其特征在于，所述方法包括：/n步骤1)将关系型数据库保存的数据按照时间顺序分各个时间段分别导出对应的各个数据文件；/n步骤2)确定各个时间段中出现数据内容增量的时间段以作为目标时间段，将所述目标时间段对应的数据文件上传到同步系统中；/n步骤3)使用同步系统读取所述上传的数据文件的数据，对数据文件执行数据重复性校验和数据规范性校验，将通过校验的数据作为增量数据导入到目标数据库中，完成所述关系型数据库的增量数据到所述目标数据库的同步备份；/n其中，导出的数据文件为JSON结构的文件，导出的数据文件中的数据被封装成key-value结构的形式储存在JSON结构的文件中，在key-value结构中，key是对应目标数据库中的字段，而value则对应目标数据库中字段的值。/n

【技术特征摘要】
1.一种数据库增量数据同步备份方法，其特征在于，所述方法包括：
步骤1)将关系型数据库保存的数据按照时间顺序分各个时间段分别导出对应的各个数据文件；
步骤2)确定各个时间段中出现数据内容增量的时间段以作为目标时间段，将所述目标时间段对应的数据文件上传到同步系统中；
步骤3)使用同步系统读取所述上传的数据文件的数据，对数据文件执行数据重复性校验和数据规范性校验，将通过校验的数据作为增量数据导入到目标数据库中，完成所述关系型数据库的增量数据到所述目标数据库的同步备份；
其中，导出的数据文件为JSON结构的文件，导出的数据文件中的数据被封装成key-value结构的形式储存在JSON结构的文件中，在key-value结构中，key是对应目标数据库中的字段，而value则对应目标数据库中字段的值。


2.如权利要求1所述的数据库增量数据同步备份方法，其特征在于：
步骤2)还包括，在同步系统接收到上传的数据文件后，检测上传的数据文件的命名格式是否符合同步系统上传文件的格式要求，符合，则执行步骤3)，不符合，则同步备份结束。


3.如权利要求2所述的数据库增量数据同步备份方法，其特征在于：
在步骤3)中，对数据文件执行数据重复性校验包括：根据数据文件的ID查询云代码知识库中是否已经包含所述ID的数据记录，如果包含，则不对数据文件进行基于云代码知识库的数据读取，并记录所述ID作为忽略跳过数据的唯一标识以便于后续需要再次同步备份数据时基于所述ID再次执行增量数据同步备份操作，如果不包含，则重复性校验通过。


4.如权利要求3所述的数据库增量数据同步备份方法，其特征在于：
在步骤3)中，对数据文件执行数据规范性校验包括：将云代码知识库的字段与JSON结构的文件的key一一对应校验，如果在云代码知识库中与key对应的字段的value缺失，则认为校验失败，排除云代码知识库中与key对应的字段，否则，认为数据规范性校验通过。


5.如权利要求4所述的数据库增量数据同步备份方法，其特征在于：
在步骤3)中，当出现value缺失或同步系统异常时，使用Spring企业级开源框架进行云代码知识库的控制以实现异常数据回滚和正常数据提交操作。


6.一种数据库增量数据同步备份装...

【专利技术属性】
技术研发人员：闫卫杰，张怀珠，余徐勇，
申请(专利权)人：北京关键科技股份有限公司，
类型：发明
国别省市：北京;11