一种关系型数据库间结构化数据的同步方法及系统技术方案

本发明专利技术公开了一种关系型数据库间结构化数据的同步方法，所述方法用于实现源数据库和目标数据库之间的数据同步；所述方法包括：步骤1)按照实际业务应用需求，对源数据库和源数据库的日志信息中需要导出的结构化原始数据提取键值对信息，结合数据操作类型和数据条目标志格式改写成符合格式要求的中间数据，以json格式存为中间导出数据；步骤2)根据目标数据库的数据导入策略，结合数据清洗操作和数据库间格式转换操作将json中间导出数据从基础数据映射为目标数据，并转化为符合相应数据库导入格式的待导入数据，然后导入目标数据库；步骤3)对步骤2)生成的待导入数据结合目标数据库类型进行逆向解析操作，生成用于数据版本回滚的备份恢复数据。

A synchronization method and system for structured data between relational databases

The present invention discloses a synchronous method of structured data between relational databases, which is used to synchronize data between the source and target databases; the method includes: Step 1) the structured original number that needs to be exported in the log information of the source database and the source database according to the actual business application requirements. According to the extraction key value, the information, the data operation type and the data entry sign format are rewritten into the intermediate data that conforms to the format requirements. In the JSON format, the data is stored in the intermediate export data. Step 2) according to the data import strategy of the target database, the data cleaning operation and the format conversion operation between the databases will be used to export the data in the middle of the JSON. The base data is mapped to the target data, and converted to the data to be imported to the corresponding database import format, and then imported into the target database; step 3) the data to be imported from step 2) is converse to the target database type combined with the target database type to generate the backup recovery data for the rollback of the data version.

【技术实现步骤摘要】
一种关系型数据库间结构化数据的同步方法及系统
本专利技术涉及数据同步处理领域，尤其涉及一种关系型数据库间的结构化数据的同步方法和系统。
技术介绍
在数据处理领域，通常需要进行数据的抽取、映射转换、同步等流程。其中原始数据的存档入库通常存储在MySQL、MariaDB、SQLServer等传统数据库，而支撑大型检索需求，进一步的数据处理又将数据存储于elasticsearch、solr等专业服务于数据检索引擎的关系型数据库中，因此，数据需要在多种关系型数据库间进行映射、同步。此外，提供大型数据应用的企业、公司及数据分析机构等，由于数据资源的权限管控通常配备了内外网的安全隔离设置，对数据的同步就提出了离线单向传递的要求。传统的数据同步方案能够很好地解决同一类型的数据库的数据同步，然而避开了不同数据库之间的数据映射同步需求；同时，同一网络下进行双向通信能够很好地维护数据间的同步一致性，却很难及时有效地解决单向通信限制下的由于数据版本冲突的产生数据备份恢复问题。
技术实现思路
本专利技术的目的在于针对不同关系型数据库之间的结构化数据的同步，以及存在单向通信等离线结构化数据的同步等数据处理需求，提本文档来自技高网...

【技术保护点】
一种关系型数据库间结构化数据的同步方法，所述方法用于实现源数据库和目标数据库之间的数据同步；包括但不限于相同类型数据库间与不同类型数据库间的数据完全一致性同步以及结合数据清洗操作的数据不完全一致性同步；所述方法包括：步骤1)按照实际业务应用需求，对源数据库和源数据库的日志信息中需要导出的结构化原始数据提取键值对信息，结合数据操作类型和数据条目标志格式改写成符合格式要求的中间数据，以json格式存为中间导出数据；步骤2)根据目标数据库的数据导入策略，结合数据清洗操作和数据库间格式转换操作将json中间导出数据从基础数据映射为目标数据，并转化为符合相应数据库导入格式的待导入数据，然后导入目标数据库...

【技术特征摘要】
1.一种关系型数据库间结构化数据的同步方法，所述方法用于实现源数据库和目标数据库之间的数据同步；包括但不限于相同类型数据库间与不同类型数据库间的数据完全一致性同步以及结合数据清洗操作的数据不完全一致性同步；所述方法包括：步骤1)按照实际业务应用需求，对源数据库和源数据库的日志信息中需要导出的结构化原始数据提取键值对信息，结合数据操作类型和数据条目标志格式改写成符合格式要求的中间数据，以json格式存为中间导出数据；步骤2)根据目标数据库的数据导入策略，结合数据清洗操作和数据库间格式转换操作将json中间导出数据从基础数据映射为目标数据，并转化为符合相应数据库导入格式的待导入数据，然后导入目标数据库；步骤3)对步骤2)生成的待导入数据结合目标数据库类型进行逆向解析操作，生成用于数据版本回滚的备份恢复数据。2.根据权利要求1所述的关系型数据库间结构化数据的同步方法，其特征在于，所述步骤1)具体包括：步骤1-1)将源数据库中的需要导出的结构化原始数据划分为：数据表信息、全字段数据和部分数据；步骤1-2)将数据表信息导出：将源数据库中需要导出的数据表的结构信息导出，提取键值对信息并转换成json格式保存；所述数据表的结构信息包括：数据库名、表名、编码以及所有字段的字段名、类型、长度；步骤1-3)将全字段数据导出：根据设定区间生成的查询语句截取出源数据库中的选中条目，同时从源数据库日志信息中针对“删除”操作定向解析出需要进行数据删除的条目，将选中条目的结构化原始数据转换成键值对形式，根据指定的数据条目标志格式生成唯一标识符，作为每一数据条目的数据标识码，并标记数据操作类型，存成json格式，生成json中间导出数据；其中，若数据条目标志格式未指定，则置为空；从源数据库中选中的数据条目的数据操作类型默认为“增加”，从源数据库的日志信息中选中的数据条目的数据操作类型为“删除”，根据对应的数据库类型设置相应的数据操作码；步骤1-4)将部分数据导出：根据用户指定的字段列表、设定的查询区间生成查询语句，在源数据库中匹配数据得到选中条目，同时从源数据库日志信息中针对“删除”操作定向解析出需要进行数据删除的条目，将选中条目的结构化原始数据转换成键值对形式，同时根据指定的数据条目标志格式生成唯一标识符，作为每一数据条目的数据标识码，并标记数据操作类型，存成json格式，生成json中间导出数据；其中，若数据条目标志格式未指定，则置为空；从源数据库中选中的数据条目的数据操作类型默认为“修改”，从源数据库的日志信息中选中的数据条目的数据操作类型为“删除”，根据对应数据库类型设置不同的数据操作码。3.根据权利要求1所述的关系型数据库间结构化数据的同步方法，其特征在于，所述步骤2)具体包括：步骤2-1)将json中间导出数据按数据类型划分为：数据表创建、数据导入；步骤2-2)数据表创建：将json中间导出数据中的数据表的结构信息还原成键值对，根据目标数据库类型填充为目标数据库创建新表所需的格式，对目标数据库创建新表；步骤2-3)数据导入：结合目标数据库类型和用户指定的数据格式调整、数据清洗策略，生成数据处理策略；步骤2-4)根据步骤2-3)中生成的数据处理策略，结合数据操作码和配备的数据标识码进行数据格式调整和数据清洗并生成最终的数据导入语句，导入目标数据库。4.根据权利要求3所述的关系型数据库间结构化数据的同步方法，其特征在于，所述步骤3)具体包括：步骤3-1)对步骤2)生成的待导入数据按数据类型分为数据表信息的逆向解析和内容数据的逆向解析；步骤3-2)数据表信息的逆向解析：读取步骤2-2)生成的用于创建目标数据库新表的待导入数据，解码为相应表删除语句，生成用于后续数据版本回滚的备份恢复数据；步骤3-3)内容数据的逆向解析：读取步骤2-4)生成的用于导入目标数据库的待导入数据，结合目标数据库类型进行相应逆向解析操作生成用于后续数据版本回滚的备份恢复数据。5.根据权利要求4所述的关系型数据库间结构化数据的同步方...

【专利技术属性】
技术研发人员：毛彬，罗威，谭玉珊，罗准辰，牛海波，张吉才，武帅，叶宇铭，田昌海，尹忠博，
申请(专利权)人：毛彬，中国人民解放军军事科学院军事科学信息研究中心，
类型：发明
国别省市：北京,11