数据同步方法、系统、存储介质及处理器技术方案

本申请提供一种数据同步方法、系统、处理器及存储介质，涉及计算机技术领域。数据同步方法应用于具有相同服务的多个环境，包括：各个环境在检测到同步操作请求时，获取配置文件，并根据配置文件在各自环境内的服务节点增加同步配置信息；在增加同步配置信息成功后，有数据需要被同步的环境根据配置文件获取待同步数据，并将待同步数据转换为通用格式数据存储至隔离区；其他环境分别根据配置文件，从隔离区中读取通用格式数据，并将通用格式数据转换为配置文件中对应的数据类型后存入数据库，实现了不同环境的数据之间的同步以及不同种类的数据库同步。操作简单，增大了数据同步的灵活性，数据同步的过程无需人工干预，实现了自动同步。了自动同步。了自动同步。

【技术实现步骤摘要】
数据同步方法、系统、存储介质及处理器


[0001]本申请涉及计算机
，具体涉及一种数据同步方法、一种数据同步系统、一种机器可读存储介质、一种处理器及一种计算机程序产品。

技术介绍

[0002]在一些服务部署场景中，有些相同的服务可能部署在不同的环境中，各个环境之间是网络隔离的，这就需要将不同环境中的数据进行同步，以保证不同环境下的数据保持一致。
[0003]然而，现有的技术只支持同一种数据库的同步，如果需要对相同的数据同步到不同的数据库是不支持的。如果需要对不同的数据同步到不同的数据库也是不支持的。
[0004]因此，现有的数据同步方法存在只支持同种数据库同步，无法支持不同类型的数据库同步的问题。

技术实现思路

[0005]本申请实施例的目的是提供一种数据同步方法、一种数据同步系统、一种机器可读存储介质、一种处理器及一种计算机程序产品。该数据同步方法可以实现不同类型的数据库同步。
[0006]为了实现上述目的，本申请第一方面提供一种数据同步方法，应用于具有相同服务的多个环境，包括：
[0007]各个环境在检测到同步操作请求时，获取配置文件，并根据所述配置文件在各自环境内的服务节点增加同步配置信息；
[0008]在增加同步配置信息成功后，有数据需要被同步的环境根据所述配置文件获取待同步数据，并将所述待同步数据转换为通用格式数据存储至隔离区；
[0009]其他环境分别根据所述配置文件从所述隔离区中读取所述通用格式数据，并将所述通用格式数据转换为所述配置文件中对应的数据类型后存入数据库，以实现数据同步。
[0010]在本申请实施例中，所述配置文件包括同步数据库类型和同步表名；
[0011]所述根据所述配置文件获取待同步数据，包括：
[0012]根据所述同步数据库类型确定待同步数据的数据库类型；
[0013]根据所述同步表名，在所述待同步数据的数据库类型对应的数据库中读取得到待同步数据。
[0014]在本申请实施例中，所述隔离区为各个环境均能访问的文件目录；
[0015]所述将所述待同步数据转换为通用格式数据存储至隔离区，包括：
[0016]将所述待同步数据转换为通用格式数据，并将所述通用格式数据写入到文本文件，得到同步文本文件；
[0017]将所述同步文本文件保存至隔离区。
[0018]在本申请实施例中，所述待同步数据包括多个表的数据；所述配置文件中的同步
表名对应有映射类；
[0019]所述将所述待同步数据转换为通用格式数据存储至隔离区，包括：
[0020]将各个表的数据分别映射到对应的映射类中，得到多个映射类数据；
[0021]分别将各个映射类数据转换为通用格式数据，并将所述通用格式数据写入到文本文件中，得到同步文本文件；
[0022]将所述同步文本文件保存至隔离区。
[0023]在本申请实施例中，所述将所述通用格式数据写入到文本文件中，包括：
[0024]判断所述通用格式数据是否超出预设阈值；
[0025]确定所述通用格式数据超出预设阈值，将所述通用格式数据进行拆分，得到多个拆分数据；
[0026]将各个拆分数据分别写入到文本文件中，得到多个同步文本文件；
[0027]在文本文件中记录所述同步文本文件的个数，得到计数文件；
[0028]所述将所述同步文本文件保存至隔离区，包括：
[0029]将所述计数文件和多个同步文本文件保存至隔离区。
[0030]在本申请实施例中，所述配置文件包括同步数据库类型、同步表名和映射类；
[0031]所述将所述通用格式数据转换为所述映射类对应的数据类型后存入对应的数据库，包括：
[0032]判断当前环境中所述同步数据库类型对应的数据库中是否存在所述同步表名对应的数据库表；
[0033]确定数据库中不存在所述同步表名对应的数据库表，自动创建数据库表，并将所述通用格式数据转换为所述映射类对应的数据类型后存入所述数据库表中，以更新所述数据库；
[0034]确定数据库中存在所述同步表名对应的数据库表，删除所述数据库表中的数据，并将所述通用格式数据转换为所述映射类对应的数据类型后存入数据库表中，以更新所述数据库。
[0035]在本申请实施例中，所述根据所述配置文件，从所述隔离区中读取所述通用格式数据，包括：
[0036]根据所述同步表名从所述隔离区中读取对应的计数文件；
[0037]根据所述计数文件，读取对应的同步文本文件以得到所述通用格式数据。
[0038]在本申请实施例中，所述同步操作请求由后台配置的定时任务自动发出。
[0039]本申请第二方面提供一种数据同步系统，应用于具有相同服务的多个环境，包括：
[0040]配置模块，用于使得各个环境在检测到同步操作请求时，各个环境获取配置文件，并根据所述配置文件在各自环境内的服务节点增加同步配置信息；
[0041]上传模块，用于使得在增加同步配置信息成功后，有数据需要被同步的环境根据所述配置文件获取待同步数据，并将所述待同步数据转换为通用格式数据存储至隔离区；
[0042]同步模块，用于使得其他环境分别根据所述配置文件从所述隔离区中读取所述通用格式数据，并将所述通用格式数据转换为所述配置文件中对应的数据类型后存入数据库，以实现数据同步。
[0043]本申请第三方面提供一种处理器，被配置成执行上述的数据同步方法。
[0044]本申请第四方面提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得所述处理器被配置成执行上述的数据同步方法。
[0045]本申请第五方面提供一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现上述的数据同步方法。
[0046]通过上述技术方案，通过在各个环境中的服务节点分别增加同步配置信息，通过配置项可以将待同步数据上传至隔离区，并且以通用格式数据存储在隔离区，其他环境通过从隔离区取出通用格式数据，并将取出的通用格式数据转换后存入对应的数据库中，以实现不同环境的数据之间的同步，并且通过在配置文件中配置的数据库种类，将通用格式数据转换后存放至不同类型的数据库，从而可以实现不同种类的数据库同步。对于不同环境，同步数据到不同的数据库，开发人员通过在配置文件中设置配置项就可以实现数据的同步，操作简单，增大了数据同步的灵活性，并且数据同步的过程无需人工干预，实现了自动同步。
[0047]本申请实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0048]附图是用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本申请实施例，但并不构成对本申请实施例的限制。在附图中：
[0049]图1示意性示出了根据本申请实施例的一种数据同步方法的流程示意图；
[0050]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据同步方法，其特征在于，应用于具有相同服务的多个环境，包括：各个环境在检测到同步操作请求时，获取配置文件，并根据所述配置文件在各自环境内的服务节点增加同步配置信息；在增加同步配置信息成功后，有数据需要被同步的环境根据所述配置文件获取待同步数据，并将所述待同步数据转换为通用格式数据存储至隔离区；其他环境分别根据所述配置文件从所述隔离区中读取所述通用格式数据，并将所述通用格式数据转换为所述配置文件中对应的数据类型后存入数据库，以实现数据同步。2.根据权利要求1所述的方法，其特征在于，所述配置文件包括同步数据库类型和同步表名；所述根据所述配置文件获取待同步数据，包括：根据所述同步数据库类型确定待同步数据的数据库类型；根据所述同步表名，在所述待同步数据的数据库类型对应的数据库中读取得到待同步数据。3.根据权利要求1所述的方法，其特征在于，所述隔离区为各个环境均能访问的文件目录；所述将所述待同步数据转换为通用格式数据存储至隔离区，包括：将所述待同步数据转换为通用格式数据，并将所述通用格式数据写入到文本文件中，得到同步文本文件；将所述同步文本文件保存至隔离区。4.根据权利要求2所述的方法，其特征在于，所述待同步数据包括多个表的数据；所述配置文件中的同步表名对应有映射类；所述将所述待同步数据转换为通用格式数据存储至隔离区，包括：将各个表的数据分别映射到对应的映射类中，得到多个映射类数据；分别将各个映射类数据转换为通用格式数据，并将所述通用格式数据写入到文本文件中，得到同步文本文件；将所述同步文本文件保存至隔离区。5.根据权利要求4所述的方法，其特征在于，所述将所述通用格式数据写入到文本文件中，包括：判断所述通用格式数据是否超出预设阈值；确定所述通用格式数据超出预设阈值，将所述通用格式数据进行拆分，得到多个拆分数据；将各个拆分数据分别写入到文本文件中，得到多个同步文本文件；在文本文件中记录所述同步文本文件的个数，得到计数文件；所述将所述同步文本文件保存至隔离区，包括：将所述计数文件和多个同步文本文件保存至隔离区。6.根据权利要求1所述的方法，其特征在于，...

【专利技术属性】
技术研发人员：范小威，
申请(专利权)人：建信金融科技有限责任公司，
类型：发明
国别省市：