数据的同步方法、装置、终端设备及介质制造方法及图纸

本发明专利技术涉及金融科技技术领域，公开了一种数据的同步方法、装置、终端设备及计算机存储介质。该数据的同步方法基于确定待同步数据源的元数据结构；检测目标数据库并将所述元数据结构转化为所述目标数据库的目标数据结构；根据所述目标数据库对应的模板文件生成同步数据的执行脚本；基于数据同步指令运行所述执行脚本以从所述待同步数据源抽取元数据，并将所述元数据按照所述目标数据结构导入至所述目标数据库中。本发明专利技术减少了人工操作的工作量、降低了出错率，从而提高了数据同步的效率，此外，本发明专利技术可通过选取不同的模板文件，或者针对模板文件进行自定义调整，确保了不同业务进行数据同步的通用性，提高了业务数据同步的灵活性。活性。活性。

【技术实现步骤摘要】
数据的同步方法、装置、终端设备及介质


[0001]本专利技术涉及金融科技(Fintech)
，尤其涉及一种数据的同步方法、装置、终端设备及计算机存储介质。

技术介绍

[0002]随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对数据同步技术提出了更高的要求。
[0003]时下，众多企业针对自有的每个业务通常都会采用关系型数据库来记录相关的业务数据，但是，由于关系型数据库容量毕竟有限，所以企业针对每个业务也都需要把该关系型数据库表中的数据同步到其它数据库中，因此，企业需要针对关系型数据库中的每一张表创建对应的表数据结构和编写数据同步脚本。
[0004]现有技术中针对关系型数据库中的每一张表都是由人工来创建对应的表数据结构和编写相关的数据同步脚本，从而实现将关系型数据库表中待同步的数据导入至其他数据库进行同步存储。如此，在企业所拥有业务量庞大的背景下，人工创建表数据结构和编写脚本的工作量就非常庞大且容易出错，导致数据同步的效率非常低下。

技术实现思路

[0005]本专利技术的主要目的在于提供一种数据的同步方法、装置、终端设备及计算机存储介质，旨在解决通过人工创建表数据结构和编写数据同步脚本实现数据同步映射的方式，工作量大且出错率高，导致数据同步效率低下的技术问题。
[0006]为实现上述目的，本专利技术提供一种数据的同步方法，所述数据的同步方法包括：
[0007]确定待同步数据源的元数据结构；
[0008]检测目标数据库并将所述元数据结构转化为所述目标数据库的目标数据结构；
[0009]根据所述目标数据库对应的模板文件生成同步数据的执行脚本；
[0010]基于数据同步指令运行所述执行脚本以从所述待同步数据源抽取元数据，并将所述元数据按照所述目标数据结构导入至所述目标数据库中。
[0011]可选地，所述确定待同步数据源的元数据结构的步骤，包括：
[0012]获取所述待同步数据源中的各数据表，并获取各所述数据表的各字段数据；
[0013]根据各所述字段数据和各所述数据表生成所述待同步数据源的元数据结构。
[0014]可选地，在所述确定待同步数据源的元数据结构的步骤之后，还包括：
[0015]获取扩展元数据的配置文件，并根据所述配置文件动态扩展所述元数据结构。
[0016]可选地，所述检测目标数据库的步骤，包括：
[0017]检测针对所述待同步数据源所属业务场景下数据库的选择配置；
[0018]将所述选择配置指向的数据库确定为导入元数据的目标数据库。
[0019]可选地，在所述根据所述目标数据库对应的模板文件生成同步数据的执行脚本的
步骤之前，还包括：
[0020]将所述元数据结构转化成模型数据对象；
[0021]所述模板文件包括：抽数模板文件和同步数据模板文件，所述执行脚本包括：抽数脚本和同步数据脚本，
[0022]所述根据所述目标数据库对应的模板文件生成同步数据的执行脚本的步骤包括：
[0023]将所述模型数据对象封装成自定义模板数据对象；
[0024]遍历预先定制的各模板文件以读取所述目标数据库对应的抽数模板文件和同步数据模板文件；
[0025]基于所述抽数模板文件和所述自定义模板数据对象生成抽数脚本，并基于所述同步数据模板文件和所述自定义模板数据对象生成同步数据脚本。
[0026]可选地，所述数据的同步方法，还包括：
[0027]获取模板配置文件以根据所述模板配置文件针对所述目标数据库对应的模板文件进行调整或者定制生成新的模板文件。
[0028]可选地，所述基于数据同步指令运行所述执行脚本以从所述待同步数据源抽取元数据，并将所述元数据按照所述目标数据结构导入至所述目标数据库中的步骤，包括：
[0029]在检测到数据同步指令时，运行所述抽数脚本以从所述待同步数据源中抽取元数据；
[0030]运行所述同步数据脚本以按照所述目标数据库的所述目标数据结构将所述元数据导入至所述目标数据库中。
[0031]此外，为实现上述目的，本专利技术还提供一种数据的同步装置，所述数据的同步装置包括：
[0032]确定模块，用于确定待同步数据源的元数据结构；
[0033]脚本生成模块，用于检测目标数据库并根据所述目标数据库对应的模板文件生成同步数据的执行脚本；
[0034]数据转化模块，用于将所述元数据结构转化为所述目标数据库的目标数据结构；
[0035]数据同步模块，用于基于数据同步指令运行所述执行脚本以从所述待同步数据源抽取元数据，并将所述元数据按照所述目标数据结构导入至所述目标数据库中。
[0036]此外，为实现上述目的，本专利技术还提供一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据的同步程序，所述数据的同步程序被所述处理器执行时实现如上所述的数据的同步方法的步骤。
[0037]此外，为实现上述目的，本专利技术还提供一种计算机存储介质，所述计算机存储介质上存储有数据的同步程序，所述数据的同步程序被处理器执行时实现如上所述的数据的同步方法的步骤。
[0038]本专利技术提供一种数据的同步方法、装置、终端设备及计算机存储介质，基于确定待同步数据源的元数据结构；检测目标数据库并将所述元数据结构转化为所述目标数据库的目标数据结构；根据所述目标数据库对应的模板文件生成同步数据的执行脚本；基于数据同步指令运行所述执行脚本以从所述待同步数据源抽取元数据，并将所述元数据按照所述目标数据结构导入至所述目标数据库中。
[0039]本专利技术在进行数据库之间数据同步的过程中,先分析确定待同步数据源的元数据
结构,然后检测目标数据库(需要导入待同步的元数据以对该元数据进行存储的数据库)，并从预先配置生成的适用不同业务场景的模板文件中，提取与该目标数据库对应的模板文件，以自动生成用于将待同步的元数据导入至目标数据库中进行同步存储的执行脚本，再然后，将分析确定出的待同步数据源的元数据结构转化成为目标数据的目标数据结构，最后基于接收到的数据同步指令运行生成的执行脚本，从而自动的从待同步数据源中抽取待同步的元数据，并将该元数据按照目标数据结构导入到目标数据库当中进行存储。
[0040]本专利技术与现有人工创建表数据结构和表写数据同步脚本的方式相比，在极大程度上减少了人工操作的工作量、降低了出错率，从而提高了数据同步的效率。此外，由于本专利技术是通过导入元数据进行存储的目标数据库的模板文件来自动生成执行脚本，且，该模板文件已经预先定制生成，从而，在针对不同的业务进行数据同步时，只需选取对应的模板文件，以及，在存在数据同步的特殊需求时，只需针对该模板文件进行简单自定义调整，不仅确保了不同业务进行数据同步的通用性，更提高了业务数据同步的灵活性。
附图说明
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据的同步方法，其特征在于，所述数据的同步方法包括：确定待同步数据源的元数据结构；检测目标数据库，并根据所述目标数据库对应的模板文件生成同步数据的执行脚本；将所述元数据结构转化为所述目标数据库的目标数据结构；基于数据同步指令运行所述执行脚本以从所述待同步数据源抽取元数据，并将所述元数据按照所述目标数据结构导入至所述目标数据库中。2.如权利要求1所述的数据的同步方法，其特征在于，所述确定待同步数据源的元数据结构的步骤，包括：获取所述待同步数据源中的各数据表，并获取各所述数据表的各字段数据；根据各所述字段数据和各所述数据表生成所述待同步数据源的元数据结构。3.如权利要求1所述的数据的同步方法，其特征在于，在所述确定待同步数据源的元数据结构的步骤之后，还包括：获取扩展元数据的配置文件，并根据所述配置文件动态扩展所述元数据结构。4.如权利要求1所述的数据的同步方法，其特征在于，所述检测目标数据库的步骤，包括：检测针对所述待同步数据源所属业务场景下数据库的选择配置；将所述选择配置指向的数据库确定为导入元数据的目标数据库。5.如权利要求1所述的数据的同步方法，其特征在于，在所述根据所述目标数据库对应的模板文件生成同步数据的执行脚本的步骤之前，还包括：将所述元数据结构转化成模型数据对象；所述模板文件包括：抽数模板文件和同步数据模板文件，所述执行脚本包括：抽数脚本和同步数据脚本，所述根据所述目标数据库对应的模板文件生成同步数据的执行脚本的步骤包括：将所述模型数据对象封装成自定义模板数据对象；遍历预先定制的各模板文件以读取所述目标数据库对应的抽数模板文件和同步数据模板文件；基于所述抽数模板文件和所述自定义模板数据对象生成抽数...

【专利技术属性】
技术研发人员：侯永俊，彭荣杰，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：