数据转储方法及装置制造方法及图纸

本发明专利技术公开了一种数据转储方法及装置，该方法包括：根据源数据库对应的数据库类型确定源数据库驱动拉取源数据；对源数据进行模型转换，获得中间数据模型；获取中间数据模型所包含的字段对应的转换规则；通过预设引擎对转换规则进行解析，并根据解析结果为字段进行赋值，获得目标数据；根据目标数据库对应的数据库类型确定目标数据库驱动将目标数据写入目标数据库。本发明专利技术首先通过对获取的源数据进行格式转换，获得中间数据模型，再通过预设引擎为中间数据模型中各字段解析各字段对应的转换规则，从而获得目标数据，最后将目标数据写入目标数据库，因此本发明专利技术实现了不同数据库之间的数据转储。间的数据转储。间的数据转储。

【技术实现步骤摘要】
数据转储方法及装置


[0001]本专利技术涉及数据处理
，尤其涉及一种数据转储方法及装置。

技术介绍

[0002]在现代软件系统中，数据作为最重要的资产会在各个系统中来回流动，而各个系统都有自己的数据库，业务系统间的差异往往会造成巨大的数据格式差异，如果没有系统间的数据转储作为桥梁，那各个系统就成了一座孤岛，无法发挥出平台的优势，在面对大数据场景时更是如此，因此数据转储是构建现代软件数据中台的核心基础。
[0003]然而，当前并没有一个通用的数据转储工具，导致各个业务系统都在重复地制作自己的数据转储工具，在开发一个业务系统时，均需按照自己的数据需求来编写转储工具，在造成人力浪费的同时，在对接新系统时还需要重新进行改造，不具备通用性。因此，现亟需一种可以在各类异构数据源间进行适配的数据转储方法。
[0004]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

[0005]本专利技术的主要目的在于提供一种数据转储方法及装置，旨在解决现有数据转储方法无法在各类异构数据源之间进行适配的技术问题。为实现上述目的，本专利技术提供了一种数据转储方法，所述方法包括：
[0006]根据源数据库对应的数据库类型确定源数据库驱动，所述源数据库驱动用于从所述源数据库中拉取源数据；
[0007]对所述源数据进行模型转换，获得中间数据模型；
[0008]获取所述中间数据模型所包含的字段对应的转换规则；
[0009]通过预设引擎对所述转换规则进行解析，并根据解析结果为所述字段进行赋值，获得目标数据；
[0010]根据目标数据库对应的数据库类型确定目标数据库驱动，所述目标数据库驱动用于将所述目标数据写入目标数据库。
[0011]可选地，所述获取所述中间数据模型所包含的字段对应的转换规则的步骤，包括：
[0012]获取预先为所述中间数据模型的字段配置的转换标识；
[0013]从预设转换规则库中获取与所述转换标识对应的转换规则。
[0014]可选地，所述通过预设引擎对所述转换规则进行解析，根据解析结果为所述字段进行赋值，获得目标数据的步骤，包括：
[0015]将所述字段输入至所述预设引擎，获取所述字段的解析内容；
[0016]根据所述解析内容对所述转换规则进行遍历，判断所述转换规则中是否存在赋值表达式与所述解析内容匹配的目标转换规则；
[0017]若存在所述目标转换规则，将所述目标转换规则中的结果值填充至所述字段，获
得目标数据。
[0018]可选地，所述根据所述解析内容对所述转换规则进行遍历，判断所述转换规则中是否存在赋值表达式与所述解析内容匹配的目标转换规则之后，还包括：
[0019]若不存在所述目标转换规则，将空值填充至所述字段，获得目标数据。
[0020]可选地，所述若存在目标转换规则，将所述目标转换规则中的结果值填充至所述字段，获得目标数据的步骤，包括：
[0021]若存在目标转换规则，判断获取的所述目标转换规则的数量是否大于预设阈值；
[0022]若否，则将所述目标转换规则中的结果值填充至所述字段，获得目标数据。
[0023]可选地，所述判断获取的所述目标转换规则的数量是否大于预设阈值之后，还包括：
[0024]若是，则对获取的所有目标转换规则的优先级进行遍历，并将获取的优先级最高的目标转换规则作为最终目标转换规则，并将所述最终目标转换规则中的结果值填充至所述字段，获得目标数据。
[0025]可选地，所述数据转储方法还包括：
[0026]获取新的转储需求，并基于所述新的转储需求生成新的转换规则；
[0027]将所述新的转换规则添加进所述预设转换规则库。
[0028]此外，为实现上述目的，本专利技术还提出一种数据转储装置，所述数据转储装置包括：
[0029]数据获取模块，用于根据源数据库对应的数据库类型确定源数据库驱动，所述源数据库驱动用于从所述源数据库中拉取源数据；
[0030]转换模块，用于对所述源数据进行模型转换，获得中间数据模型；
[0031]规则获取模块，用于获取所述中间数据模型所包含的字段对应的转换规则；
[0032]解析模块，用于通过预设引擎对所述转换规则进行解析，并根据解析结果为所述字段进行赋值，获得目标数据；
[0033]数据写入模块，用于根据目标数据库对应的数据库类型确定目标数据库驱动，所述目标数据库驱动用于将所述目标数据写入目标数据库。
[0034]本专利技术公开了一种数据转储方法及装置，该方法包括：根据源数据库对应的数据库类型确定源数据库驱动，源数据库驱动用于从源数据库中拉取源数据；对源数据进行模型转换，获得中间数据模型；获取中间数据模型所包含的字段对应的转换规则；通过预设引擎对转换规则进行解析，并根据解析结果为字段进行赋值，获得目标数据；根据目标数据库对应的数据库类型确定目标数据库驱动，目标数据库驱动用于将目标数据写入目标数据库。本专利技术首先通过对拉取的源数据进行模型转换获得中间模型数据，然后获取该中间数据模型内各字段对应的转换规则，再通过预设引擎为各字段解析转换规则并为各字段赋值，基于赋值转换后的字段获得目标数据，最后将目标数据写入目标数据库，从而实现从源数据库到目标数据库的数据转换与存储，因此，本专利技术提供了一种可实现各类异构数据源之间数据转换的通用适配数据转储方法。
附图说明
[0035]图1为本专利技术数据转储方法第一实施例的流程示意图；
[0036]图2为本专利技术数据转储方法第二实施例的流程示意图；
[0037]图3为本专利技术数据转储方法第二实施例中预设引擎规则判断示意图；
[0038]图4为本专利技术数据转储方法第三实施例的流程示意图；
[0039]图5为本专利技术数据转储装置第一实施例的结构框图。
[0040]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0041]应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0042]本专利技术实施例提供了一种数据转储方法，参照图1，图1为本专利技术数据转储方法第一实施例的流程示意图。
[0043]本实施例中，所述数据转储方法包括以下步骤：
[0044]步骤S10：根据源数据库对应的数据库类型确定源数据库驱动，所述源数据库驱动用于从所述源数据库中拉取源数据；
[0045]需要说明的是，本实施例方法的执行主体可以是具有数据处理、网络通信以及程序运行功能的计算服务设备，例如平板电脑和个人电脑等，还可以是能够实现相同或相似功能的其他电子设备。此处以数据转储设备(简称转储设备)对本实施例和下述各实施例提供的数据转储方法进行具体说明。
[0046]可理解的是，上述源数据库可以是需进行数据转换的数据库，相对应地，目标数据库可以是接收转换数据的数据库，源数据库与目标数据库的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据转储方法，其特征在于，所述数据转储方法包括：根据源数据库对应的数据库类型确定源数据库驱动，所述源数据库驱动用于从所述源数据库中拉取源数据；对所述源数据进行模型转换，获得中间数据模型；获取所述中间数据模型所包含的字段对应的转换规则；通过预设引擎对所述转换规则进行解析，并根据解析结果为所述字段进行赋值，获得目标数据；根据目标数据库对应的数据库类型确定目标数据库驱动，所述目标数据库驱动用于将所述目标数据写入目标数据库。2.如权利要求1所述的数据转储方法，其特征在于，所述获取所述中间数据模型所包含的字段对应的转换规则的步骤，包括：获取预先为所述中间数据模型的字段配置的转换标识；从预设转换规则库中获取与所述转换标识对应的转换规则。3.如权利要求2所述的数据转储方法，其特征在于，所述通过预设引擎对所述转换规则进行解析，根据解析结果为所述字段进行赋值，获得目标数据的步骤，包括：将所述字段输入至所述预设引擎，获取所述字段的解析内容；根据所述解析内容对所述转换规则进行遍历，判断所述转换规则中是否存在赋值表达式与所述解析内容匹配的目标转换规则；若存在所述目标转换规则，将所述目标转换规则中的结果值填充至所述字段，获得目标数据。4.如权利要求3所述的数据转储方法，其特征在于，所述根据所述解析内容对所述转换规则进行遍历，判断所述转换规则中是否存在赋值表达式与所述解析内容匹配的目标转换规则之后，还包括：若不存在所述目标转换规则，将空值填充至所述字段，获得目标数据。5...

【专利技术属性】
技术研发人员：陈明龙，费启辉，冯春平，
申请(专利权)人：金证财富南京科技有限公司，
类型：发明
国别省市：