一种数据转移方法、装置及设备制造方法及图纸

本申请公开了一种数据转移方法、装置及设备，可应用于大数据领域以及金融领域，能够减少系统间数据迁移的传输量、对迁移接口的改动提供高度兼容、支持不同软硬件系统的横向扩展，进而提高数据转移的效果。该方法包括：首先通过迁入系统设定迁移规则，并根据所述迁移规则，通过迁出系统，生成迁移schema文件，然后，根据所述schema文件，通过所述迁出系统进行数据采集、数据文本生成和数据迁出处理，得到迁出文本，接着，通过所述迁入系统获取所述迁出文本，并对所述迁出文本进行解析，得到迁出schema内容，进而可以通过所述迁入系统对迁出schema内容进行加载、过滤、清理，并将得到的清理后的数据迁入到系统中。理后的数据迁入到系统中。理后的数据迁入到系统中。

【技术实现步骤摘要】
一种数据转移方法、装置及设备


[0001]本申请涉及大数据
，尤其涉及一种数据转移方法、装置及设备。

技术介绍

[0002]随着社会经济的高速发展，各大银行作为金融服务的中心，越来越多的客户通过银行办理各种金融业务，导致银行需要处理的数据越来越多。
[0003]目前银行因业务调整或技术规划，可能出现系统的升级，而系统升级需要新旧系统数间的数据迁移，并且通常一个迁入系统将对应多个迁出系统，即多个旧系统分别迁出部分历史数据至新线系统中。但在现有迁出方案中，迁出系统需要对迁移规则中所有字段进行采集、处理、迁出，而实际迁出只涉及部分字段，所以将存在大量为空字段，该部分字段的迁出将占用带宽、增大迁出/迁入的复杂度等，导致数据转移的效果较差。

技术实现思路

[0004]本申请实施例的主要目的在于提供一种数据转移方法、装置及设备，能够减少系统间数据迁移的传输量、对迁移接口的改动提供高度兼容、支持不同软硬件系统的横向扩展，进而提高数据转移的效果。
[0005]第一方面，本申请实施例提供了一种数据转移方法，所述方法包括：
[0006]通过迁入系统设定迁移规则；
[0007]根据所述迁移规则，通过迁出系统，生成迁移schema文件；
[0008]根据所述schema文件，通过所述迁出系统进行数据采集、数据文本生成和数据迁出处理，得到迁出文本；
[0009]通过所述迁入系统获取所述迁出文本，并对所述迁出文本进行解析，得到迁出schema内容；
[0010]通过所述迁入系统对迁出schema内容进行加载、过滤、清理，并将得到的清理后的数据迁入到系统中。
[0011]可选的，所述根据所述schema文件，通过所述迁出系统进行数据采集、数据文本生成和数据迁出处理，得到迁出文本之后，所述方法还包括：
[0012]将所述迁出文本通过中间转换平台进行解析和转换处理，生成待迁入的数据，并将所述待迁入的数据载入所述迁入系统中。
[0013]可选的，所述方法还包括：
[0014]通过所述迁入系统对所述迁移规则进行调整，得到调整后的迁移规则。
[0015]可选的，所述通过所述迁入系统对所述迁移规则进行调整，得到调整后的迁移规则之后，所述方法还包括：
[0016]通过迁出系统根据调整后的迁移规则，对所述迁移schema文件进行升级，得到升级后的迁移schema文件。
[0017]第二方面，本申请实施例还提供了一种数据转移装置，所述装置包括：
[0018]设定单元，用于通过迁入系统设定迁移规则；
[0019]生成单元，用于根据所述迁移规则，通过迁出系统，生成迁移schema文件；
[0020]迁出单元，用于根据所述schema文件，通过所述迁出系统进行数据采集、数据文本生成和数据迁出处理，得到迁出文本；
[0021]解析单元，用于通过所述迁入系统获取所述迁出文本，并对所述迁出文本进行解析，得到迁出schema内容；
[0022]迁入单元，用于通过所述迁入系统对迁出schema内容进行加载、过滤、清理，并将得到的清理后的数据迁入到系统中。
[0023]可选的，所述装置还包括：
[0024]载入单元，用于将所述迁出文本通过中间转换平台进行解析和转换处理，生成待迁入的数据，并将所述待迁入的数据载入所述迁入系统中。
[0025]可选的，所述装置还包括：
[0026]调整单元，用于通过所述迁入系统对所述迁移规则进行调整，得到调整后的迁移规则。
[0027]可选的，所述装置还包括：
[0028]升级单元，用于通过迁出系统根据调整后的迁移规则，对所述迁移schema文件进行升级，得到升级后的迁移schema文件。
[0029]本申请实施例还提供了一种数据转移设备，包括：处理器、存储器、系统总线；
[0030]所述处理器以及所述存储器通过所述系统总线相连；
[0031]所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述数据转移方法中的任意一种实现方式。
[0032]本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述数据转移方法中的任意一种实现方式。
[0033]本申请实施例提供的一种数据转移方法、装置及设备，首先通过迁入系统设定迁移规则，并根据所述迁移规则，通过迁出系统，生成迁移schema文件，然后，根据所述schema文件，通过所述迁出系统进行数据采集、数据文本生成和数据迁出处理，得到迁出文本，接着，通过所述迁入系统获取所述迁出文本，并对所述迁出文本进行解析，得到迁出schema内容，进而可以通过所述迁入系统对迁出schema内容进行加载、过滤、清理，并将得到的清理后的数据迁入到系统中，从而能够减少系统间数据迁移的传输量、对迁移接口的改动提供高度兼容、支持不同软硬件系统的横向扩展，进而提高数据转移的效果。
附图说明
[0034]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0035]图1为本申请实施例提供的一种数据转移方法的流程示意图；
[0036]图2为本申请实施例提供的中间表的示例图；
[0037]图3为本申请实施例提供的数据转移的整体模块化示意图；
[0038]图4为本申请实施例提供的一种数据转移装置的组成示意图。
具体实施方式
[0039]目前银行因业务调整或技术规划，可能出现系统的升级，而系统升级需要新旧系统数间的数据迁移，并且通常一个迁入系统将对应多个迁出系统，即多个旧系统分别迁出部分历史数据至新线系统中。但在现有的数据迁移方案存在以下两个缺点：
[0040](1)数据迁移规则定义了所有待迁出字段，可能映射到多个迁出系统。在现有迁出方案中，迁出系统需要对迁移规则中所有字段进行采集、处理、迁出，而实际迁出只涉及部分字段，所以旧有方案迁出过程将存在大量为空字段，该部分字段的迁出将占用带宽、增大迁出/迁入的复杂度等；
[0041](2)数据迁移规则需要根据业务规则进行调整。在现有的数据迁移方案中，若规则调整了，如接口新增一个迁出字段，则所有迁出系统都要调整最终迁出文本，而实际上这个新增字段，可能只涉及一个迁出系统。这种方式，对于接口的变动未提供兼容。
[0042]可见，现有的银行数据转移方式的转移效果较差。
[0043]为解决上述缺陷，本申请实施例提供了一种数据转移方法，首先通过迁入系统设定迁移规则，并根据所述迁移规则，通过迁出系统，生成迁移schema文件，然后，根据所述schema文件，通过所述迁本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据转移方法，其特征在于，所述方法包括：通过迁入系统设定迁移规则；根据所述迁移规则，通过迁出系统，生成迁移schema文件；根据所述schema文件，通过所述迁出系统进行数据采集、数据文本生成和数据迁出处理，得到迁出文本；通过所述迁入系统获取所述迁出文本，并对所述迁出文本进行解析，得到迁出schema内容；通过所述迁入系统对迁出schema内容进行加载、过滤、清理，并将得到的清理后的数据迁入到系统中。2.根据权利要求1所述的方法，其特征在于，所述根据所述schema文件，通过所述迁出系统进行数据采集、数据文本生成和数据迁出处理，得到迁出文本之后，所述方法还包括：将所述迁出文本通过中间转换平台进行解析和转换处理，生成待迁入的数据，并将所述待迁入的数据载入所述迁入系统中。3.根据权利要求1
‑
2任一项所述的方法，其特征在于，所述方法还包括：通过所述迁入系统对所述迁移规则进行调整，得到调整后的迁移规则。4.根据权利要求3所述的方法，其特征在于，所述通过所述迁入系统对所述迁移规则进行调整，得到调整后的迁移规则之后，所述方法还包括：通过迁出系统根据调整后的迁移规则，对所述迁移schema文件进行升级，得到升级后的迁移schema文件。5.一种数据转移装置，其特征在于，所述装置包括：设定单元，用于通过迁入系统设定迁移规则；生成单元，用于根据所述迁移规则，通过迁出系统，生成迁移schema文件；迁出单元，用于根据所述schema文件，通过所述迁出系...

【专利技术属性】
技术研发人员：熊茜，黄志鸿，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：