数据文件迁移方法、装置、电子设备和存储介质制造方法及图纸

本申请提供一种数据文件迁移方法、装置、电子设备和存储介质，可用于分布式架构领域。该方法包括：接收源数据存储系统发送的数据文件并确定所述数据文件的文件信息；根据所述数据文件的文件信息，确定所述数据文件在目标分布式系统的数据库实例；确定与所述目标分布式系统的系统类型相对应的目标文件格式；将所述数据文件从原文件格式转换为所述目标文件格式，以获得适应所述目标分布式系统的目标数据文件；根据所述目标数据文件对应的文件编码格式，将所述目标数据文件加载到所述数据库实例对应的所述目标分布式系统，获得所述数据文件的迁移结果。本申请的方法，提高数据文件的迁移效率和成功率。移效率和成功率。移效率和成功率。

【技术实现步骤摘要】
数据文件迁移方法、装置、电子设备和存储介质


[0001]本申请涉及分布式架构领域，尤其涉及一种数据文件迁移方法、装置、电子设备和存储介质。

技术介绍

[0002]分布式框架下的服务器集群存在数据文件的迁移需求。数据文件例如可以包括各类业务表、流水表、参数表、技术表等任一种数据表。现有的数据文件迁移，一般是将数据文件从A分布式系统迁移到B分布式系统。
[0003]在实际应用中，A分布式系统和B分布式系统的系统分别使用不同的系统，例如，A分布式系统可能为IOS(Input Output System，输入输出系统)，B分布式系统可能为linux(林奈，为音译)系统。若需要将数据文件从A分布式系统迁移到B分布式系统，需要将数据文件转换为适应Linux系统的格式，使得迁移后的数据文件能够在迁移后的系统中使用。
[0004]目前，数据文件转换一般需要人工来操作，需要消耗大量的时间和资源，导致数据迁移成本提升，效率降低。

技术实现思路

[0005]本申请提供一种数据文件迁移方法、装置、电子设备和存储介质，用以解决数据文件转换一般需要人工来操作，需要消耗大量的时间和资源，导致数据迁移效率较低的问题。
[0006]第一方面，本申请提供一种数据文件迁移方法，所述方法包括：
[0007]接收源数据存储系统发送的数据文件并确定所述数据文件的文件信息；
[0008]根据所述数据文件的文件信息，确定所述数据文件在目标分布式系统的数据库实例；
[0009]确定与所述目标分布式系统的系统类型相对应的目标文件格式；
[0010]将所述数据文件从原文件格式转换为所述目标文件格式，以获得适应所述目标分布式系统的目标数据文件；
[0011]根据所述目标数据文件对应的文件编码格式，将所述目标数据文件加载到所述数据库实例对应的所述目标分布式系统，获得所述数据文件的迁移结果。
[0012]第二方面，本申请提供一种数据文件迁移装置，包括：
[0013]文件接收单元，用于接收源数据存储系统发送的数据文件并确定所述数据文件的文件信息；
[0014]确定实例单元，用于根据所述数据文件的文件信息，确定所述数据文件在目标分布式系统的数据库实例；
[0015]格式确定单元，用于确定与所述目标分布式系统的系统类型相对应的目标文件格式；
[0016]格式转换单元，用于将所述数据文件从原文件格式转换为所述目标文件格式，以获得适应所述目标分布式系统的目标数据文件；
[0017]文件迁移单元，用于根据所述目标数据文件对应的文件编码格式，将所述目标数据文件加载到所述数据库实例对应的所述目标分布式系统，获得所述数据文件的迁移结果。
[0018]第三方面，本申请提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；
[0019]所述存储器存储计算机执行指令；
[0020]所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面以及第一方面各种可能所述的方法。
[0021]第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面以及第一方面各种可能所述的方法。
[0022]第五方面，本申请提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如第一方面以及第一方面各种可能涉及的方法的步骤。
[0023]本申请提供的方案，可以接收源数据存储系统发送的数据文件，并确定数据文件的文件信息。通过数据文件的文件信息，可以确定数据文件在目标分布式系统的数据库实例。并确定与目标分布式系统的系统类型相对应的目标文件格式，以将数据文件从原文件格式转换为目标文件格式，获得适应目标分布式系统的目标数据文件，实现数据文件的文件格式的自动转换。同时，还可以根据目标数据文件对应的文件编码格式，将目标数据文件加载到数据库实例对应的目标分布式系统，获得所述数据文件的迁移结果。通过实例确定、文件格式转换以及文件编码格式的应用，可以实现数据文件的自动迁移，使得迁移后的数据文件仍然能够在数据库实例正常使用，提高数据文件的迁移效率和成功率。
附图说明
[0024]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0025]图1为本申请实施例提供的一种用于实现数据文件迁移方法的系统架构图；
[0026]图2为本申请实施例提供的一种数据文件迁移方法的一个实施例的流程图；
[0027]图3为本申请实施例提供的一种数据文件迁移方法的又一个实施例的流程图；
[0028]图4为本申请实施例提供的一种数据文件迁移方法的一个示例图；
[0029]图5为本申请实施例提供的一种数据文件迁移装置的一个实施例的结构示意图；
[0030]图6为本申请实施例提供的一种用于实现数据文件迁移方法的电子设备的框图。
[0031]通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
[0032]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附
权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0033]需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
[0034]需要说明的是，本申请提供的数据文件迁移方法、装置、电子设备和存储介质，可用于分布式架构领域，也可用于除分布式架构领域之外的任意领域，本申请提供的数据文件迁移方法、装置、电子设备和存储介质的应用领域不做限定。
[0035]本申请实施例中，对于两种不同的分布式系统，需要进行数据文件的迁移时，一般可以采用手工迁移。假设两个需要迁移的系统为A分布式系统和B分布式系统，A分布式系统可以为IOS系统，B分布式系统可以为Linux系统，使得迁移后的文件能够在Linux系统内正常使用，可以使用在中间转换步骤使用文件格式、编码格式的处理，但是目前的文件格式、编码格式等处理一般是人工执行，效率较低。对于一些自动转换场景而言，一般也是先进行文件格式编码等转换，再对数据文件进行分片，然后进行实例转换，这样在每个环节都需要进行一次数据的读取和写入，导致数据的读写次数增多，效率极大降低。
[0036]为了解决本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据文件迁移方法，其特征在于，所述方法包括：接收源数据存储系统发送的数据文件并确定所述数据文件的文件信息；根据所述数据文件的文件信息，确定所述数据文件在目标分布式系统的数据库实例；确定与所述目标分布式系统的系统类型相对应的目标文件格式；将所述数据文件从原文件格式转换为所述目标文件格式，以获得适应所述目标分布式系统的目标数据文件；根据所述目标数据文件对应的文件编码格式，将所述目标数据文件加载到所述数据库实例对应的所述目标分布式系统，获得所述数据文件的迁移结果。2.根据权利要求1所述的方法，其特征在于，所述根据所述数据文件的文件信息，确定所述数据文件在目标分布式系统的数据库实例，包括：根据所述数据文件的文件信息，判断所述数据文件是否采用分库分表架构；若是，则确定所述数据文件对应的至少一个数据分片，根据所述文件信息，确定至少一个数据分片分别对应的数据库实例；若否，则根据所述文件信息，确定所述数据文件整体对应的数据库实例。3.根据权利要求2所述的方法，其特征在于，所述根据所述数据文件的文件信息，判断所述数据文件是否采用分库分表架构，包括：根据所述数据文件的文件信息中的数据量，判断所述数据文件是否需要分片存储；若是，则确定所述数据文件采用分库分表架构；若否，则确定所述数据文件不采用分库分表架构。4.根据权利要求2所述的方法，其特征在于，所述根据所述数据文件的文件信息，判断所述数据文件是否采用分库分表架构，包括：确定至少一条类型映射关系，所述类型映射关系包括候选法人编码和数据分布类型的关联关系；根据所述数据文件的文件信息中的法人编码，查询至少一条所述类型映射关系中包含所述法人编码的目标类型映射关系；基于所述目标类型映射关系中的数据分布类型，判断所述数据文件是否采用分库分表架构；若所述数据分布类型为分库分表类型，则确定所述数据文件采用分库分表架构；若所述数据分布类型为单表类型，则确定所述数据文件不采用分库分表架构。5.根据权利要求2所述的方法，其特征在于，所述根据所述文件信息，确定所述数据文件整体对应的数据库实例，包括：查询实例映射表，获得至少一条实例映射关系，所述实例映射关系包括候选法人编码和数据库名称与数据库实例的映射关系；根据所述文件信息中的法人编码和单库名称，从至少一条所述实例映射关系中查询与所述法人编码和所述单库名称对应的第一实例映射关系；确定所述第一实例映射关系中的数据库实例为所述数据文件整体对应的数据库实例。6.根据权利要求2所述的方法，其特征在于，所述确定所述数据文件对应的至少一个数据分片，包括：根据所述文件信息中的法人编码，确定所述法人编码对应的历史分布式架构；
从所述历史分布式架构对应的源数据存储系统中，查询属于所述数据文件的至少一个数据分片，并读取各数据分片的分片号。7.根据权利要求6所述的方法，其特征在于，所述根据所述文件信息，确定至少一个数据分片分别对应的数据库实例，包括：根据所述法人编码和所述各数据分片的分片号，确定各数据分片对应的分库号和分表号；查...

【专利技术属性】
技术研发人员：王见广，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：