数据迁移的方法和装置、电子设备及存储介质制造方法及图纸

本申请实施例提供了一种数据迁移的方法和装置、电子设备及存储介质，涉及金融科技领域。该方法包括：获取配置的第一实例数量，并从预先部署的第二实例数量的迁移微服务实例中选取出第一实例数量的第一实例；第二实例数量大于第一实例数量；按照预设的比例调整规则，降低第一实例对应的部署容器的业务比重，并提升第二实例数量的迁移微服务实例中未被选取的第二实例对应的部署容器的业务比重；根据预设的业务逻辑，将待迁移数据切分为第一实例数量的数据包；将第一实例数量的数据包通过对应的第一实例逐一发送给目标数据库。本申请实施例能够使得数据迁移既满足业务定制化需求又能提升迁移效率。能提升迁移效率。能提升迁移效率。

【技术实现步骤摘要】
数据迁移的方法和装置、电子设备及存储介质


[0001]本申请涉及但不限于金融科技领域，尤其涉及一种数据迁移的方法和装置、电子设备及存储介质。

技术介绍

[0002]在金融科技领域，随着计算机技术的发展，越来越多的金融业务采用数据库进行交易数据的存储，对于一些已投入使用年限较久远的金融服务业务(如银行存取款以及转账)，其投入使用时没有考虑到日后交易数据量的剧增，当金融服务业务对应的数据库表增大到一定程度时，对表的操作性能出现极大的下滑，此时不得不对表进行迁移。同时，为实现在迁移过程中对待迁移的数据表的业务定制化需求，往往会采用微服务进行数据迁移，相关技术中，基于微服务进行数据迁移的方案，通常会部署一个微服务进行数据迁移，在迁移的数据量较大时，微服务的迁移效率受对应部署容器的其他微服务影响，从而导致迁移效率低，因此，亟需一种数据迁移的方法既能满足业务定制化需求又能提升迁移效率。

技术实现思路

[0003]本申请实施例的主要目的在于提出一种数据迁移的方法和装置、电子设备及存储介质，使得数据迁移既满足业务定制化需求又能提升迁移效率。
[0004]为实现上述目的，本申请实施例的第一方面提出了一种数据迁移的方法，所述方法包括：
[0005]获取配置的第一实例数量，并从预先部署的第二实例数量的迁移微服务实例中选取出第一实例数量的第一实例；其中，所述第二实例数量大于所述第一实例数量；
[0006]按照预设的比例调整规则，降低所述第一实例对应的部署容器的业务比重，并提升所述第二实例数量的迁移微服务实例中未被选取的第二实例对应的部署容器的业务比重；
[0007]根据预设的业务逻辑，将待迁移数据切分为第一实例数量的数据包，所述第一实例数量的数据包与所述第一实例数量的第一实例一一对应；
[0008]将第一实例数量的所述数据包通过对应的所述第一实例逐一发送给目标数据库。
[0009]在一些实施例，所述根据预设的业务逻辑，将待迁移数据切分为第一实例数量个数据包，包括：
[0010]根据所述待迁移数据中各表的关联关系，确定所述待迁移数据中的主表和从表；
[0011]将所述主表切分为第一个实例数量的第一数据集；
[0012]根据各所述第一数据集对所述从表进行数据拆分，得到与所述第一数据集一一对应的多个第二数据集；
[0013]根据所述业务逻辑，分别对各所述第一数据集和对应的所述第二数据集进行整合，得到第一实例数量的数据包。
[0014]在一些实施例，所述根据预设的业务逻辑，将待迁移数据切分为第一实例数量的
数据包，包括：
[0015]获取所述待迁移数据的第一数据大小；
[0016]根据所述第一数据大小和所述第一实例数量，确定各所述数据包对应的第二数据大小；其中，任意两个所述第二数据大小之差满足预设阈值；
[0017]根据各所述数据包对应的第二数据大小对所述待迁移数据进行切分，得到多个所述数据包。
[0018]在一些实施例，所述从预先部署的第二实例数量的迁移微服务实例中选取出第一实例数量的第一实例，包括：
[0019]按照已部署的部署容器的网络参数，对所述第二实例数量的迁移微服务实例进行排序；
[0020]从排序好的所述第二实例数量的迁移微服务实例中选取出前第一实例数量的第一实例。
[0021]在一些实施例，所述从预先部署的第二实例数量的迁移微服务实例中选取出第一实例数量的第一实例，还包括：
[0022]根据各所述第一实例的排列顺序，分别给各所述第一实例分配识别码；
[0023]对应的，所述将第一实例数量的所述数据包通过对应的所述第一实例逐一发送给目标数据库，包括：
[0024]将各所述识别码分别与各所述数据包一一关联；
[0025]分别将各所述数据包通过关联的所述识别码对应的第一实例逐一发送给目标数据库。
[0026]在一些实施例，所述方法还包括：
[0027]当存在故障的所述第一实例，将未故障的所述第一实例重新排序；
[0028]对重新排序后的各所述第一实例重新分配所述识别码；
[0029]按照预设的转换规则，确定未重新分配的所述识别码对应的分发码，其中，所述分发码与已分配的所述识别码一一对应；
[0030]将所述分发码对应的所述数据包通过对应的所述第一实例逐一发送给所述目标数据库。
[0031]在一些实施例，所述方法还包括：
[0032]在所述待迁移数据迁移过程中，按照预设的时长周期获取待迁移的更新数据；
[0033]对每一所述更新数据分别进行数据迁移。
[0034]为实现上述目的，本申请实施例的第二方面提出了一种数据迁移的装置，所述装置包括：
[0035]选取模块，用于获取配置的第一实例数量，并从预先部署的第二实例数量的迁移微服务实例中选取出第一实例数量的第一实例；其中，所述第二实例数量大于所述第一实例数量；
[0036]调整模块，用于按照预设的比例调整规则，降低所述第一实例对应的部署容器的业务比重，并提升所述第二实例数量的迁移微服务实例中未被选取的第二实例对应的部署容器的业务比重；
[0037]切分模块，用于根据预设的业务逻辑，将待迁移数据切分为第一实例数量的数据
包，所述第一实例数量的数据包与所述第一实例数量的第一实例一一对应；
[0038]迁移模块，用于将第一实例数量的所述数据包通过对应的所述第一实例逐一发送给目标数据库。
[0039]为实现上述目的，本申请实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的数据迁移的方法。
[0040]为实现上述目的，本申请实施例的第四方面提出了一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。
[0041]本申请提出的数据迁移的方法和装置、电子设备及存储介质,其通过从预先部署的第二实例数量的迁移微服务实例中选取出第一实例数量的第一实例，使得第二实例可以无需执行数据迁移，且通过调整第一实例和第二示例的业务比重，使得大部分的业务均通过第二实例对应的部署容器进行处理，从而可以为正常业务提供稳定服务的同时降低正常业务对数据迁移的影响。同时通过设置多个第一实例，能进一步压缩迁移所需的时间。而第一实例集成了业务逻辑，从而能实现对迁移数据的定制化迁移。因此，本申请实施例相对于相关技术，既能实现对迁移数据的定制化迁移也能提升迁移效率。
附图说明
[0042]图1是本申请实施例提供的数据迁移的方法的流程图；
[0043]图2是本申请实施例提供的数据迁移的方法中数据迁移的系统框架示意图；
[0044]图3是本申请实施例提供的数据迁移的方法中一种实施例对应的数据包拆分示意图；
[0045]图4是本申请实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据迁移的方法，其特征在于，所述方法包括：获取配置的第一实例数量，并从预先部署的第二实例数量的迁移微服务实例中选取出第一实例数量的第一实例；其中，所述第二实例数量大于所述第一实例数量；按照预设的比例调整规则，降低所述第一实例对应的部署容器的业务比重，并提升所述第二实例数量的迁移微服务实例中未被选取的第二实例对应的部署容器的业务比重；根据预设的业务逻辑，将待迁移数据切分为第一实例数量的数据包，所述第一实例数量的数据包与所述第一实例数量的第一实例一一对应；将第一实例数量的所述数据包通过对应的所述第一实例逐一发送给目标数据库。2.根据权利要求1所述的方法，其特征在于，所述根据预设的业务逻辑，将待迁移数据切分为第一实例数量个数据包，包括：根据所述待迁移数据中各表的关联关系，确定所述待迁移数据中的主表和从表；将所述主表切分为第一个实例数量的第一数据集；根据各所述第一数据集对所述从表进行数据拆分，得到与所述第一数据集一一对应的多个第二数据集；根据所述业务逻辑，分别对各所述第一数据集和对应的所述第二数据集进行整合，得到第一实例数量的数据包。3.根据权利要求1所述的数据迁移的方法，其特征在于，所述根据预设的业务逻辑，将待迁移数据切分为第一实例数量的数据包，包括：获取所述待迁移数据的第一数据大小；根据所述第一数据大小和所述第一实例数量，确定各所述数据包对应的第二数据大小；其中，任意两个所述第二数据大小之差满足预设阈值；根据各所述数据包对应的第二数据大小对所述待迁移数据进行切分，得到多个所述数据包。4.根据权利要求1所述的方法，其特征在于，所述从预先部署的第二实例数量的迁移微服务实例中选取出第一实例数量的第一实例，包括：按照已部署的部署容器的网络参数，对所述第二实例数量的迁移微服务实例进行排序；从排序好的所述第二实例数量的迁移微服务实例中选取出前第一实例数量的第一实例。5.根据权利要求4所述的方法，其特征在于，所述从预先部署的第二实例数量的迁移微服务实例中选取出第一实例数量的第一实例，还包括：根据各所...

【专利技术属性】
技术研发人员：刘钦，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：