数据迁移方法、装置、设备、介质和产品制造方法及图纸

本申请涉及一种数据迁移方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：首先获取源数据表中的全量数据，然后根据预设规则对全量数据进行分片得到多片分片数据，并对每片分片数据设置对应的预设分表标识，接着根据预设规则建立多个目标数据表，最后根据预设分表标识和预设数据迁移标识，将分片数据迁移至对应的目标数据表。本申请提供的方法，通过数据分片、预设规则以及预设分表标识将数据从源数据表迁移至目标数据表，能够减少数据迁移过程中的工作量，并提高数据迁移的效率。效率。效率。

【技术实现步骤摘要】
数据迁移方法、装置、设备、介质和产品


[0001]本申请涉及数据处理
，特别是涉及一种数据迁移方法、装置、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]随着移动互联网和智能设备的快速发展和普及，互联网应用的数据库处理数据的压力越来越大、用户对请求响应时间的要求也愈加苛刻，同时应用对数据库能够稳定的提供服务的要求也越来越高。随着业务数据的增长，原有的数据表中的数据量增长过快，当数据增长超出预期数据量时，就需要将原数据表中的数据迁移至新的数据表中。
[0003]目前，常用的数据迁移的方法是停机进行数据迁移，在迁移期间数据库不能正常对外提供服务，针对于大数据停机迁移方案，停机时间长，且一次性数据比对量大，若迁移未成功，需再次停机尝试，此数据迁移的方法工作量大，并且数据迁移的效率较低。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提高数据迁移效率的数据迁移方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0005]第一方面，本申请提供了一种数据迁移方法。所述方法包括：
[0006]获取源数据表中的全量数据；
[0007]根据预设规则对所述全量数据进行分片得到多片分片数据，并对每片所述分片数据设置对应的预设分表标识；
[0008]根据所述预设规则建立多个目标数据表；
[0009]根据所述预设分表标识和预设数据迁移标识，将所述分片数据迁移至对应的所述目标数据表。
[0010]在其中一个实施例中，所述方法还包括：
[0011]接收数据访问请求，所述数据访问请求携带有目标维度值；
[0012]获取所述源数据表以及所述目标数据表的目标维度的分配结果；
[0013]根据所述目标维度值以及所述分配结果，确定所述数据访问请求对应的访问数据表；
[0014]对所述访问数据表进行数据访问得到与所述数据访问请求对应的访问结果。
[0015]在其中一个实施例中，所述根据所述预设分表标识和预设数据迁移标识，将所述分片数据迁移至对应的所述目标数据表之后，所述方法包括：
[0016]判断所述目标数据表中的数据与所述全量数据是否一致；
[0017]若所述目标数据表中的数据与所述全量数据不一致，则删除所述目标数据表中的数据。
[0018]在其中一个实施例中，所述根据所述预设分表标识和预设数据迁移标识，将所述分片数据迁移至对应的所述目标数据表之后，所述方法包括：
[0019]获取预设时间间隔；
[0020]从所述源数据表中获取所述预设时间间隔所产生的第一增量数据；
[0021]将所述第一增量数据迁移至所述目标数据表中。
[0022]在其中一个实施例中，所述将所述第一增量数据迁移至所述目标数据表中之后，所述方法包括：
[0023]判断所述目标数据表中的数据与所述源数据表中的数据是否一致；
[0024]若所述目标数据表中的数据与所述源数据表中的数据不一致，则删除所述目标数据表中的所有数据，并控制所有所述访问用户访问所述源数据表。
[0025]在其中一个实施例中，所述判断所述目标数据表中的数据与所述源数据表中的数据是否一致之后，还包括：
[0026]若所述目标数据表中的数据与所述源数据表中的数据一致，则对所述分配结果进行修改，以增加所述目标数据表的对应目标维度的值，直至所述目标数据表的对应目标维度的值为完整的目标维度的值。
[0027]第二方面，本申请还提供了一种数据迁移装置。所述装置包括：
[0028]获取模块，用于获取源数据表中的全量数据；
[0029]分片模块，用于根据预设规则对所述全量数据进行分片得到多片分片数据，并对每片所述分片数据设置对应的预设分表标识；
[0030]建立模块，用于根据所述预设规则建立多个目标数据表；
[0031]迁移模块，用于根据所述预设分表标识和预设数据迁移标识，将所述分片数据迁移至对应的所述目标数据表。
[0032]第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的任意一个实施例中的方法的步骤。
[0033]第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的任意一个实施例中的方法的步骤。
[0034]第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述的任意一个实施例中的方法的步骤。
[0035]上述数据迁移方法、装置、计算机设备、存储介质和计算机程序产品，首先获取源数据表中的全量数据，然后根据预设规则对全量数据进行分片得到多片分片数据，并对每片分片数据设置对应的预设分表标识，接着根据预设规则建立多个目标数据表，最后根据预设分表标识和预设数据迁移标识，将分片数据迁移至对应的目标数据表。本申请提供的方法，通过数据分片、预设规则以及预设分表标识将数据从源数据表迁移至目标数据表，能够减少数据迁移过程中的工作量，并提高数据迁移的效率。
附图说明
[0036]图1为一个实施例中数据迁移方法的应用环境图；
[0037]图2为一个实施例中数据迁移方法的流程示意图；
[0038]图3为一个实施例中访问结果确定方法的流程示意图；
[0039]图4为一个实施例中数据迁移装置的结构框图；
[0040]图5为一个实施例中计算机设备的内部结构图。
具体实施方式
[0041]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0042]本申请实施例提供的数据迁移方法，可以应用于如图1所示的应用环境中。其中，图1包括服务器102、源数据表104和目标数据表106，服务器102通过网络与源数据表104以及目标数据表106进行通信。具体地，服务器102获取源数据表104中的全量数据，并根据预设规则对获取的数据进行分片得到分片数据，最后将分片数据迁移至对应的目标数据表106中。
[0043]在一个实施例中，如图2所示，提供了一种数据迁移方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
[0044]S202、获取源数据表中的全量数据。
[0045]源数据表指的是需要把数据迁移出去的数据表，全量数据指的是当前源数据表中的全部数据。
[0046]具体地，服务器从源数据表中获取当前源数据表中的全部数据。
[0047]S204、根据预设规则对全量数据进行分片得到多片分片数据，并对每片分片数据设置对应的预设分表标识。
[0048]预设规则指的是根据源数据表中数据类型制定的数据分片规则，利用预设规则能够将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据迁移方法，其特征在于，所述方法包括：获取源数据表中的全量数据；根据预设规则对所述全量数据进行分片得到多片分片数据，并对每片所述分片数据设置对应的预设分表标识；根据所述预设规则建立多个目标数据表；根据所述预设分表标识和预设数据迁移标识，将所述分片数据迁移至对应的所述目标数据表。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：接收数据访问请求，所述数据访问请求携带有目标维度值；获取所述源数据表以及所述目标数据表的目标维度的分配结果；根据所述目标维度值以及所述分配结果，确定所述数据访问请求对应的访问数据表；对所述访问数据表进行数据访问得到与所述数据访问请求对应的访问结果。3.根据权利要求2所述的方法，其特征在于，所述根据所述预设分表标识和预设数据迁移标识，将所述分片数据迁移至对应的所述目标数据表之后，所述方法包括：判断所述目标数据表中的数据与所述全量数据是否一致；若所述目标数据表中的数据与所述全量数据不一致，则删除所述目标数据表中的数据。4.根据权利要求2所述的方法，其特征在于，所述根据所述预设分表标识和预设数据迁移标识，将所述分片数据迁移至对应的所述目标数据表之后，所述方法包括：获取预设时间间隔；从所述源数据表中获取所述预设时间间隔所产生的第一增量数据；将所述第一增量数据迁移至所述目标数据表中。5.根据权利要求4所述的方法，其特征在于，所述将所述第一增量数据迁移至所述目标数据表中之后，所述方法包括：判断所述目标...

【专利技术属性】
技术研发人员：吴博文，高东，李森，姜莹洁，周星星，
申请(专利权)人：上海浦东发展银行股份有限公司，
类型：发明
国别省市：