【技术实现步骤摘要】
本申请涉及数据迁移，尤其涉及一种数据迁移方法、装置、设备和存储介质。
技术介绍
1、数据迁移是指将一个已有的数据库平台中的数据、架构和其他相关内容从一种数据库平台转移到另一种数据库平台。随着业务的发展和需求的变化，数据迁移成为一项关键任务，通过数据迁移以实现节省成本、增强可靠性、实现可扩展性等目标。
2、现有的数据迁移方法通过写入模块从源端读取数据后放入中间模块，以使写入模块从中间模块中获取待迁移的数据并写入目标端以实现同构或异构数据源与目标端数据库之间的数据迁移；然而，现有的数据迁移方法存在数据迁移效率较低，导致用户体验感较差的问题。
技术实现思路
1、本申请提供一种数据迁移方法、装置、设备和存储介质，用以解决现有的数据迁移方法数据迁移效率较低，导致用户体验感较差的问题。
2、第一方面，本申请提供一种数据迁移方法，该方法包括：
3、获取源端数据库的数据迁移请求，所述数据迁移请求用于指示对源端数据库内的多个数据表的数据进行数据迁移处理；
4、根据所述数据迁移请求，生成预设数量个迁移子任务，并从所述源端数据库中读取所述多个数据表的数据，所述预设数量是根据所述数据迁移请求对应的并发数确定的；
5、采用所述预设数量个迁移子任务，对所述多个数据表的数据进行数据迁移处理。
6、可选的，所述采用所述预设数量个迁移子任务，对所述多个数据表的数据进行数据迁移处理，包括：
7、根据每个数据表的数据量，对所述多个数据表
8、根据多个数据表的序列号，控制所述预设数量个迁移子任务并行对所述多个数据表的数据进行数据迁移处理。
9、可选的，所述根据多个数据表的序列号，控制所述预设数量个迁移子任务并行对所述多个数据表的数据进行数据迁移处理，包括：
10、控制所述预设数量个迁移子任务中的第一迁移子任务按照序列号从小到大的顺序对所述多个数据表的数据进行数据迁移处理，其中，所述第一迁移子任务为所述预设数量个迁移子任务中的任意一个；
11、控制所述预设数量个迁移子任务中的第二迁移子任务按照序列号从大到小的顺序对所述多个数据表的数据进行数据迁移处理，其中，所述第二迁移子任务为所述预设数量个迁移子任务中除去所述第一迁移子任务之外的迁移子任务。
12、可选的，所述根据多个数据表的序列号，控制所述预设数量个迁移子任务并行对所述多个数据表的数据进行数据迁移处理，包括：
13、根据所述多个数据表的序列号以及每个迁移子任务的数据迁移处理规则，为每个迁移子任务创建对应的读取任务、写入任务、消息队列以及任务监控，所述消息队列用于存储所述读取任务发送的目标数据表的数据；
14、依次启动所述读取任务以及所述写入任务；
15、启动所述任务监控对所述目标数据表的迁移进度进行监控，并记录所述目标数据表的迁移信息以及迁移状态。
16、可选的，所述读取任务包括：目标读取任务和第一读取子任务，所述启动所述读取任务，包括：
17、为所述目标数据表创建对应的读取实例，所述读取实例包括所述对应的目标数据表的元数据信息；
18、根据所述元数据信息，判断所述目标数据表对应的目标读取任务是否满足第一拆分条件；
19、若是，则根据所述目标数据表中的数据量和预设数据量阈值，判断所述目标读取任务是否满足第二拆分条件；
20、当所述目标数据表中的数据量大于所述预设数据量阈值时，则确定所述目标读取任务满足所述第二拆分条件，并根据所述目标数据表的数据生成多个查询语句，根据所述多个查询语句对所述目标读取任务进行拆分处理，得到多个读取子任务；
21、对所述多个读取子任务进行排序处理，得到读取子任务序列，并启动所述读取子任务序列中的第一读取子任务。
22、可选的，所述读取任务还包括：第二读取子任务，所述启动所述读取子任务序列中的第一读取子任务之后，所述方法还包括：
23、根据所述目标数据表的迁移信息和迁移状态，判断所述目标数据表是否需要启动所述第二读取子任务；
24、若是，则根据所述源端数据库处于正常状态的迁移子任务的数量，判断是否启动所述第二读取子任务；
25、当所述迁移子任务的数量小于预设迁移并发数时，根据所述读取子任务序列中所述第二读取子任务对应的查询语句，启动所述第二读取子任务；
26、当所述迁移子任务的数量等于预设迁移并发数时，在预设时长之后重新判断所述目标数据表是否需要启动所述第二读取子任务，直至启动的读取子任务的数量与所述读取子任务序列中的读取子任务数量相同。
27、可选的，所述写入任务包括：第一写入任务，所述启动所述写入任务包括：
28、根据所述目标数据表对应的写入任务的数量和读取任务的数量，判断所述目标数据表是否需要启动第一写入任务；
29、当所述目标数据表对应的写入任务的数量小于读取任务的数量时，启动所述第一写入任务；
30、当所述目标数据表对应的写入任务的数量大于读取任务的数量时，判断当前处于运行状态的写入任务的数量是否小于预设写入并发数；
31、若是，则启动所述第一写入任务；
32、若否，则在所述预设时长之后重新判断所述目标数据表是否需要启动所述第一写入任务，直至启动的写入任务的数量与预设的读写参数匹配为止。
33、第二方面，本申请提供一种数据迁移装置，该装置包括：
34、获取模块，用于获取源端数据库的数据迁移请求，所述数据迁移请求用于指示对源端数据库内的多个数据表的数据进行数据迁移处理；
35、处理模块，用于根据所述数据迁移请求，生成预设数量个迁移子任务，并从所述源端数据库中读取所述多个数据表的数据，所述预设数量是根据所述数据迁移请求对应的并发数确定的；
36、所述处理模块，还用于采用所述预设数量个迁移子任务，对所述多个数据表的数据进行数据迁移处理。
37、可选的，所述处理模块，还用于根据每个数据表的数据量，对所述多个数据表进行排序处理，得到每个数据表的序列号；
38、所述处理模块，还用于根据多个数据表的序列号，控制所述预设数量个迁移子任务并行对所述多个数据表的数据进行数据迁移处理。
39、可选的，所述装置还包括：控制模块；
40、所述控制模块，用于控制所述预设数量个迁移子任务中的第一迁移子任务按照序列号从小到大的顺序对所述多个数据表的数据进行数据迁移处理，其中，所述第一迁移子任务为所述预设数量个迁移子任务中的任意一个；
41、所述控制模块，还用于控制所述预设数量个迁移子任务中的第二迁移子任务按照序列号从大到小的顺序对所述多个数据表的数据进行数据迁移处理，其中，所述第二迁移子任务为所述预设数量个迁移子任务中除去所述第一迁移子任务之外的迁移子任务。
42本文档来自技高网...
【技术保护点】
1.一种数据迁移方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述采用所述预设数量个迁移子任务，对所述多个数据表的数据进行数据迁移处理，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据多个数据表的序列号，控制所述预设数量个迁移子任务并行对所述多个数据表的数据进行数据迁移处理，包括：
4.根据权利要求2所述的方法，其特征在于，所述根据多个数据表的序列号，控制所述预设数量个迁移子任务并行对所述多个数据表的数据进行数据迁移处理，包括：
5.根据权利要求4所述的方法，其特征在于，所述读取任务包括：目标读取任务和第一读取子任务，所述启动所述读取任务，包括：
6.根据权利要求5所述的方法，其特征在于，所述读取任务还包括：第二读取子任务，所述启动所述读取子任务序列中的第一读取子任务之后，所述方法还包括：
7.根据权利要求4所述的方法，其特征在于，所述写入任务包括：第一写入任务，所述启动所述写入任务包括：
8.一种数据迁移装置，其特征在于，所述装置包括：
9.一
10.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-7中任一项所述的数据迁移方法。
...【技术特征摘要】
1.一种数据迁移方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述采用所述预设数量个迁移子任务，对所述多个数据表的数据进行数据迁移处理，包括：
3.根据权利要求2所述的方法，其特征在于，所述根据多个数据表的序列号，控制所述预设数量个迁移子任务并行对所述多个数据表的数据进行数据迁移处理，包括：
4.根据权利要求2所述的方法，其特征在于，所述根据多个数据表的序列号，控制所述预设数量个迁移子任务并行对所述多个数据表的数据进行数据迁移处理，包括：
5.根据权利要求4所述的方法，其特征在于，所述读取任务包括：目标读取任务和第一读取...
【专利技术属性】
技术研发人员：邱永刚，张炳涛，唐素珍，肖微，张伟，牛军，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。