【技术实现步骤摘要】
本申请涉及数据迁移，尤其涉及一种数据迁移方法、装置、终端设备及存储介质。
技术介绍
1、出于数据整合、升级、备份等需求，通常需要将数据从源系统迁移至目标系统。传统的数据迁移方法是在特定时间窗口之内，采用表对表的方式将大量的存量数据从源系统迁移至目标系统，也即每次都重新迁移所有数据，包括已经迁移过的数据，这导致了不必要的性能开销。并且，传统的数据迁移方法要求较长的时间窗口才能完成迁移，通过停机提供数据迁移所需的时间窗口可能会带来业务中断，引起用户不满。
2、综上，目前的数据迁移方法存在性能开销高且影响业务的问题。
技术实现思路
1、本申请的主要目的在于提供一种数据迁移方法、装置、终端设备及存储介质，旨在解决目前的数据迁移方法性能开销高且影响业务的问题。
2、为实现上述目的，本申请提供一种数据迁移方法，所述数据迁移方法包括：
3、对源系统的数据表进行持续监听，其中，所述源系统包括预设的若干个数据领域，任一数据领域包括至少一张对应的数据表；
4、若监听到所述源系统的数据表发生变化，则获取对应的数据表变化信息；
5、根据所述数据表变化信息，从所述若干个数据领域中确定发生变化的数据表对应的目标数据领域；
6、将所述目标数据领域的数据从所述源系统迁移至目标系统。
7、可选地，所述源系统设有源数据库，所述源数据库存储所述若干个数据领域对应的数据，所述对源系统的数据表进行持续监听的步骤包括：
8、持续获
9、根据所述数据表操作信息，对所述源系统的数据表进行持续监听。
10、可选地，所述根据所述数据表变化信息，从所述若干个数据领域中确定发生变化的数据表对应的目标数据领域的步骤包括：
11、从所述数据表变化信息之中，提取所述发生变化的数据表对应的目标数据表名；
12、根据所述目标数据表名从所述若干个数据领域中确定所述发生变化的数据表对应的目标数据领域。
13、可选地，所述若监听到所述源系统的数据表发生变化，则获取对应的数据表变化信息的步骤之后，所述根据所述数据表变化信息，从所述若干个数据领域中确定发生变化的数据表对应的目标数据领域的步骤之前，还包括：
14、生成所述数据表变化信息对应的消息，并将所述数据表变化信息对应的消息存入预设的分布式发布订阅消息kafka系统；
15、若监听到所述kafka系统发布的所述数据表变化信息对应的消息，则对所述数据表变化信息对应的消息进行解析，得到还原的数据表变化信息；
16、所述根据所述数据表变化信息，从所述若干个数据领域中确定发生变化的数据表对应的目标数据领域的步骤包括：
17、根据所述还原的数据表变化信息，从所述若干个数据领域中确定所述发生变化的数据表对应的目标数据领域。
18、可选地，所述将所述目标数据领域的数据从所述源系统迁移至目标系统的步骤包括：
19、对所述目标数据领域的层次关系进行分析，确定所述目标数据领域对应的根节点；
20、根据所述目标数据领域对应的根节点，获取所述目标数据领域对应的数据，并将所述目标数据领域对应的数据从所述源系统迁移至所述目标系统。
21、可选地，所述目标数据领域的数量为若干个，所述根据所述目标数据领域对应的根节点，获取所述目标数据领域对应的数据，并将所述目标数据领域对应的数据从所述源系统迁移至所述目标系统的步骤包括：
22、分别根据若干个目标数据领域各自对应的根节点生成对应的异步任务，并将若干个异步任务存储至预设的异步任务队列之中；
23、基于所述若干个异步任务，通过预设的java持久化接口获取所述若干个目标数据领域各自对应的数据，并将所述目标数据领域对应的数据从所述源系统迁移至所述目标系统。
24、可选地，所述将所述目标数据领域的数据从所述源系统迁移至目标系统的步骤之后，还包括：
25、获取所述目标数据领域对应的关键明细指标；
26、根据所述关键明细指标，从所述源系统获取所述目标数据领域的第一类关键明细数据，以及从所述目标系统获取所述目标数据领域的第二类关键明细数据；
27、将所述第一类关键明细数据和第二类关键明细数据进行对比，得到对比结果信息；
28、将所述对比结果信息存储至预设的对比记录表之中。
29、本申请实施例还提出一种数据迁移装置，所述数据迁移装置包括：
30、监听模块，用于对源系统的数据表进行持续监听，其中，所述源系统包括预设的若干个数据领域，任一数据领域包括至少一张对应的数据表；
31、获取模块，用于若监听到所述源系统的数据表发生变化，则获取对应的数据表变化信息；
32、确定模块，用于根据所述数据表变化信息，从所述若干个数据领域中确定发生变化的数据表对应的目标数据领域；
33、迁移模块，用于将所述目标数据领域的数据从所述源系统迁移至目标系统。
34、本申请实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据迁移程序，所述数据迁移程序被所述处理器执行时实现如上所述的数据迁移方法的步骤。
35、本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有数据迁移程序，所述数据迁移程序被处理器执行时实现如上所述的数据迁移方法的步骤。
36、本申请实施例提出的数据迁移方法、装置、终端设备及存储介质，通过对源系统的数据表进行持续监听，其中，所述源系统包括预设的若干个数据领域，任一数据领域包括至少一张对应的数据表；若监听到所述源系统的数据表发生变化，则获取对应的数据表变化信息；根据所述数据表变化信息，从所述若干个数据领域中确定发生变化的数据表对应的目标数据领域；将所述目标数据领域的数据从所述源系统迁移至目标系统。基于本申请方案，采用了基于数据领域的迁移方式，通过持续监听源系统的数据表变化，只在数据表发生变化时才进行迁移。如此可以实现增量迁移，在减少性能开销的同时降低了对业务的影响，提高了数据迁移的效率和可靠性。
本文档来自技高网...【技术保护点】
1.一种数据迁移方法，其特征在于，所述数据迁移方法包括：
2.如权利要求1所述的数据迁移方法，其特征在于，所述源系统设有源数据库，所述源数据库存储所述若干个数据领域对应的数据，所述对源系统的数据表进行持续监听的步骤包括：
3.如权利要求1所述的数据迁移方法，其特征在于，所述根据所述数据表变化信息，从所述若干个数据领域中确定发生变化的数据表对应的目标数据领域的步骤包括：
4.如权利要求1所述的数据迁移方法，其特征在于，所述若监听到所述源系统的数据表发生变化，则获取对应的数据表变化信息的步骤之后，所述根据所述数据表变化信息，从所述若干个数据领域中确定发生变化的数据表对应的目标数据领域的步骤之前，还包括：
5.如权利要求1所述的数据迁移方法，其特征在于，所述将所述目标数据领域的数据从所述源系统迁移至目标系统的步骤包括：
6.如权利要求5所述的数据迁移方法，其特征在于，所述目标数据领域的数量为若干个，所述根据所述目标数据领域对应的根节点，获取所述目标数据领域对应的数据，并将所述目标数据领域对应的数据从所述源系统迁移至所述目标系统
7.如权利要求1所述的数据迁移方法，其特征在于，所述将所述目标数据领域的数据从所述源系统迁移至目标系统的步骤之后，还包括：
8.一种数据迁移装置，其特征在于，所述数据迁移装置包括：
9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据迁移程序，所述数据迁移程序被所述处理器执行时实现如权利要求1-7中任一项所述的数据迁移方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据迁移程序，所述数据迁移程序被处理器执行时实现如权利要求1-7中任一项所述的数据迁移方法的步骤。
...【技术特征摘要】
1.一种数据迁移方法，其特征在于，所述数据迁移方法包括：
2.如权利要求1所述的数据迁移方法，其特征在于，所述源系统设有源数据库，所述源数据库存储所述若干个数据领域对应的数据，所述对源系统的数据表进行持续监听的步骤包括：
3.如权利要求1所述的数据迁移方法，其特征在于，所述根据所述数据表变化信息，从所述若干个数据领域中确定发生变化的数据表对应的目标数据领域的步骤包括：
4.如权利要求1所述的数据迁移方法，其特征在于，所述若监听到所述源系统的数据表发生变化，则获取对应的数据表变化信息的步骤之后，所述根据所述数据表变化信息，从所述若干个数据领域中确定发生变化的数据表对应的目标数据领域的步骤之前，还包括：
5.如权利要求1所述的数据迁移方法，其特征在于，所述将所述目标数据领域的数据从所述源系统迁移至目标系统的步骤包括：
6.如权利要求5所述的数...
【专利技术属性】
技术研发人员：范孝锋，李成，
申请(专利权)人：招商局金融科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。