一种智能分库实时数据迁移方法和装置制造方法及图纸

本发明专利技术公开了一种智能分库实时数据迁移方法、装置、电子设备和计算机可读介质。该方法包括：基于数据迁移指令生成多个迁移任务，各迁移任务是指将源数据库中的部分待迁移数据迁移至目标数据库，对于各迁移任务，首先将所述部分待迁移数据复制到所述目标数据库，然后校验复制到目标数据库中的数据与源数据库中的所述部分待迁移数据的一致性，若一致，则删除源数据库中的所述部分待迁移数据，该迁移任务完成，若不一致，则删除复制到目标数据库中的数据并重新执行该迁移任务，其中，在所述复制数据过程中，所述源数据库的所述待迁移数据的用户使用权限处于开放状态，在所述校验过程中，所述源数据库和所述目标数据库的用户使用权限处于关闭状态。

A real-time data migration method and device for intelligent sub base

【技术实现步骤摘要】
一种智能分库实时数据迁移方法和装置
本专利技术涉及计算机信息处理领域，具体而言，涉及一种智能分库实时数据迁移方法、装置、电子设备及计算机可读存储介质。
技术介绍
随着计算机技术的快速发展，各种各样的数据库类型以及数据库架构被越来越多地应用于工作和日常生活等诸多领域。为了提高数据交换效率，或者保证数据实时性等情况，通常需要在多个数据库之间进行数据同步或者数据迁移操作。目前，在数据同步或者迁移的过程中，通常会锁死源数据库和目标数据库，以保证同步或者迁移的准确性。在实现专利技术构思的过程中，专利技术人发现现有技术中至少存在如下问题，即，现有技术在数据同步或迁移的过程中限制了用户的使用权限，降低了数据库的可用性，导致用户体验不佳。
技术实现思路
本专利技术旨在解决现有技术在数据同步或迁移的过程中限制用户的使用权限，降低了数据库的可用性，导致用户体验不佳的问题。为了解决上述技术问题，本专利技术第一方面提出一种智能分库实时数据迁移方法，其特征在于，包括：基于数据迁移指令生成多个迁移任务，各迁移任务是指将源数据库中的部分待迁移数据迁移至目标数据库，对于各迁移任务，首先将所述部分待迁移数据复制到所述目标数据库，然后校验复制到目标数据库中的数据与源数据库中的所述部分待迁移数据的一致性，若一致，则删除源数据库中的所述部分待迁移数据，该迁移任务完成，若不一致，则删除复制到目标数据库中的数据并重新执行该迁移任务，其中，在所述复制数据过程中，所述源数据库的所述待迁移数据的用户使用权限处于开放状态，在所述校验过程中，所述源数据库和所述目标数据库的用户使用权限处于关闭状态。根据本专利技术的一种优选实施方式，所述基于数据迁移指令生成多个迁移任务，包括：基于所述源数据库中的待迁移数据的历史操作记录，将所述待迁移数据分成多个部分待迁移数据，基于所述多个部分待迁移数据生成多个迁移任务。根据本专利技术的一种优选实施方式，所述方法还包括：基于各迁移任务分别对应的部分待迁移数据确定各迁移任务的执行时间或者各迁移任务之间的执行顺序，基于所述各迁移任务的执行时间或者各迁移任务之间的执行顺序执行所述多个迁移任务。根据本专利技术的一种优选实施方式，所述基于各迁移任务分别对应的部分待迁移数据确定各迁移任务的执行时间，包括：基于各迁移任务分别对应的部分待迁移数据的历史操作记录，确定各迁移任务的可执行时间段，其中，每个迁移任务对应至少一个可执行时间段。根据本专利技术的一种优选实施方式，所述基于各迁移任务分别对应的部分待迁移数据确定各迁移任务之间的执行顺序，包括：基于各迁移任务分别对应的部分待迁移数据确定各迁移任务在其可执行时间段内的优先级。根据本专利技术的一种优选实施方式，所述基于所述各迁移任务的执行时间或者各迁移任务之间的执行顺序执行所述多个迁移任务，包括：在各时间段内，基于该时间段对应的可执行的迁移任务的优先级依次执行各可执行的迁移任务。根据本专利技术的一种优选实施方式，所述基于各迁移任务分别对应的部分待迁移数据确定各迁移任务在其可执行时间段内的优先级，包括：基于各迁移任务对应的可执行时间段的数量确定各迁移任务在其可执行时间段内的优先级，以及/或者基于各迁移任务对应的部分待迁移数据的数据量确定各迁移任务在其可执行时间段内的优先级，以及/或者基于各迁移任务对应的执行状况确定各迁移任务在其可执行时间段内的优先级。为了解决上述技术问题，本专利技术第二方面提出一种智能分库实时数据迁移装置。该装置包括任务生成模块和数据迁移模块。其中，任务生成模块用于基于数据迁移指令生成多个迁移任务，各迁移任务是指将源数据库中的部分待迁移数据迁移至目标数据库，数据迁移模块用于对于各迁移任务，首先将所述部分待迁移数据复制到所述目标数据库，然后校验复制到目标数据库中的数据与源数据库中的所述部分待迁移数据的一致性，若一致，则删除源数据库中的所述部分待迁移数据，该迁移任务完成，若不一致，则删除复制到目标数据库中的数据并重新执行该迁移任务。其中，在所述复制数据过程中，所述源数据库的所述待迁移数据的用户使用权限处于开放状态，在所述校验过程中，所述源数据库和所述目标数据库的用户使用权限处于关闭状态。根据本专利技术的一种优选实施方式，所述基于数据迁移指令生成多个迁移任务，包括：基于所述源数据库中的待迁移数据的历史操作记录，将所述待迁移数据分成多个部分待迁移数据，基于所述多个部分待迁移数据生成多个迁移任务。根据本专利技术的一种优选实施方式，所述装置还包括：第一确定模块，用于基于各迁移任务分别对应的部分待迁移数据确定各迁移任务的执行时间或者各迁移任务之间的执行顺序，任务执行模块，用于基于所述各迁移任务的执行时间或者各迁移任务之间的执行顺序执行所述多个迁移任务。根据本专利技术的一种优选实施方式，所述基于各迁移任务分别对应的部分待迁移数据确定各迁移任务的执行时间，包括：基于各迁移任务分别对应的部分待迁移数据的历史操作记录，确定各迁移任务的可执行时间段，其中，每个迁移任务对应至少一个可执行时间段。根据本专利技术的一种优选实施方式，所述基于各迁移任务分别对应的部分待迁移数据确定各迁移任务之间的执行顺序，包括：基于各迁移任务分别对应的部分待迁移数据确定各迁移任务在其可执行时间段内的优先级。根据本专利技术的一种优选实施方式，所述基于所述各迁移任务的执行时间或者各迁移任务之间的执行顺序执行所述多个迁移任务，包括：在各时间段内，基于该时间段对应的可执行的迁移任务的优先级依次执行各可执行的迁移任务。根据本专利技术的一种优选实施方式，所述基于各迁移任务分别对应的部分待迁移数据确定各迁移任务在其可执行时间段内的优先级，包括：基于各迁移任务对应的可执行时间段的数量确定各迁移任务在其可执行时间段内的优先级，以及/或者基于各迁移任务对应的部分待迁移数据的数据量确定各迁移任务在其可执行时间段内的优先级，以及/或者基于各迁移任务对应的执行状况确定各迁移任务在其可执行时间段内的优先级。为了解决上述技术问题，本专利技术第三方面提出一种电子设备，其包括处理器以及存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器执行上述的方法。为了解决上述技术问题，本专利技术第四方面提出一种计算机可读存储介质，该所述计算机可读存储介质存储一个或多个程序，当所述一个或多个程序被处理器执行时，实现上述的方法。由于本专利技术在复制数据的过程中开放源数据库的用户使用权限，仅在校验过程中关闭源数据库和目标数据库的用户使用权限，大大提高了数据库的可用性，减小了对用户的影响，提高了用户体验感。附图说明为了使本专利技术所解决的技术问题、采用的技术手段及取得的技术效果更加清楚，下面将参照附图详细描述本专利技术的具体实施例。但需声明的是，下面描述的附图仅仅是本专利技术的示例性实施例的附图，对于本领域的技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他实施例的附图。图1示意性示出了根据本专利技术实施例的智能分库实时数据迁移方法和装置的应用场景。图2示意性示出了根据本专利技术实施例的本文档来自技高网...

【技术保护点】
1.一种智能分库实时数据迁移方法，其特征在于，包括：/n基于数据迁移指令生成多个迁移任务，各迁移任务是指将源数据库中的部分待迁移数据迁移至目标数据库；/n对于各迁移任务，首先将所述部分待迁移数据复制到所述目标数据库，然后校验复制到目标数据库中的数据与源数据库中的所述部分待迁移数据的一致性，若一致，则删除源数据库中的所述部分待迁移数据，该迁移任务完成，若不一致，则删除复制到目标数据库中的数据并重新执行该迁移任务；/n其中，在所述复制数据过程中，所述源数据库的所述待迁移数据的用户使用权限处于开放状态，在所述校验过程中，所述源数据库和所述目标数据库的用户使用权限处于关闭状态。/n

【技术特征摘要】
1.一种智能分库实时数据迁移方法，其特征在于，包括：
基于数据迁移指令生成多个迁移任务，各迁移任务是指将源数据库中的部分待迁移数据迁移至目标数据库；
对于各迁移任务，首先将所述部分待迁移数据复制到所述目标数据库，然后校验复制到目标数据库中的数据与源数据库中的所述部分待迁移数据的一致性，若一致，则删除源数据库中的所述部分待迁移数据，该迁移任务完成，若不一致，则删除复制到目标数据库中的数据并重新执行该迁移任务；
其中，在所述复制数据过程中，所述源数据库的所述待迁移数据的用户使用权限处于开放状态，在所述校验过程中，所述源数据库和所述目标数据库的用户使用权限处于关闭状态。


2.根据权利要求1所述的方法，其特征在于，所述基于数据迁移指令生成多个迁移任务，包括：
基于所述源数据库中的待迁移数据的历史操作记录，将所述待迁移数据分成多个部分待迁移数据；
基于所述多个部分待迁移数据生成多个迁移任务。


3.根据权利要求1-2所述的方法，其特征在于，还包括：
基于各迁移任务分别对应的部分待迁移数据确定各迁移任务的执行时间或者各迁移任务之间的执行顺序；
基于所述各迁移任务的执行时间或者各迁移任务之间的执行顺序执行所述多个迁移任务。


4.根据权利要求1-3所述的方法，其特征在于，所述基于各迁移任务分别对应的部分待迁移数据确定各迁移任务的执行时间，包括：
基于各迁移任务分别对应的部分待迁移数据的历史操作记录，确定各迁移任务的可执行时间段，其中，每个迁移任务对应至少一个可执行时间段。


5.根据权利要求1-4所述的方法，其特征在于，所述基于各迁移任务分别对应的部分待迁移数据确定各迁移任务之间的执行顺序，包括：
基于各迁移任务分别对应的部分待迁移数据确定各迁移任务在其可执行时间段内的优先级。


6.根据权利要求1-...

【专利技术属性】
技术研发人员：罗天，宋荣鑫，黄建庭，肖卫渭，
申请(专利权)人：北京淇瑀信息科技有限公司，
类型：发明
国别省市：北京;11