数据迁移方法以及装置制造方法及图纸

本说明书实施例提供数据迁移方法以及装置，其中所述数据迁移方法包括：获取针对源数据库的迁移请求，创建所述源数据库中待迁移数据的快照，并将所述快照迁移至目标数据库，读取所述源数据库的主副本数据库中存储的数据迁移日志，并向所述目标数据库同步，根据所述主副本数据库的路由规则，对所述目标数据库的目标主副本数据库进行路由配置。

【技术实现步骤摘要】
数据迁移方法以及装置
本说明书实施例涉及数据库
，特别涉及一种数据迁移方法。本说明书一个或者多个实施例同时涉及一种数据迁移装置，一种计算设备，以及一种计算机可读存储介质。
技术介绍
随着科技的发展，互联网已经深入到社会生活的方方面面，给人们的工作、生活和学习等带来了巨大的便利。在互联网业务运营中，在某些特定的时间段，往往会遇到数据流量激增(数据库容量需求大幅增加)或的数据流量骤减(数据库容量需求减少)的情况。在分布式数据库中，为了满足弹性需求，一般需要具备横向节点扩缩容的线性能力。扩缩容过程中，为了满足存储和计算负载的均衡，需要在节点间进行数据迁移，而数据迁移效率影响线性扩缩期间系统的可用性和性能，例如，若使用通信链路直接发送数据块，由于通信链路要求延时短，因此会限制其数据分片的大小，缺乏灵活性；或者，当数据集较大时，可能阻塞同步和通信链路，影响数据同步效率。因此，亟需一种数据迁移方法，以克服此类问题。
技术实现思路
有鉴于此，本说明书施例提供了一种数据迁移方法。本说明书一个或者多个实施例同时涉及一种数据迁移装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。根据本说明书实施例的第一方面，提供了一种数据迁移方法，包括：获取针对源数据库的迁移请求；创建所述源数据库中待迁移数据的快照，并将所述快照迁移至目标数据库；读取所述源数据库的主副本数据库中存储的数据迁移日志，并向所述目标数据库同步；根据所述主副本数据库的路由规则，对所述目标数据库的目标主副本数据库进行路由配置。可选地，所述源数据库由所述主副本数据库以及至少一个从副本数据库组成；所述目标数据库由至少两个副本数据库组成。可选地，所述数据迁移日志通过以下方式向所述目标数据库同步：基于所述主副本数据库、所述至少一个从副本数据库以及所述至少两个副本数据库建立日志同步链路；按照所述日志同步链路中各个节点的上下游连接关系，向所述目标数据库同步所述数据迁移日志。可选地，所述按照所述日志同步链路中各个节点的上下游连接关系，向所述目标数据库同步所述数据迁移日志，包括：将所述数据迁移日志由所述主副本数据库同步至所述至少一个从副本数据库；将所述数据迁移日志由所述至少一个从副本数据库同步至所述至少两个副本数据库。可选地，所述根据所述主副本数据库的路由规则，对所述目标数据库的目标主副本数据库进行路由配置，包括：将所述目标数据库中包含的任意一个副本数据库确定为所述目标主副本数据库；根据所述主副本数据库的路由规则为所述目标主副本数据库进行路由配置。可选地，所述目标主副本数据库通过以下方式确定：基于所述至少两个副本数据库的标识信息向所述源数据库发起选举；所述选举用于从所述至少两个副本数据库中选举出所述目标主副本数据库；获取所述主副本数据库以及至少一个从副本数据库提交的投票结果；对所述投票结果进行统计，将所述至少两个副本数据库中首个获得投票数大于预设阈值的副本数据库确定为所述目标主副本数据库。可选地，所述创建所述源数据库中待迁移数据的快照，并将所述快照迁移至目标数据库，包括：创建所述源数据库的主副本数据库或任意一个从副本数据库中全量待迁移数据的快照；按照预设迁移方式将所述快照迁移至所述目标数据库。可选地，所述读取所述源数据库的主副本数据库中存储的数据迁移日志，并向所述目标数据库同步步骤执行之后，所述根据所述主副本数据库的路由规则，对所述目标数据库的目标主副本数据库进行路由配置步骤执行之前，还包括：判断所述数据迁移日志中同步完成的日志条目数值是否满足预设阈值；若是，则确定所述数据迁移日志的同步进度满足预设进度阈值，执行所述根据所述源数据库中主副本数据库的路由规则为所述目标数据库的目标主副本数据库进行路由配置的步骤。可选地，所述根据所述源数据库中主副本数据库的路由规则为所述目标数据库的目标主副本数据库进行路由配置步骤执行之后，还包括：接收数据读写请求；根据所述数据读取请求中的请求数据标识，查找对应的目标主副本数据库；根据所述目标主副本数据库的数据读写路由规则，对所述目标主副本数据库执行数据读写操作。根据本说明书实施例的第二方面，提供了一种数据迁移装置，包括：获取模块，被配置为获取针对源数据库的迁移请求；创建模块，被配置为创建所述源数据库中待迁移数据的快照，并将所述快照迁移至目标数据库；读取模块，被配置为读取所述源数据库的主副本数据库中存储的数据迁移日志，并向所述目标数据库同步；配置模块，被配置为根据所述主副本数据库的路由规则，对所述目标数据库的目标主副本数据库进行路由配置。根据本说明书实施例的第三方面，提供了一种计算设备，包括：存储器和处理器；所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令：获取针对源数据库的迁移请求；创建所述源数据库中待迁移数据的快照，并将所述快照迁移至目标数据库；读取所述源数据库的主副本数据库中存储的数据迁移日志，并向所述目标数据库同步；根据所述主副本数据库的路由规则，对所述目标数据库的目标主副本数据库进行路由配置。根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现所述数据迁移方法的步骤。本说明书一个实施例通过获取针对源数据库的迁移请求，创建所述源数据库中待迁移数据的快照，并将所述快照迁移至目标数据库，读取所述源数据库的主副本数据库中存储的数据迁移日志，并向所述目标数据库同步，根据所述主副本数据库的路由规则，对所述目标数据库的目标主副本数据库进行路由配置；实现了通过快照导出方式将源数据库中的待迁移数据全量迁移至目标数据库，另外，以增量同步的方式同步数据迁移日志，在日志同步过程中进行路由切换，一方面，不会阻塞用于增量同步的同步链路，有利于提高日志同步的效率；另一方面，在全量迁移过程中未进行路由切换，因此，在全量迁移过程中可正常进行数据读写，有利于提高数据读写效率。附图说明图1是本说明书一个实施例提供的一种数据迁移方法的处理流程图；图2是本说明书一个实施例提供的一种数据库扩容过程的示意图；图3是本说明书一个实施例提供的一种数据迁移方法的处理过程流程图；图4是本说明书一个实施例提供的一种数据迁移装置的示意图；图5是本说明书一个实施例提供的一种计算设备的结构框图。具体实施方式在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的本文档来自技高网...

【技术保护点】
1.一种数据迁移方法，包括：/n获取针对源数据库的迁移请求；/n创建所述源数据库中待迁移数据的快照，并将所述快照迁移至目标数据库；/n读取所述源数据库的主副本数据库中存储的数据迁移日志，并向所述目标数据库同步；/n根据所述主副本数据库的路由规则，对所述目标数据库的目标主副本数据库进行路由配置。/n

【技术特征摘要】
1.一种数据迁移方法，包括：
获取针对源数据库的迁移请求；
创建所述源数据库中待迁移数据的快照，并将所述快照迁移至目标数据库；
读取所述源数据库的主副本数据库中存储的数据迁移日志，并向所述目标数据库同步；
根据所述主副本数据库的路由规则，对所述目标数据库的目标主副本数据库进行路由配置。


2.根据权利要求1所述的数据迁移方法，所述源数据库由所述主副本数据库以及至少一个从副本数据库组成；所述目标数据库由至少两个副本数据库组成。


3.根据权利要求2所述的数据迁移方法，所述数据迁移日志通过以下方式向所述目标数据库同步：
基于所述主副本数据库、所述至少一个从副本数据库以及所述至少两个副本数据库建立日志同步链路；
按照所述日志同步链路中各个节点的上下游连接关系，向所述目标数据库同步所述数据迁移日志。


4.根据权利要求3所述的数据迁移方法，所述按照所述日志同步链路中各个节点的上下游连接关系，向所述目标数据库同步所述数据迁移日志，包括：
将所述数据迁移日志由所述主副本数据库同步至所述至少一个从副本数据库；
将所述数据迁移日志由所述至少一个从副本数据库同步至所述至少两个副本数据库。


5.根据权利要求2所述的数据迁移方法，所述根据所述主副本数据库的路由规则，对所述目标数据库的目标主副本数据库进行路由配置，包括：
将所述目标数据库中包含的任意一个副本数据库确定为所述目标主副本数据库；
根据所述主副本数据库的路由规则为所述目标主副本数据库进行路由配置。


6.根据权利要求2所述的数据迁移方法，所述目标主副本数据库通过以下方式确定：
基于所述至少两个副本数据库的标识信息向所述源数据库发起选举；所述选举用于从所述至少两个副本数据库中选举出所述目标主副本数据库；
获取所述主副本数据库以及至少一个从副本数据库提交的投票结果；
对所述投票结果进行统计，将所述至少两个副本数据库中首个获得投票数大于预设阈值的副本数据库确定为所述目标主副本数据库。


7.根据权利要求1所述的数据迁移方法，所述创建所述源数据库中待迁移数据的快照，并将所述快照迁移至目标数据库，包括：
创建所述...

【专利技术属性】
技术研发人员：李鑫，潘岳，张浩然，郑博文，李飞飞，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY