数据迁移方法及装置制造方法及图纸

技术编号:20362395 阅读:21 留言:0更新日期:2019-02-16 16:19
本说明书一个或多个实施例公开了一种数据迁移方法及装置,用以提高数据段的迁移成功率及迁移性能。所述方法包括:在将第一服务器内的待迁移数据段迁移至第二服务器时,确定所述待迁移数据段的第一数量;及,确定所述第一服务器对应的满足预设条件的最大迁移量;根据所述第一数量及所述最大迁移量,确定针对所述待迁移数据段的迁移策略;其中,所述迁移策略至少包括迁移次数和/或单次迁移量;根据所述迁移策略将所述待迁移数据段迁移至所述第二服务器。

【技术实现步骤摘要】
数据迁移方法及装置
本说明书涉及数据处理
,尤其涉及一种数据迁移方法及装置。
技术介绍
在传统通过哈希槽原理来解决数据均衡性的缓存集群中,往往会根据服务器总量和哈希槽总量来计算单台服务器应该存储的数据段,并且每个服务器会维护一份自身所管理的数据段。新增服务器时会重新计算每台服务器需要维护的数据段,并且根据计算结果调整数据段,完成数据段的迁移后,旧服务器维护需要迁移的数据段以及迁移后的数据段,新服务器维护需要迁入的数据段。现有技术中,通常采用数据平均分配的方式对服务器所维护的数据段进行迁移。例如,假定集群服务器数量为n,迁移前每个服务器维护的数据段数量为h/n,当服务器需要扩容时,假定增加t个服务器,那么每个服务器维护的数据段数量为h/(n+t),原有的每个服务器需要迁移的数据段数量为(h/n)-h/(n+t)。在数据段的迁移过程中,若随着数据段的迁移数量的增长,很容易造成服务器稳定性指标的明显变化,甚至导致服务器停止响应。
技术实现思路
本说明书一个或多个实施例的目的是提供一种数据迁移方法及装置,用以提高数据段的迁移成功率及迁移性能。为解决上述技术问题,本说明书一个或多个实施例是这样实现的:一方面,本说明书一个或多个实施例提供一种数据迁移方法,包括:在将第一服务器内的待迁移数据段迁移至第二服务器时,确定所述待迁移数据段的第一数量;及,确定所述第一服务器对应的满足预设条件的最大迁移量;根据所述第一数量及所述最大迁移量,确定针对所述待迁移数据段的迁移策略;其中,所述迁移策略至少包括迁移次数和/或单次迁移量;根据所述迁移策略将所述待迁移数据段迁移至所述第二服务器。在一个实施例中,所述预设条件包括以下至少一项:所述最大迁移量小于或等于第一预设阈值;当迁移所述最大迁移量个所述待迁移数据段时,与所述第一服务器相关的指定参数的变化值不超过第二预设阈值。在一个实施例中,所述根据所述第一数量及所述最大迁移量,确定针对所述待迁移数据段的迁移策略,包括:若所述第一数量小于或等于所述最大迁移量,则确定所述迁移策略为直接将所述待迁移数据段迁移至所述第二服务器;若所述第一数量大于所述最大迁移量,则根据所述第一数量及所述最大迁移量确定所述待迁移数据段的迁移次数和/或单次迁移量。在一个实施例中,所述根据所述第一数量及所述最大迁移量确定对所述待迁移数据段的迁移次数和/或单次迁移量,包括:计算所述第一数量与所述最大迁移量的商值和/或余数;根据所述商值和/或余数确定所述迁移次数。在一个实施例中,所述根据所述第一数量及所述最大迁移量确定对所述待迁移数据段的迁移次数之后,所述根据所述迁移策略将所述待迁移数据段迁移至所述第二服务器,包括:创建所述迁移次数个、用于迁移所述待迁移数据段的迁移任务;确定各所述迁移任务分别对应的单次迁移量,所述单次迁移量小于或等于所述最大迁移量;根据所述单次迁移量,分别执行所述迁移任务。另一方面,本说明书一个或多个实施例提供一种数据迁移装置,包括:第一确定模块,用于在将第一服务器内的待迁移数据段迁移至第二服务器时,确定所述待迁移数据段的第一数量;及,确定所述第一服务器对应的满足预设条件的最大迁移量;第二确定模块,用于根据所述第一数量及所述最大迁移量,确定针对所述待迁移数据段的迁移策略;其中,所述迁移策略至少包括迁移次数和/或单次迁移量;迁移模块,用于根据所述迁移策略将所述待迁移数据段迁移至所述第二服务器。在一个实施例中,所述预设条件包括以下至少一项:所述最大迁移量小于或等于第一预设阈值;当迁移所述最大迁移量个所述待迁移数据段时,与所述第一服务器相关的指定参数的变化值不超过第二预设阈值。在一个实施例中,所述第二确定模块包括:第一确定单元,用于若所述第一数量小于或等于所述最大迁移量,则确定所述迁移策略为直接将所述待迁移数据段迁移至所述第二服务器;第二确定单元,用于若所述第一数量大于所述最大迁移量,则根据所述第一数量及所述最大迁移量确定所述待迁移数据段的迁移次数和/或单次迁移。在一个实施例中,所述第二确定单元还用于:计算所述第一数量与所述最大迁移量的商值和/或余数;根据所述商值和/或余数确定所述迁移次数。在一个实施例中,所述迁移模块包括:创建单元,用于所述根据所述第一数量及所述最大迁移量确定对所述待迁移数据段的迁移次数之后,创建所述迁移次数个、用于迁移所述待迁移数据段的迁移任务;第三确定单元,用于确定各所述迁移任务分别对应的单次迁移量,所述单次迁移量小于或等于所述最大迁移量;执行单元,用于根据所述单次迁移量,分别执行所述迁移任务。再一方面,本说明书一个或多个实施例提供一种数据迁移设备,包括:处理器;以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器:在将第一服务器内的待迁移数据段迁移至第二服务器时,确定所述待迁移数据段的第一数量;及,确定所述第一服务器对应的满足预设条件的最大迁移量;根据所述第一数量及所述最大迁移量,确定针对所述待迁移数据段的迁移策略;其中,所述迁移策略至少包括迁移次数和/或单次迁移量;根据所述迁移策略将所述待迁移数据段迁移至所述第二服务器。再一方面,本申请实施例提供一种存储介质,用于存储计算机可执行指令,所述可执行指令在被执行时实现以下流程:在将第一服务器内的待迁移数据段迁移至第二服务器时,确定所述待迁移数据段的第一数量;及,确定所述第一服务器对应的满足预设条件的最大迁移量;根据所述第一数量及所述最大迁移量,确定针对所述待迁移数据段的迁移策略;其中,所述迁移策略至少包括迁移次数和/或单次迁移量;根据所述迁移策略将所述待迁移数据段迁移至所述第二服务器。采用本说明书一个或多个实施例的技术方案,能够在将第一服务器内的待迁移数据段迁移至第二服务器时,确定待迁移数据段的第一数量及第一服务器对应的满足预设条件的最大迁移量,进而根据第一数量及最大迁移量确定针对待迁移数据段的迁移策略,并根据迁移策略将待迁移数据段迁移至第二服务器。其中,迁移策略至少包括迁移次数和/或单次迁移量。可见,该技术方案在迁移数据段时,并不是简单的一次性完迁移所有数据段,而是充分考虑了待迁移数据段的数量及服务器的最大迁移量,因此能够避免因一次性迁移所有数据段时导致的服务器性能不稳定、甚至停止响应的问题,从而提高数据段的迁移成功率。进一步的,该技术方案能够创建多个迁移任务,且每个迁移任务的单次迁移量均小于或等于服务器的最大迁移量,因此能够避免在同一迁移任务中迁移超过最大迁移量的数据段时导致的服务器性能不稳定、甚至停止响应的问题,且由于单个迁移任务的任务量变小,因此能够开启更多的迁移任务,从而提升数据段的迁移性能。附图说明为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书一个或多个实施例中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。图1是根据本说明书一实施例的一种数据迁移方法的示意性流程图;图2是根据本说明书一具体实施例的一种数据迁移方法的示意性流程图;图3是根据本说明书一实施例的一种数据迁移装置的示意性框图;图4是根据本说明书一实本文档来自技高网...

【技术保护点】
1.一种数据迁移方法,包括:在将第一服务器内的待迁移数据段迁移至第二服务器时,确定所述待迁移数据段的第一数量;及,确定所述第一服务器对应的满足预设条件的最大迁移量;根据所述第一数量及所述最大迁移量,确定针对所述待迁移数据段的迁移策略;其中,所述迁移策略至少包括迁移次数和/或单次迁移量;根据所述迁移策略将所述待迁移数据段迁移至所述第二服务器。

【技术特征摘要】
1.一种数据迁移方法,包括:在将第一服务器内的待迁移数据段迁移至第二服务器时,确定所述待迁移数据段的第一数量;及,确定所述第一服务器对应的满足预设条件的最大迁移量;根据所述第一数量及所述最大迁移量,确定针对所述待迁移数据段的迁移策略;其中,所述迁移策略至少包括迁移次数和/或单次迁移量;根据所述迁移策略将所述待迁移数据段迁移至所述第二服务器。2.根据权利要求1所述的方法,所述预设条件包括以下至少一项:所述最大迁移量小于或等于第一预设阈值;当迁移所述最大迁移量个所述待迁移数据段时,与所述第一服务器相关的指定参数的变化值不超过第二预设阈值。3.根据权利要求1所述的方法,所述根据所述第一数量及所述最大迁移量,确定针对所述待迁移数据段的迁移策略,包括:若所述第一数量小于或等于所述最大迁移量,则确定所述迁移策略为直接将所述待迁移数据段迁移至所述第二服务器;若所述第一数量大于所述最大迁移量,则根据所述第一数量及所述最大迁移量确定所述待迁移数据段的迁移次数和/或单次迁移量。4.根据权利要求3所述的方法,所述根据所述第一数量及所述最大迁移量确定对所述待迁移数据段的迁移次数和/或单次迁移量,包括:计算所述第一数量与所述最大迁移量的商值和/或余数;根据所述商值和/或余数确定所述迁移次数。5.根据权利要求3或4所述的方法,所述根据所述第一数量及所述最大迁移量确定对所述待迁移数据段的迁移次数之后,所述根据所述迁移策略将所述待迁移数据段迁移至所述第二服务器,包括:创建所述迁移次数个、用于迁移所述待迁移数据段的迁移任务;确定各所述迁移任务分别对应的单次迁移量,所述单次迁移量小于或等于所述最大迁移量;根据所述单次迁移量,分别执行所述迁移任务。6.一种数据迁移装置,包括:第一确定模块,用于在将第一服务器内的待迁移数据段迁移至第二服务器时,确定所述待迁移数据段的第一数量;及,确定所述第一服务器对应的满足预设条件的最大迁移量;第二确定模块,用于根据所述第一数量及所述最大迁移量,确定针对所述待迁移数据段的迁移策略;其中,所述迁移策略至少包括迁移次数和/或单次迁移量;迁移模块,用于根据所述迁移策略将所述待迁移数据段迁移至所述第二服务器。7...

【专利技术属性】
技术研发人员:左正彬
申请(专利权)人:阿里巴巴集团控股有限公司
类型:发明
国别省市:开曼群岛,KY

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1