一种数据迁移方法、系统、设备及计算机可读存储介质技术方案

本申请公开了一种数据迁移方法、系统、设备及计算机可读存储介质，应用于分布式存储系统中，该方法包括：在分布式存储系统中确定出进行数据迁移的旧磁盘；将旧磁盘中的待迁移数据进行分组，得到待迁移数据块；在旧磁盘中选取一个待迁移数据块，对选取的待迁移数据块进行迁移；在对选取的待迁移数据块完成迁移后，在旧磁盘中删除待迁移数据块；返回在旧磁盘中选取一个待迁移数据块的步骤，直至完成对旧磁盘的数据迁移。本申请公开的一种数据迁移方法，降低了因旧磁盘无法写入新数据而导致数据迁移失败的风险，提高了数据迁移成功率。本申请提供的一种数据迁移系统、设备及计算机可读存储介质也解决了相应技术问题。

A Data Migration Method, System, Equipment and Computer Readable Storage Media

This application discloses a data migration method, system, device and computer readable storage medium for application in distributed storage system. The method includes: identifying old disks for data migration in distributed storage system; grouping data to be migrated in old disks to obtain data blocks to be migrated; selecting a data block to be migrated in old disks to select the data blocks to be migrated. After migrating the selected data blocks to be migrated, the data blocks to be migrated are deleted from the old disk, and the steps of selecting a data block to be migrated from the old disk are returned until the data migration to the old disk is completed. A data migration method disclosed in this application reduces the risk of data migration failure due to the failure of old disks to write new data, and improves the success rate of data migration. A data migration system, equipment and computer readable storage medium provided in this application also solve the corresponding technical problems.

【技术实现步骤摘要】
一种数据迁移方法、系统、设备及计算机可读存储介质
本申请涉及存储
，更具体地说，涉及一种数据迁移方法、系统、设备及计算机可读存储介质。
技术介绍
随着云计算技术的兴起和普及，分布式存储系统越来越受到业界的关注。在分布式存储系统的运维工程中，可能遇到分布式存储系统空间使用率已达告警水位，此时需进行扩容，也即需进行数据迁移。现有的一种数据迁移方法是：将旧磁盘中的数据全部迁移至新磁盘，之后删除旧磁盘中的数据。然而，在将旧磁盘中的数据全部迁移至新磁盘中的过程中，旧磁盘可能需要存储新数据，然而，这时旧磁盘依旧是满磁盘，无法写入新数据，由此使得数据迁移失败。综上所述，如何提高数据迁移的成功率是目前本领域技术人员亟待解决的问题。
技术实现思路
本申请的目的是提供一种数据迁移方法，其能在一定程度上解决如何提高数据迁移的成功率的技术问题。本申请还提供了一种数据迁移系统、设备及计算机可读存储介质。为了实现上述目的，本申请提供如下技术方案：一种数据迁移方法，应用于分布式存储系统中，包括：在所述分布式存储系统中确定出进行数据迁移的旧磁盘；将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块；在所述旧磁盘中选取一个所述待迁移数据块，对选取的所述待迁移数据块进行迁移；在对选取的所述待迁移数据块完成迁移后，在所述旧磁盘中删除所述待迁移数据块；返回所述在所述旧磁盘中选取一个所述待迁移数据块的步骤，直至完成对所述旧磁盘的数据迁移。优选的，所述将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块，包括：获取数据迁移速率及预设时间长度，所述预设时间长度包括单次进行数据迁移时所允许耗费的时长；基于所述数据迁移速率及所述预设时间长度确定单次进行数据迁移时所迁移的目标数据量；将所述旧磁盘中的待迁移数据进行分组，得到所述待迁移数据块，所述待迁移数据块的数据量小于等于所述目标数据量。优选的，所述将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块，包括：按照各个所述待迁移数据块的数据量大小依次增大的原则，将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块；所述在所述旧磁盘中选取一个所述待迁移数据块，包括：按照优先选取数值小的数据量的所述待迁移数据块的原则，在所述旧磁盘中选取一个所述待迁移数据块。优选的，所述将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块，包括：按照各个所述待迁移数据块的数据量大小依次增大的原则，将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块；所述在所述旧磁盘中选取一个所述待迁移数据块，包括：按照循环选取原则，在所述旧磁盘中选取一个所述待迁移数据块，所述循环选取原则包括选取一个数值小的数据量的所述待迁移数据块、之后选取一个数值大的数据量的所述待迁移数据块的循环原则。优选的，所述将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块，包括：按照各个所述待迁移数据块的数据量大小依次增大的原则，将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块；所述在所述旧磁盘中选取一个所述待迁移数据块，包括：判断所述旧磁盘的服务压力是否大于预设值，若是，则按照优先选取数值小的数据量的所述待迁移数据块的原则，在所述旧磁盘中选取一个所述待迁移数据块，若否，则按照优先选取数值大的数据量的所述待迁移数据块的原则，在所述旧磁盘中选取一个所述待迁移数据块。优选的，所述在对选取的所述待迁移数据块完成迁移的过程中，包括：判断是否接收到存储所述待迁移数据块的新磁盘发送的数据迁移完成信息，若是，则判定完成对选取的所述待迁移数据块的迁移，若否，则判定未完成对选取的所述待迁移数据块的迁移。优选的，所述将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块，包括：将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块，并对每个所述待迁移数据块进行编号；所述在对选取的所述待迁移数据块完成迁移后，在所述旧磁盘中删除所述待迁移数据块，包括：在对选取的所述待迁移数据块完成迁移后，发送选取的所述待迁移数据块的编号至所述旧磁盘，并控制所述旧磁盘删除接收的所述编号对应的所述待迁移数据块。一种数据迁移系统，应用于分布式存储系统中，包括：第一确定模块，用于在所述分布式存储系统中确定出进行数据迁移的旧磁盘；第一分组模块，用于将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块；第一选取模块，用于在所述旧磁盘中选取一个所述待迁移数据块，对选取的所述待迁移数据块进行迁移；第一删除模块，用于在对选取的所述待迁移数据块完成迁移后，在所述旧磁盘中删除所述待迁移数据块；第一循环模块，用于提示所述第一选取模块执行在所述旧磁盘中选取一个所述待迁移数据块的步骤，直至完成对所述旧磁盘的数据迁移。一种数据迁移设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上任一所述的数据迁移方法的步骤。一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述的数据迁移方法的步骤。本申请提供的一种数据迁移方法，应用于分布式存储系统中，在分布式存储系统中确定出进行数据迁移的旧磁盘；将旧磁盘中的待迁移数据进行分组，得到待迁移数据块；在旧磁盘中选取一个待迁移数据块，对选取的待迁移数据块进行迁移；在对选取的待迁移数据块完成迁移后，在旧磁盘中删除待迁移数据块；返回在旧磁盘中选取一个待迁移数据块的步骤，直至完成对旧磁盘的数据迁移。本申请提供的一种数据迁移方法，将旧磁盘中的待迁移数据进行分组，得到待迁移数据块，并且对在旧磁盘中选取一个待迁移数据块进行迁移，也即以待迁移数据块为单位进行数据迁移，与以待迁移数据为单位进行数据迁移相比，单次进行数据迁移所耗费的时间较短，而且在完成对选取的待迁移数据块的迁移后，在旧磁盘中删除待迁移数据块，从而使得旧磁盘可以接收并写入新数据，降低了因旧磁盘无法写入新数据而导致数据迁移失败的风险，提高了数据迁移成功率。本申请提供的一种数据迁移系统、设备及计算机可读存储介质也解决了相应技术问题。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本申请实施例提供的一种数据迁移方法的第一流程图；图2为本申请实施例提供的一种数据迁移方法的第二流程图；图3为本申请实施例提供的一种数据迁移系统的结构示意图；图4为本申请实施例提供的一种数据迁移设备的结构示意图；图5为本申请实施例提供的一种数据迁移设备的另一结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。随着云计算技术的兴起和普及，分布式存储系统越来越受到业界的关注。在分布式存储系统的运维工程中，可能遇到分布式存储系统空间使用率已达告警水位，此时需进行扩容，也即需进行数据迁移。现有的一种数据迁移方法是：将旧磁盘中的数据全部迁移至新磁盘，之后删本文档来自技高网...

【技术保护点】
1.一种数据迁移方法，其特征在于，应用于分布式存储系统中，包括：在所述分布式存储系统中确定出进行数据迁移的旧磁盘；将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块；在所述旧磁盘中选取一个所述待迁移数据块，对选取的所述待迁移数据块进行迁移；在对选取的所述待迁移数据块完成迁移后，在所述旧磁盘中删除所述待迁移数据块；返回所述在所述旧磁盘中选取一个所述待迁移数据块的步骤，直至完成对所述旧磁盘的数据迁移。

【技术特征摘要】
1.一种数据迁移方法，其特征在于，应用于分布式存储系统中，包括：在所述分布式存储系统中确定出进行数据迁移的旧磁盘；将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块；在所述旧磁盘中选取一个所述待迁移数据块，对选取的所述待迁移数据块进行迁移；在对选取的所述待迁移数据块完成迁移后，在所述旧磁盘中删除所述待迁移数据块；返回所述在所述旧磁盘中选取一个所述待迁移数据块的步骤，直至完成对所述旧磁盘的数据迁移。2.根据权利要求1所述的方法，其特征在于，所述将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块，包括：获取数据迁移速率及预设时间长度，所述预设时间长度包括单次进行数据迁移时所允许耗费的时长；基于所述数据迁移速率及所述预设时间长度确定单次进行数据迁移时所迁移的目标数据量；将所述旧磁盘中的待迁移数据进行分组，得到所述待迁移数据块，所述待迁移数据块的数据量小于等于所述目标数据量。3.根据权利要求1所述的方法，其特征在于，所述将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块，包括：按照各个所述待迁移数据块的数据量大小依次增大的原则，将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块；所述在所述旧磁盘中选取一个所述待迁移数据块，包括：按照优先选取数值小的数据量的所述待迁移数据块的原则，在所述旧磁盘中选取一个所述待迁移数据块。4.根据权利要求1所述的方法，其特征在于，所述将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块，包括：按照各个所述待迁移数据块的数据量大小依次增大的原则，将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块；所述在所述旧磁盘中选取一个所述待迁移数据块，包括：按照循环选取原则，在所述旧磁盘中选取一个所述待迁移数据块，所述循环选取原则包括选取一个数值小的数据量的所述待迁移数据块、之后选取一个数值大的数据量的所述待迁移数据块的循环原则。5.根据权利要求1所述的方法，其特征在于，所述将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块，包括：按照各个所述待迁移数据块的数据量大小依次增大的原则，将所述旧磁盘中的待迁移数据进行分组，得到待迁移数据块；所述在所...

【专利技术属性】
技术研发人员：许银龙，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41