一种数据迁移方法及设备技术

本申请公开了一种数据迁移方法，在从分片迁移队列中获取各个分片文件的子迁移任务，即根据各子迁移任务从与待迁移文件对应的源网络存储中对各分片文件进行迁移处理，从而能够充分利用网络资源进行分片迁移，提高了网络存储资源的迁移效率，以及节省了设备的资源。

【技术实现步骤摘要】

本申请涉及通信
，特别涉及一种数据迁移方法。本申请同时还涉及一种数据迁移设备。
技术介绍
随着互联网技术的不断发展，云存储越来越成为不可或缺的技术之一。现在市场上提供云存储服务有很多(比如阿里云的OSS…)，很受客户喜欢。因此随着使用用户数量越来越多，用户在使用云存储的过程中也不可避免碰到更换云存储服务的情况。在现有技术中，当用户想更换云存储服务的时候，发现迁移云存储中的数据很麻烦。有的用户云存储的数据很大(几十T到PB)，用传统方法迁移，需要很多的机器来进行迁移，迁移的时间也非常长，迁移成本很高。
技术实现思路
本申请提供了一种数据迁移方法，用以方便快捷地针对网络存储的数据进行迁移，提高迁移效率以及节省设备资源。该方法包括：从分片迁移队列中获取各个分片文件的子迁移任务，所述分片文件由待迁移文件分片生成，所述子迁移任务根据与所述待迁移文件对应的迁移任务生成；根据各所述子迁移任务在与所述待迁移文件对应的源网络存储中对各所述分片文件进行迁移处理。优选地，根据各所述子迁移任务在与所述待迁移文件对应的源网络存储中对各所述分片文件进行迁移处理，具体为：向所述源网络存储请求与各所述分片文件对应的数据迁移流，所述数据迁移流用于将数据从所述源网络存储转移至内存；将所述数据迁移流作为数据输入流上传至所述子迁移任务指定的目标网络存储，所述数据输入流用于将所述数据从所述内存转移至所述目标网络存储。优选地，在从分片迁移队列中获取各个分片文件的子迁移任务之前，还包括：从异步迁移队列中获取所述待迁移任务；判断与所述待迁移任务对应的待迁移文件是否已迁移完成；若判断结果为是，从所述异步迁移队列中获取其他的待迁移任务；若判断结果为否，根据所述待迁移文件的容量以及预设的分片参数将所述待迁移文件分片处理为多个所述分片文件，并生成与各所述分片文件对应的子迁移任务。优选地，在从异步迁移队列中获取所述待迁移任务之前，还包括：获取迁移配置信息；根据所述迁移配置信息在所述源网络存储的文件中扫描所述待迁移文件；根据扫描结果生成所述迁移任务，并将所述迁移任务加入所述异步迁移任务队列中。优选地，在根据各所述子迁移任务在与所述待迁移文件对应的源网络存储中对各所述分片文件进行迁移处理之后，还包括：判断与所述待迁移文件对应的所有分片文件是否全部迁移成功；若是，更新并存储所述待迁移文件的迁移状态。相应地，本申请还提出了一种数据迁移设备，包括：获取模块，从分片迁移队列中获取各个分片文件的子迁移任务，所述分片文件由待迁移文件分片生成，所述子迁移任务根据与所述待迁移文件对应的迁移任务生成；迁移模块，根据各所述子迁移任务在与所述待迁移文件对应的源网络存储中对各所述分片文件进行迁移处理。优选地，所述迁移模块具体用于：向所述源网络存储请求与各所述分片文件对应的数据迁移流，所述数据迁移流用于将数据从所述源网络存储转移至内存；将所述数据迁移流作为数据输入流上传至所述子迁移任务指定的目标网络存储，所述数据输入流用于将所述数据从所述内存转移至所述目标网络存储。优选地，还包括：判断模块，从异步迁移队列中获取所述待迁移任务，判断与所述待迁移任务对应的待迁移文件是否已迁移完成；若判断结果为是，所述判断模块从所述异步迁移队列中获取其他的待迁移任务；若判断结果为否，所述判断模块根据所述待迁移文件的容量以及预设的分片参数将所述待迁移文件分片处理为多个所述分片文件，并生成与各所述分片文件对应的子迁移任务。优选地，还包括：生成模块，获取迁移配置信息，根据所述迁移配置信息在所述源网络存储的文件中扫描所述待迁移文件，根据扫描结果生成所述迁移任务，并将所述迁移任务加入所述异步迁移任务队列中。优选地，还包括：更新模块，判断与所述待迁移文件对应的所有分片文件是否全部迁移成功，并在判断结果为是时更新并存储所述待迁移文件的迁移状态。由此可见，通过应用本申请的技术方案，在从分片迁移队列中获取各个分片文件的子迁移任务，即根据各子迁移任务从与待迁移文件对应的源网络存储中对各分片文件进行迁移处理，从而能够充分利用网络资源进行分片迁移，提高了网络存储资源的迁移效率，以及节省了设备资源。附图说明图1为本申请提出的一种数据迁移方法的流程示意图；图2为本申请提出的一种数据迁移设备的结构示意图。具体实施方式有鉴于
技术介绍
所提出的技术问题，本申请提出了一种数据迁移方法，如图1所示，包括如下步骤：S101，从分片迁移队列中获取各个分片文件的子迁移任务，所述分片文件由待迁移文件分片生成，所述子迁移任务根据与所述待迁移文件对应的迁移任务生成。针对用户所提出的文件迁移请求，本申请首先需要基于请求获取迁移配置信息，在根据所述迁移配置信息在所述源网络存储的文件中扫描所述待迁移文件之后，再根据扫描结果生成所述迁移任务，并将所述迁移任务加入所述异步迁移任务队列中。后续过程中，由于本申请需要针对各个待迁移文件进行分片处理，因此在本申请的优选实施例中，在该步骤之前首先需要从异步迁移队列中获取所述待迁移任务，判断与所述待迁移任务对应的待迁移文件是否已迁移完成，并基于结果做如下处理：(1)若判断结果为是，从所述异步迁移队列中获取其他的待迁移任务；(2)若判断结果为否，根据所述待迁移文件的容量以及预设的分片参数将所述待迁移文件分片处理为多个所述分片文件，并生成与各所述分片文件对应的子迁移任务。S102，根据各所述子迁移任务在与所述待迁移文件对应的源网络存储中对各所述分片文件进行迁移处理。在现有的数据转存过程中，必须将待迁移的数据从源网络存储中下载到一个临时的存储空间中，后续再从该临时空间将待迁移数据上传至目标网络存储中。这样的转存方式不仅需要额外地设置下载以及上传的中间存储空间，而且下载过程以及上传过程均需要耗费一定的时间。因此为进一步提高网络存储的迁移效率，本申请的技术方案去掉了现有的迁移过程中的两次本地IO操作。在本步骤对应的优选实施例中，首先向所述源网络存储请求与各所述分片文件对应的数据迁移流，随后将所述数据迁移流作为数据输入流上传至所述子迁移任务指定的目标网络存储。由于数据迁移流的作用都是将数据从源网络存储中下载到内存中，而数据输入流的作用则是将数据从内存中直接上传至目标存储，因此本申请的技术方案在获取到与分片的待迁移数据对应的数据迁移流之后，将该数据迁移流的目的地址直接指向目标存储(即作为上传的数据输入流)，这样数据的传输全部都在内存中实现，而不必再依赖于中间硬盘的转村。从而实现各个分片文件的数据仅通过内存直接完成下载以及上传。为了确保各个分片文件最后都迁移完毕，从而保证整个文件的迁移成功。在该步骤之后，本申请优选实施例还将判断与所述待迁移文件对应的所有分片文件是否全部迁移成功，并在结果为是时更新并存储所述待迁移文件的迁移状态，若否的话则继续从分片迁移队列中获取各个分片文件的子迁移任务。为达到以上技术目的，本申请还提出了一种数据迁移设备，如图2所示，包括：获取模块210，从分片迁移队列中获取各个分片文件的子迁移任务，所述分片文件由待迁移文件分片生成，所述子迁移任务根据与所述待迁移文件对应的迁移任务生成；迁移模块220，根据各所述子迁移任务在与所述待迁移文件对应的源网络存储中对各所述分片文件进行迁移本文档来自技高网...

【技术保护点】
一种数据迁移方法，其特征在于，包括：从分片迁移队列中获取各个分片文件的子迁移任务，所述分片文件由待迁移文件分片生成，所述子迁移任务根据与所述待迁移文件对应的迁移任务生成；根据各所述子迁移任务在与所述待迁移文件对应的源网络存储中对各所述分片文件进行迁移处理。

【技术特征摘要】
1.一种数据迁移方法，其特征在于，包括：从分片迁移队列中获取各个分片文件的子迁移任务，所述分片文件由待迁移文件分片生成，所述子迁移任务根据与所述待迁移文件对应的迁移任务生成；根据各所述子迁移任务在与所述待迁移文件对应的源网络存储中对各所述分片文件进行迁移处理。2.如权利要求1所述的方法，其特征在于，根据各所述子迁移任务在与所述待迁移文件对应的源网络存储中对各所述分片文件进行迁移处理，具体为：向所述源网络存储请求与各所述分片文件对应的数据迁移流，所述数据迁移流用于将数据从所述源网络存储转移至内存；将所述数据迁移流作为数据输入流上传至所述子迁移任务指定的目标网络存储，所述数据输入流用于将所述数据从所述内存转移至所述目标网络存储。3.如权利要求1所述的方法，其特征在于，在从分片迁移队列中获取各个分片文件的子迁移任务之前，还包括：从异步迁移队列中获取所述待迁移任务；判断与所述待迁移任务对应的待迁移文件是否已迁移完成；若判断结果为是，从所述异步迁移队列中获取其他的待迁移任务；若判断结果为否，根据所述待迁移文件的容量以及预设的分片参数将所述待迁移文件分片处理为多个所述分片文件，并生成与各所述分片文件对应的子迁移任务。4.如权利要求1所述的方法，其特征在于，在从异步迁移队列中获取所述待迁移任务之前，还包括：获取迁移配置信息；根据所述迁移配置信息在所述源网络存储的文件中扫描所述待迁移文件；根据扫描结果生成所述迁移任务，并将所述迁移任务加入所述异步迁移任务队列中。5.如权利要求1所述的方法，其特征在于，在根据各所述子迁移任务在与所述待迁移文件对应的源网络存储中对各所述分片文件进行迁移处理之后，还包括：判断与所述待...

【专利技术属性】
技术研发人员：闫长海，尹书威，刘中巍，丁辉，周皓，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY