数据迁移方法、装置和设备制造方法及图纸

本申请公开了一种数据迁移方法，包括：根据设定的时刻，确定源数据存储系统中的历史数据；将所述历史数据迁移到目标数据存储系统；获得在所述设定的时刻之后所述源数据存储系统中的新增数据，其中，所述新增数据通过对消息队列中的数据增量通知进行解析获得；将所述新增数据迁移到所述目标数据存储系统。采用上述方法，实现了快速将新增数据从源数据存储系统迁移到目标数据存储系统，显著提高了新增数据的迁移速度。

【技术实现步骤摘要】
数据迁移方法、装置和设备
本申请涉及计算机
，具体涉及一种数据迁移方法、装置、电子设备及存储设备。
技术介绍
随着云计算对各个行业的渗透，上云已是大势所趋，特别是将源数据存储系统迁移到目标数据存储系统(云存储)。具体而言，上云需要将源数据存储系统中的历史数据和新增数据迁移到目标数据存储系统。上云时数据的迁移量，已从TB级过渡到PB级，迁移文件数量已达数百亿。基于对象存储应用的无缝迁移上云，对应用的影响最小，已成为上云的核心需求。现有技术下，在将源数据存储系统中的新增数据迁移到目标数据存储系统时，一般采用扫描存量数据，通过扫描发现新增数据。通过扫描发现增量数据的方法，当扫描文件的数量(例如，数百亿)过多时，扫描时间会过长。因此，在将新增数据从源数据存储系统迁移到目标数据存储系统时，提高新增数据的迁移速度是亟待解决的问题。
技术实现思路
本申请提供一种数据迁移方法、装置、电子设备和存储设备，实现了快速将新增数据从源数据存储系统迁移到目标数据存储系统，显著提高了新增数据的迁移速度。本申请提供一种数据迁移方法，包括：根据设定的时刻，确定源数据存储系统中的历史数据；将所述历史数据迁移到目标数据存储系统；获得在所述设定的时刻之后所述源数据存储系统中的新增数据，其中，所述新增数据通过对消息队列中的数据增量通知进行解析获得；将所述新增数据迁移到所述目标数据存储系统。可选的，所述将所述历史数据迁移到目标数据存储系统，包括：根据所述历史数据的文件大小以及所述历史数据的文件数量，生成历史数据迁移任务；执行所述历史数据迁移任务，将所述历史数据迁移到目标数据存储系统。可选的，所述获得在所述设定的时刻之后所述源数据存储系统中的新增数据，其中，所述新增数据通过对消息队列中的数据增量通知进行解析获得，包括：在所述源数据存储系统中配置数据增量通知；获得消息队列的消息到达通知；根据所述消息到达通知，在所述消息队列中获得数据增量通知；对消息队列中的数据增量通知进行解析，获得在所述设定的时刻之后所述源数据存储系统中的新增数据。可选的，所述消息队列包括下述至少一种：无缓冲消息队列；带缓冲消息队列。可选的，还包括：当历史数据迁移完成后，将未迁移的新增数据通过镜像回源的方式迁移到目标数据存储系统。可选的，所述将未迁移的新增数据通过镜像回源的方式迁移到目标存储系统，包括：当在目标数据存储系统中找不到指定的新增数据时，根据指定的镜像回源配置依据，获得所述指定的新增数据对应的回源地址；根据所述回源地址，将未迁移的新增数据迁移到目标存储系统。可选的，所述根据所述回源地址，将未迁移的新增数据迁移到目标存储系统，包括：根据所述回源地址，利用专线方式将未迁移的新增数据迁移到目标存储系统。可选的，所述根据所述回源地址，利用专线方式将未迁移的新增数据迁移到目标存储系统，包括：获得客户专线；对所述客户专线进行鉴权，判断所述客户专线是否具有访问权利；若有，则利用所述客户专线访问所述回源地址，将未迁移的新增数据迁移到目标存储系统。可选的，还包括：将所述目标数据存储系统中的数据与所述源数据存储系统中的数据进行数据校验，判断数据是否一致；若一致，则停止镜像回源。本申请还提供一种数据迁移装置，包括：历史数据确定单元，用于根据设定的时刻，确定源数据存储系统中的历史数据；历史数据迁移单元，用于将所述历史数据迁移到目标数据存储系统；新增数据获得单元，用于获得在所述设定的时刻之后所述源数据存储系统中的新增数据，其中，所述新增数据通过对消息队列中的数据增量通知进行解析获得；新增数据迁移单元，用于将所述新增数据迁移到所述目标数据存储系统。本申请还提供一种电子设备，包括：处理器；以及存储器，用于存储数据迁移方法的程序，该设备通电并通过所述处理器运行该数据迁移方法的程序后，执行下述步骤：根据设定的时刻，确定源数据存储系统中的历史数据；将所述历史数据迁移到目标数据存储系统；获得在所述设定的时刻之后所述源数据存储系统中的新增数据，其中，所述新增数据通过对消息队列中的数据增量通知进行解析获得；将所述新增数据迁移到所述目标数据存储系统。本申请还提供一种存储设备，存储有数据迁移方法的程序，该程序被处理器运行，执行下述步骤：根据设定的时刻，确定源数据存储系统中的历史数据；将所述历史数据迁移到目标数据存储系统；获得在所述设定的时刻之后所述源数据存储系统中的新增数据，其中，所述新增数据通过对消息队列中的数据增量通知进行解析获得；将所述新增数据迁移到所述目标数据存储系统。，包括：与现有技术相比，本申请具有以下优点：本申请提供一种数据迁移方法，包括：根据设定的时刻，确定源数据存储系统中的历史数据；将所述历史数据迁移到目标数据存储系统；获得在所述设定的时刻之后所述源数据存储系统中的新增数据，其中，所述新增数据通过对消息队列中的数据增量通知进行解析获得；将所述新增数据迁移到所述目标数据存储系统。本申请提供的数据迁移方法，基于消息队列的实现，可以快速将新增数据从源数据存储系统迁移到目标数据存储系统，显著提高了新增数据的迁移速度。附图说明图1是本申请第一实施例提供的一种数据迁移方法的流程图。图2是本申请第一实施例提供的一种将源数据存储系统中的历史数据迁移到目标数据存储系统的示意图。图3是本申请第一实施例提供的一种增量迁移系统的示意图。图4是一种镜像回源的原理示意图。图5是本申请第一实施例提供的一种镜像回源系统的示意图。图6是本申请第一实施例提供的另一种数据迁移方法的流程图。图7是本申请第二实施例提供的一种数据迁移装置的示意图。具体实施方式在下面的描述中阐述了很多具体细节以便于充分理解本专利技术。但是本专利技术能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本专利技术内涵的情况下做类似推广，因此本专利技术不受下面公开的具体实施的限制。本申请第一实施例提供一种数据迁移方法。本申请第一实施例的实施主体可以是迁移系统，其用来将源数据存储系统中的数据迁移到目标存储系统。以下结合图1进行详细说明。如图1所示，在步骤S101中，根据设定的时刻，确定源数据存储系统中的历史数据。所述源数据存储系统，包括NAS、FTP、HDFS、OpenStack、云存储等。所述历史数据，指设定的时刻前的数据集合。例如，客户A为某互联网服务公司，主要应用架设于某云计算服务提供商B处，为其用户提供图片、视频等在线编辑服务。客户A存储在B处的历史数据约有1亿个文件，共320TB左右大小，每天新增约20GB数据。现因公司发展需要，考虑将应用切换至某云计本文档来自技高网...

【技术保护点】
1.一种数据迁移方法，包括：/n根据设定的时刻，确定源数据存储系统中的历史数据；/n将所述历史数据迁移到目标数据存储系统；/n获得在所述设定的时刻之后所述源数据存储系统中的新增数据，其中，所述新增数据通过对消息队列中的数据增量通知进行解析获得；/n将所述新增数据迁移到所述目标数据存储系统。/n

【技术特征摘要】
1.一种数据迁移方法，包括：
根据设定的时刻，确定源数据存储系统中的历史数据；
将所述历史数据迁移到目标数据存储系统；
获得在所述设定的时刻之后所述源数据存储系统中的新增数据，其中，所述新增数据通过对消息队列中的数据增量通知进行解析获得；
将所述新增数据迁移到所述目标数据存储系统。


2.根据权利要求1所述的方法，所述将所述历史数据迁移到目标数据存储系统，包括：
根据所述历史数据的文件大小以及所述历史数据的文件数量，生成历史数据迁移任务；
执行所述历史数据迁移任务，将所述历史数据迁移到目标数据存储系统。


3.根据权利要求1所述的方法，所述获得在所述设定的时刻之后所述源数据存储系统中的新增数据，其中，所述新增数据通过对消息队列中的数据增量通知进行解析获得，包括：
在所述源数据存储系统中配置数据增量通知；
获得消息队列的消息到达通知；
根据所述消息到达通知，在所述消息队列中获得数据增量通知；
对消息队列中的数据增量通知进行解析，获得在所述设定的时刻之后所述源数据存储系统中的新增数据。


4.根据权利要求1所述的方法，所述消息队列包括下述至少一种：无缓冲消息队列；带缓冲消息队列。


5.根据权利要求1所述的方法，还包括：
当历史数据迁移完成后，将未迁移的新增数据通过镜像回源的方式迁移到目标数据存储系统。


6.根据权利要求5所述的方法，所述将未迁移的新增数据通过镜像回源的方式迁移到目标存储系统，包括：
当在目标数据存储系统中找不到指定的新增数据时，根据指定的镜像回源配置依据，获得所述指定的新增数据对应的回源地址；
根据所述回源地址，将未迁移的新增数据迁移到目标存储系统。


7.根据权利要求6所述的方法，所述根据所述回源地址，将未迁移的新增数据迁移到目标存储系统，包括：
根据所述回源地址，利用专线方式将未迁移的新增数据迁移到目标存储系统。...

【专利技术属性】
技术研发人员：白玉宾，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY