集群数据迁移方法、装置、设备及存储介质制造方法及图纸

本申请涉及数据迁移技术领域，并公开了一种集群数据迁移方法、装置、设备及存储介质，所述方法包括：遍历源端存储集群的所有文件目录，将所述所有文件目录下的文件元信息以文件为单位分割为若干信息包；并根据各个信息包中首个文件的文件名和文件存储路径确定各个信息包所对应的目的端文件，根据迁移各个信息包中的文件所需的时间长度，选择并发执行与所述信息包对应的迁移子任务，将所述信息包所对应的源端存储集群的文件同步迁移至目录端存储集群。实现了通过并行的方式执行全量迁移子任务，使得各个子任务能够同步进行数据迁移，提高数据迁移效率。

【技术实现步骤摘要】
集群数据迁移方法、装置、设备及存储介质
本申请涉及数据迁移
，尤其涉及一种集群数据迁移方法、装置、设备及存储介质。
技术介绍
目前，用于数据迁移的工具具有很多的局限性。例如，在做大规模存储集群间的数据迁移时，往往以文件为最小的传输单位，直接完整地传输数据。若源端与目的端在海量的数据中仅有少量差异数据，则导致做了大量无效的迁移工作，不仅严重浪费网络资源，且会导致迁移效率低下。此外，在线迁移时，现有的迁移系统不能实时同步更新数据，这也直接导致了其不能满足实时性的要求。在面对待迁移的数据结构极其庞大且复杂的情况下，往往难以快速均衡地完成迁移工作。因此，现有的数据迁移存在无法进行同步快速迁移，迁移效率低下的问题。
技术实现思路
本申请提供了一种集群数据迁移方法、装置、设备及存储介质，能够通过并行的方式执行全量迁移子任务，使得各个子任务能够同步进行数据迁移，提高数据迁移效率。第一方面，本申请提供了一种集群数据迁移方法，所述方法包括：遍历源端存储集群的所有文件目录下的文件元信息；基于所述文件元信息将所有文件目录下的文件信息分割为若干信息包；其中，每个信息包包括若干个文件；根据各个所述信息包中若干个文件的访问时间戳信息，确定迁移各个信息包中的文件所需的时间长度；分别确定各个所述信息包中首个文件的文件名和文件存储路径，根据各个所述信息包中首个文件的文件名和文件存储路径，确定各个所述信息包所对应的目的端文件；根据迁移各个信息包中的文件所需的时间长度，选择并发执行与所述文件目录对应的迁移子任务，根据所述目的端文件将所述信息包所对应的源端存储集群的待迁移文件，同步迁移至目的端存储集群。第二方面，本申请还提供了一种集群数据迁移装置，包括：遍历模块，用于遍历源端存储集群的所有文件目录下的文件元信息；分割模块，用于基于所述文件元信息将所有文件目录下的文件信息分割为若干信息包；其中，每个信息包包括若干个文件；第一确定模块，用于根据各个所述信息包中若干个文件的访问时间戳信息，确定迁移各个信息包中的文件所需的时间长度；第二确定模块，用于分别确定各个所述信息包中首个文件的文件名和文件存储路径，根据各个所述信息包中首个文件的文件名和文件存储路径，确定各个所述信息包所对应的目的端文件；迁移模块，用于根据迁移各个信息包中的文件所需的时间长度，选择并发执行与所述文件目录对应的迁移子任务，根据所述目的端文件将所述信息包所对应的源端存储集群的待迁移文件，同步迁移至目的端存储集群。第三方面，本申请还提供了一种集群数据迁移设备，包括：存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上第一方面所述的集群数据迁移方法的步骤。第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上第一方面所述的集群数据迁移方法的步骤。本申请公开了一种集群数据迁移方法、装置、设备及存储介质，遍历源端存储集群的所有文件目录，将所述所有文件目录下的文件元信息以文件为单位分割为若干信息包；并根据各个信息包中首个文件的文件名和文件存储路径确定各个信息包所对应的目的端文件，根据迁移各个信息包中的文件所需的时间长度，选择并发执行与所述信息包对应的全量迁移子任务，将所述信息包所对应的源端存储集群的文件同步迁移至目录端存储集群。实现了通过并行的方式执行全量迁移子任务，使得各个子任务能够同步进行数据迁移，提高数据迁移效率。附图说明为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请一实施例提供的集群数据迁移方法的实现流程图；图2是图1中S103的具体实现流程图；图3是本申请另一实施例提供的集群数据迁移方法的实现流程图；图4是本申请实施例提供的集群数据迁移装置的结构示意图；图5是本申请实施例提供的集群数据迁移设备的结构示意性框图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。本申请的实施例提供了一种集群数据迁移方法、装置、设备及存储介质。本申请实施例提供的集群数据迁移方法可用于遍历源端存储集群的所有文件目录，将所述所有文件目录下的文件元信息以文件为单位分割为若干信息包；并发执行与所述信息包对应的全量迁移子任务，将所述信息包所对应的源端存储集群的文件同步迁移至目录端存储集群。实现了通过并行的方式执行全量迁移子任务，使得各个子任务能够同步进行数据迁移，提高数据迁移效率。例如，本申请的实施例提供的集群数据迁移方法，可应用于迁移服务器，所述迁移服务器可以是单个服务器或者服务器集群，该迁移服务器通过将源端存储集群的所有文件的目录进行分包，得到信息包后，通过并行的方式执行全量迁移子任务，使得各个子任务能够同步进行分包后的所有信息包的数据迁移，提高数据迁移效率。下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。请参阅图1，图1是本申请一实施例提供的集群数据迁移方法的示意流程图。该集群数据迁移方法可以由迁移服务器实现，所述迁移服务器可以是单个服务器或者服务器集群。如图1所示，图1是本申请一实施例提供的集群数据迁移方法的实现流程图。具体包括：步骤S101至步骤S104。详述如下：S101，遍历源端存储集群的所有文件目录下的文件元信息。其中，源端存储集群指的是存储有待迁移数据的服务器集群，例如若需要将旧存储架构下的数据迁移至新存储架构下，则旧存储架构为源端存储集群；又如，若需要将本地服务器集群中的数据迁移至云端，则本地服务器集群为源端存储集群。在一实施例中，遍历源端存储集群的所有本文档来自技高网...

【技术保护点】
1.一种集群数据迁移方法，其特征在于，所述方法包括：/n遍历源端存储集群的所有文件目录下的文件元信息；/n基于所述文件元信息将所有文件目录下的文件信息分割为若干信息包；其中，每个信息包包括若干个文件；/n根据各个所述信息包中若干个文件的访问时间戳信息，确定迁移各个信息包中的文件所需的时间长度；/n分别确定各个所述信息包中首个文件的文件名和文件存储路径，根据各个所述信息包中首个文件的文件名和文件存储路径，确定各个所述信息包所对应的目的端文件；/n根据迁移各个信息包中的文件所需的时间长度，选择并发执行与所述文件目录对应的迁移子任务，根据所述目的端文件将所述信息包所对应的源端存储集群的待迁移文件，同步迁移至目的端存储集群。/n

【技术特征摘要】
1.一种集群数据迁移方法，其特征在于，所述方法包括：
遍历源端存储集群的所有文件目录下的文件元信息；
基于所述文件元信息将所有文件目录下的文件信息分割为若干信息包；其中，每个信息包包括若干个文件；
根据各个所述信息包中若干个文件的访问时间戳信息，确定迁移各个信息包中的文件所需的时间长度；
分别确定各个所述信息包中首个文件的文件名和文件存储路径，根据各个所述信息包中首个文件的文件名和文件存储路径，确定各个所述信息包所对应的目的端文件；
根据迁移各个信息包中的文件所需的时间长度，选择并发执行与所述文件目录对应的迁移子任务，根据所述目的端文件将所述信息包所对应的源端存储集群的待迁移文件，同步迁移至目的端存储集群。


2.根据权利要求1所述的集群数据迁移方法，其特征在于，所述文件元信息包括文件的属性或文的大小；所述基于所述文件元信息将所有文件目录下的文件信息分割为若干信息包，包括：
根据所述文件的属性，将所有文件目录下的文件信息分割为若干信息包；
或，所述基于所述文件元信息将所有文件目录下的文件信息分割为若干信息包，包括：
根据所述文件的大小，将所有文件目录下的文件信息分割为若干信息包。


3.根据权利要求2所述的集群数据迁移方法，其特征在于，根据各个所述信息包中若干个文件的访问时间戳信息，确定迁移各个信息包中的文件所需的时间长度，包括：
分别确定各个所述信息包中首个文件的访问时间戳信息，以及各个所述信息包中文件的平均访问时间戳信息；
根据各个所述信息包中首个文件的访问时间戳信息以及各个所述信息包中各个文件的平均访问时间戳信息，确定迁移各个信息包中的文件所需的时间长度。


4.根据权利要求1至3任一项所述的集群数据迁移方法，其特征在于，所述信息包包括文件名和文件存储路径；所述确定所述信息包所对应的目的端文件，包括：
针对任意所述信息包，根据该信息包中首个文件的文件名和文件存储路径，检测目的端是否对应有该信息包中首个文件的文件名和文件存储路径；
若目的端对应有该信息包中首个文件的文件名和文件存储路径，则确定目的端有该信息包所对应的目的端文件；
若目的端对应没有该信息包中首个文件的文件名或文件存储路径，则确定目的端没有该信息包所对应的目的端文件。


5.根据权利要求4所述的集群数据迁移方法，其特征在于，所述根据所述目的端文件将所述信息包所对应的源端存储集群的待迁移文件，同步迁移至目的端存储集群，包括：
将所述目的端文件与所述待迁移文件进行校验值比较，若目的端文件与所述待迁移文件的校验值相同，则结束对所述待迁移文件的文件迁移；
若目...

【专利技术属性】
技术研发人员：钟毓灵，谷忠言，刘帅，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44