数据迁移的方法和系统技术方案

本申请公开了一种数据迁移的方法和系统，属于数据处理技术领域。所述方法应用于数据迁移系统中，所述数据迁移系统包括管理节点和多个处理节点，所述方法包括：所述管理节点确定数据迁移的源集群和目标集群；所述管理节点将所述源集群存储的待迁移数据切分为多个数据块，确定每个数据块对应的处理节点；每个处理节点从所述源集群获取对应的数据块；每个处理节点将获取到的数据块发送给所述目标集群。采用本申请，可以有效解决相关技术中数据迁移的速度较慢的技术问题。

Method and system of data migration

【技术实现步骤摘要】
数据迁移的方法和系统
本申请涉及数据处理
，具体涉及一种数据迁移的方法和系统。
技术介绍
在很多存储场景中，均需要进行数据迁移。例如，目前针对实时数据计算，大部分都采用ElasticSearch作为存储引擎。但是，随着数据量的直线增长，在同一个集群中有可能多个索引达到TB级别数据，并且，这些索引占据着非常重要的业务场景。此时，就需要对这些索引进行迁移，来减少对目前集群的压力。相关技术中数据迁移的方法，将源集群存储的数据直接迁移到目标集群中，数据迁移的速度比较慢。
技术实现思路
本申请实施例提供了一种数据迁移的方法和系统，可以解决相关技术中存在的技术问题。所述数据迁移的方法和系统的技术方案如下：第一方面，提供了一种数据迁移的方法，所述方法应用于数据迁移系统中，所述数据迁移系统包括管理节点和多个处理节点，所述方法包括：所述管理节点确定数据迁移的源集群和目标集群；所述管理节点将所述源集群存储的待迁移数据切分为多个数据块，确定每个数据块对应的处理节点；每个处理节点从所述源集群获取对应的数据块；每个处理节点将获取到的数据块发送给所述目标集群。在一种可能的实现方式中，所述管理节点确定数据迁移的源集群和目标集群，包括：接收迁移客户端发送的数据迁移消息，其中，所述数据迁移消息中携带有所述源集群的标识和所述目标集群的标识；基于所述数据迁移消息，确定所述源集群和所述目标集群。在一种可能的实现方式中，所述数据迁移消息中还携带有所述待迁移数据的标识，所述基于所述数据迁移消息，确定所述源集群和所述目标集群，包括：基于所述数据迁移消息，确定所述源集群、所述目标集群和所述待迁移的数据。在一种可能的实现方式中，所述管理节点将所述源集群存储的待迁移数据切分为多个数据块，包括：基于二分法，将所述待迁移数据切分为多个数据块，其中，每个数据块的数据量小于第一设定阈值。在一种可能的实现方式中，所述管理节点将所述源集群存储的待迁移数据切分为多个数据块，包括：基于Dinkelbach算法，将所述待迁移数据切分为多个数据块，其中，每个数据块的数据量小于第一设定阈值。在一种可能的实现方式中，所述每个处理节点将获取到的数据块发送给所述目标集群，包括：对于每个处理节点，当所述处理节点从所述源集群获取到的一个或多个数据块的总数据量大于第二设定阈值时，将所述一个或多个数据块发送给所述目标集群；或者，对于每个处理节点，当所述处理节点此次从所述源集群获取数据块的获取时长达到设定时长时，将此次获取到的一个或多个数据块发送给所述目标集群。在一种可能的实现方式中，所述方法还包括：对于每个发送的数据块，当所述管理节点接收到所述目标集群发送的对应所述数据块的迁移成功消息时，确定所述数据块迁移成功，当所述管理节点接收到所述目标集群发送的对应所述数据块的迁移失败消息，或，在设定时长内未接收到所述目标集群发送的对应所述数据块的迁移成功消息时，确定所述数据块迁移失败，并控制对应的处理节点重新发送所述数据块。在一种可能的实现方式中，所述方法还包括：所述管理节点记录每个数据块的迁移状态，以及迁移成功的数据块的总数据量，其中，所述迁移状态包括迁移成功、迁移失败和未进行迁移。在一种可能的实现方式中，所述每个处理节点将获取到的数据块发送给所述目标集群，包括：对获取到的数据块进行处理，将处理后的数据块发送给所述目标集群。第二方面，提供了一种数据迁移系统，所述数据迁移系统包括管理节点和多个处理节点，其中，所述管理节点，用于确定数据迁移的源集群和目标集群；所述管理节点，还用于将所述源集群存储的待迁移数据切分为多个数据块，确定每个数据块对应的处理节点；每个处理节点，用于从所述源集群获取对应的数据块；每个处理节点，用于将获取到的数据块发送给所述目标集群。在一种可能的实现方式中，所述管理节点，用于：接收迁移客户端发送的数据迁移消息，其中，所述数据迁移消息中携带有所述源集群的标识和所述目标集群的标识；基于所述数据迁移消息，确定所述源集群和所述目标集群。在一种可能的实现方式中，所述数据迁移消息中还携带有所述待迁移数据的标识，所述管理节点，还用于：基于所述数据迁移消息，确定所述源集群、所述目标集群和所述待迁移的数据。在一种可能的实现方式中，所述管理节点，用于：基于二分法，将所述待迁移数据切分为多个数据块，其中，每个数据块的数据量小于第一设定阈值。在一种可能的实现方式中，所述管理节点，用于：基于Dinkelbach算法，将所述待迁移数据切分为多个数据块，其中，每个数据块的数据量小于第一设定阈值。在一种可能的实现方式中，每个处理节点，用于：当从所述源集群获取到的一个或多个数据块的总数据量大于第二设定阈值时，将所述一个或多个数据块发送给所述目标集群；或者，当此次从所述源集群获取数据块的获取时长达到设定时长时，将此次获取到的一个或多个数据块发送给所述目标集群。在一种可能的实现方式中，所述管理节点，还用于：对于每个发送的数据块，当接收到所述目标集群发送的对应所述数据块的迁移成功消息时，确定所述数据块迁移成功，当接收到所述目标集群发送的对应所述数据块的迁移失败消息，或，在设定时长内未接收到所述目标集群发送的对应所述数据块的迁移成功消息时，确定所述数据块迁移失败，并控制对应的处理节点重新发送所述数据块。在一种可能的实现方式中，所述管理节点，还用于：记录每个数据块的迁移状态，以及迁移成功的数据块的总数据量，其中，所述迁移状态包括迁移成功、迁移失败和未进行迁移。在一种可能的实现方式中，每个处理节点，还用于：对获取到的数据块进行处理，将处理后的数据块发送给所述目标集群。本申请实施例提供的技术方案带来的有益效果至少包括：本申请实施例提供了一种数据迁移的方法，该方法应用在数据迁移系统中。数据迁移系统包括管理节点和多个处理节点，在进行数据迁移时，管理节点先确定数据迁移的源集群和目标集群，然后，将源集群存储的待迁移数据切分为多个数据块，确定每个数据块对应的处理节点。每个处理节点从源集群获取对应的数据块，并将获取到的数据块发送给目标集群。因此，本申请实施例提供的数据迁移的方法，在进行数据迁移时，先将待迁移数据迁移到数据迁移系统中，然后再迁移至目标集群，由于在迁移过程中，由多个处理节点并行的获取和发送数据块，所以提升了数据迁移的速度。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例提供的一种数据迁移的方法的流程图；图2本文档来自技高网...

【技术保护点】
1.一种数据迁移的方法，其特征在于，所述方法应用于数据迁移系统中，所述数据迁移系统包括管理节点和多个处理节点，所述方法包括：/n所述管理节点确定数据迁移的源集群和目标集群；/n所述管理节点将所述源集群存储的待迁移数据切分为多个数据块，确定每个数据块对应的处理节点；/n每个处理节点从所述源集群获取对应的数据块；/n每个处理节点将获取到的数据块发送给所述目标集群。/n

【技术特征摘要】
1.一种数据迁移的方法，其特征在于，所述方法应用于数据迁移系统中，所述数据迁移系统包括管理节点和多个处理节点，所述方法包括：
所述管理节点确定数据迁移的源集群和目标集群；
所述管理节点将所述源集群存储的待迁移数据切分为多个数据块，确定每个数据块对应的处理节点；
每个处理节点从所述源集群获取对应的数据块；
每个处理节点将获取到的数据块发送给所述目标集群。


2.根据权利要求1所述的方法，其特征在于，所述管理节点确定数据迁移的源集群和目标集群，包括：
接收迁移客户端发送的数据迁移消息，其中，所述数据迁移消息中携带有所述源集群的标识和所述目标集群的标识；
基于所述数据迁移消息，确定所述源集群和所述目标集群。


3.根据权利要求2所述的方法，其特征在于，所述数据迁移消息中还携带有所述待迁移数据的标识，所述基于所述数据迁移消息，确定所述源集群和所述目标集群，包括：
基于所述数据迁移消息，确定所述源集群、所述目标集群和所述待迁移数据。


4.根据权利要求1所述的方法，其特征在于，所述管理节点将所述源集群存储的待迁移数据切分为多个数据块，包括：
基于二分法，将所述待迁移数据切分为多个数据块，其中，每个数据块的数据量小于第一设定阈值。


5.根据权利要求1所述的方法，其特征在于，所述管理节点将所述源集群存储的待迁移数据切分为多个数据块，包括：
基于Dinkelbach算法，将所述待迁移数据切分为多个数据块，其中，每个数据块的数据量小于第一设定阈值。


6.根据权利要求1所述的方法，其特征在于，所述每个处理节点将获取到的数据块发送给所述目标集群，包括：
对于每个处理节点，当...

【专利技术属性】
技术研发人员：黄晓阳，王浩东，赵楠，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：北京;11