一种分布式集群间数据迁移方法和系统技术方案

本发明专利技术涉及数据迁移技术领域，提供一种分布式集群间数据迁移方法和系统，包括：在IO数据迁移阶段，通过中间迁移模块接收客户端发送的写IO数据请求，向源集群和目标集群进行写IO数据操作；中间迁移模块在向源集群和目标集群进行写IO数据操作的同时，将源集群的IO数据迁移至目标集群中；在元数据迁移阶段，先进行全量迁移，在全量迁移结束后，通过迁移增量journal日志记录进行增量迁移。本发明专利技术的分布式集群间数据迁移方法和系统，通过将用户IO数据迁移过程的读写分离，通过增量journal日志记录的分批迁移，降低数据迁移对用户IO数据以及操作的影响，实现用户数据热迁移无感知，加快数据迁移的收敛速度。

【技术实现步骤摘要】

本专利技术涉及数据迁移，尤其涉及一种分布式集群间数据迁移方法和系统。

技术介绍

1、目前存储集群间的数据迁移存在比较大的挑战，主要体现为迁移期间用户有感知，例如影响用户的io以及导致业务操作失败等问题。出现上述问题的主要原因是在迁移的过程中拒绝了用户的io请求或操作请求。存储集群间的数据迁移采用先全量后增量的方式，在全量迁移过程中不受影响，但在迁移增量数据的时候又有新的增量数据，如果想要尽快地迁移完成，这就需要在迁移增量的时候加锁，以此拒绝新的增量请求，减少增量数据，加快迁移完成速度，如果不加锁就会导致迁移不收敛，迁移时间过长。

2、因此，如何提供一种更加高效和稳定的集群间数据迁移方法，成为亟待解决的技术问题。

技术实现思路

1、有鉴于此，为了克服现有技术的不足，本专利技术旨在提供一种分布式集群间数据迁移方法和系统。

2、根据本专利技术的第一方面，提供一种分布式集群间数据迁移方法，该方法包括：

3、在io数据迁移阶段，通过中间迁移模块接收客户端发送的写io数据请求，向源集群本文档来自技高网...

【技术保护点】

1.一种分布式集群间数据迁移方法，其特征在于，所述方法包括：

2.根据权利要求1所述的分布式集群间数据迁移方法，其特征在于，在IO数据迁移阶段，客户端向中间迁移模块发送写IO数据请求的同时，同步向源集群发送读请求。

3.根据权利要求1所述的分布式集群间数据迁移方法，其特征在于，中间迁移模块在向源集群和目标集群进行写IO数据操作的同时，将源集群的IO数据迁移至目标集群中，包括：中间迁移模块将源集群中的IO数据按照固定大小迁移至目标集群中。

4.根据权利要求1所述的分布式集群间数据迁移方法，其特征在于，中间迁移模块在向源集群和目标集群进行写IO数据操作的同...

【技术特征摘要】

1.一种分布式集群间数据迁移方法，其特征在于，所述方法包括：

2.根据权利要求1所述的分布式集群间数据迁移方法，其特征在于，在io数据迁移阶段，客户端向中间迁移模块发送写io数据请求的同时，同步向源集群发送读请求。

3.根据权利要求1所述的分布式集群间数据迁移方法，其特征在于，中间迁移模块在向源集群和目标集群进行写io数据操作的同时，将源集群的io数据迁移至目标集群中，包括：中间迁移模块将源集群中的io数据按照固定大小迁移至目标集群中。

4.根据权利要求1所述的分布式集群间数据迁移方法，其特征在于，中间迁移模块在向源集群和目标集群进行写io数据操作的同时，将源集群的io数据迁移至目标集群中，包括：在io数据迁移过程中，当固定大小的io数据存在对应的写io操作，将所述固定大小的io数据缓存在io数据缓存队列中，当所述固定大小的io数据所在数据块中的所有io数据全部迁移至目标集群中，下发io数据缓存队列中的io数据，将下发的io数据迁移至目标集群中。

5.根据权利要求1所述的分布式集群间数据迁移方法，其特征在于，在元数据迁移阶段，先进行全量迁移，在全量迁移结束后，通过迁移增量journal日志记录进行增量迁移，包括：在元数据迁移阶段，先进行全量迁移，在全量迁移时记录增量操作生成增量journal日志记录，在全量迁移结束后，通过迁移增量journal日志记录进行增量迁移。

6.根据权利要求1所述的分布式集群间数据迁移方法，其特征在于，在全量迁移结束后，通过迁移增量journal日志记录进行增量迁移，包括：在全量数据全部全量迁移后，对增量journal日志记录进行分批循环迁移，每批迁移固定数量的增...

【专利技术属性】
技术研发人员：金鑫，
申请(专利权)人：中电云计算技术有限公司，
类型：发明
国别省市：