一种分布式文件系统跨集群数据增量迁移的方法技术方案

本发明专利技术涉及一种分布式文件系统跨集群数据增量迁移的方法。本方法包括启动数据迁移，拉起迁移工作进程；迁移工作进程开始后，解析当前迁移文件的路径，将解析获得的文件路径作为key，定义其value为0，写入ETCD中，然后创建一个协程用于执行etcd.Watch函数，当该路径的目录下出现文件写打开时，则将key对应的value加1，当写打开关闭时，将key对应的value减1，每次value的更新都会唤醒上述协程；迁移完成后删除ETCD中Watch的key。本方法通过引入ETCD组件使迁移工作进程自动识别出需要重新迁移或暂停迁移的文件，从而实现了迁移过程中不停止写业务情况下完成文件增量的迁移。

【技术实现步骤摘要】

本专利技术属于数据迁移方法，尤其涉及一种分布式文件系统跨集群数据增量迁移的方法。

技术介绍

1、当前，分布式文件系统在不停止写业务的前提下进行跨集群数据迁移时会遇到以下问题：

2、(1)若正在迁移的文件同时被用户修改，则迁移到目的集群的文件很可能是非预期的结果。因此，当出现上述情况时，需要暂停迁移该文件，等该文件完成修改操作后再去对比数据并进行再次迁移，从而降低了数据迁移的效率。

3、(2)若迁移过程中，当某个文件已经被迁移成功后，用户又修改了该文件，则需要对该文件做增量的迁移，从而增加了工作量。

4、(3)若某一个目录已完成了迁移，此后用户又向源文件系统的该目录上传了文件，则需要将该文件识别出来并同步到目的文件系统，识别和同步过程会耗费较长的时间和增加额外的人力成本。

技术实现思路

1、为了解决目前分布式文件系统跨集群数据迁移过程中存在的上述问题，本专利技术提出了一种新的分布式文件系统跨集群数据增量迁移的方法，本方法通过引入etcd组件使迁移工作进程自动识别出需要重新迁移本文档来自技高网...

【技术保护点】

1.一种分布式文件系统跨集群数据增量迁移的方法，其特征在于，所述方法包括：

2.根据权利要求1所述的分布式文件系统跨集群数据增量迁移的方法，其特征在于，步骤S1中所述启动源文件系统向目的文件系统的数据迁移是通过执行cli sync--src_fs＝A--dst_fs＝B命令向源文件系统发起数据迁移的请求，该命令中--src_fs指定源文件系统，-dst_fs指定目的文件系统，执行完上述命令，即可拉起迁移工作进程。

3.根据权利要求2所述的分布式文件系统跨集群数据增量迁移的方法，其特征在于，所述迁移工作进程能够将文件从源文件系统中读取出来，然后写入到目的文件系统中。...

【技术特征摘要】

1.一种分布式文件系统跨集群数据增量迁移的方法，其特征在于，所述方法包括：

2.根据权利要求1所述的分布式文件系统跨集群数据增量迁移的方法，其特征在于，步骤s1中所述启动源文件系统向目的文件系统的数据迁移是通过执行cli sync--src_fs＝a--dst_fs＝b命令向源文件系统发起数据迁移的请求，该命令中--src_fs指定源文件系统，-dst_fs指定目的文件系统，执行完上述命令，即可拉起迁移工作进程。

3.根据权利要求2所述的分布式文件系统跨集群数据增量迁移的方法，其特征在于，所述迁移工作进程能够将文件从源文件系统中读取出来，然后写入到目的文件系统中。

4.根据权利要求1所述的分布式文件系统跨集群数据增量迁移的方法，其特征在于，步骤s2中还包括：当用户对正在迁移的文件进行修改时，该文件出现了写打开，执行etcd.watch函数的协程会被唤醒，此时value为1，则停止迁移，当写打开关闭后，上述协程会再次被唤醒，此时value变回为0，表示文件的修改操作完成，重新开...

【专利技术属性】
技术研发人员：周鹏，
申请(专利权)人：中电云计算技术有限公司，
类型：发明
国别省市：