A method for managing file system replication may include collecting event data associated with file system events, each of which represents at least one file at the location of the first file system to be modified, and generating at least one file system action for each of the file system events to place at least one file at the location of the first file system. The modification applies to at least one corresponding file at the location of the second file system; stores the at least one generated file system action in the action buffer; identifies the dependencies between the file system actions in the action buffer; and schedules the file system action in the action buffer to execute based on the dependencies.
【技术实现步骤摘要】
【国外来华专利技术】管理文件系统复制的系统、设备和方法相关申请案交叉申请本申请要求于2016年11月22日递交的专利技术名称为“管理文件系统复制的系统、设备和方法(SYSTEMS,DEVICESANDMETHODSFORMANAGINGFILESYSTEMREPLICATION)”的第15/358,936号美国专利申请案的在先申请优先权,该在先申请的全部内容以引用的方式并入本文本中。
本专利技术涉及文件系统,更具体地,涉及用于分布式文件系统的设备、方法和计算机可读介质。
技术介绍
大数据或地理分布式应用可以利用跨多个数据中心或位置的分布式文件系统。这可能需要跨越不同机器来复制文件。随着规模扩展,地理分布式数据中心的网络延迟和文件大小可能很大,管理复制滞后时间和资源会成为一个难题。
技术实现思路
根据本专利技术一方面,提供了一种管理文件系统复制的方法。所述方法包括:收集关联于文件系统事件的事件数据,每个所述文件系统事件表示修改第一文件系统位置处的至少一个文件;对于每个所述文件系统事件,生成至少一个文件系统动作,以将所述第一文件系统位置处的所述至少一个文件的所述修改应用到第二文件系统位置处的至少一个对应文件;将所述至少一个生成的文件系统动作存储在动作缓冲器中;识别所述动作缓冲器中的文件系统动作之间的依赖关系;以及调度所述动作缓冲器中的所述文件系统动作以基于所述依赖关系执行。根据本专利技术另一方面,提供了一种管理文件系统复制的系统。所述系统包括:至少一种处理器。所述至少一个处理器用于:接收关联于文件系统事件的事件数据,每个所述文件系统事件表示修改第一文件系统位置处的至少一个文件;对于每 ...
【技术保护点】
1.一种管理文件系统复制的方法,其特征在于,所述方法包括:收集关联于文件系统事件的事件数据,每个所述文件系统事件表示修改第一文件系统位置处的至少一个文件;对于每个所述文件系统事件,生成至少一个文件系统动作,以将所述第一文件系统位置处的所述至少一个文件的所述修改应用到第二文件系统位置处的至少一个对应文件;将所述至少一个生成的文件系统动作存储在动作缓冲器中;识别所述动作缓冲器中的文件系统动作之间的依赖关系;以及调度所述动作缓冲器中的所述文件系统动作以基于所述依赖关系执行。
【技术特征摘要】
【国外来华专利技术】2016.11.22 US 15/358,9361.一种管理文件系统复制的方法,其特征在于,所述方法包括:收集关联于文件系统事件的事件数据,每个所述文件系统事件表示修改第一文件系统位置处的至少一个文件;对于每个所述文件系统事件,生成至少一个文件系统动作,以将所述第一文件系统位置处的所述至少一个文件的所述修改应用到第二文件系统位置处的至少一个对应文件;将所述至少一个生成的文件系统动作存储在动作缓冲器中;识别所述动作缓冲器中的文件系统动作之间的依赖关系;以及调度所述动作缓冲器中的所述文件系统动作以基于所述依赖关系执行。2.根据权利要求1所述的方法,其特征在于,调度所述动作缓冲器中的所述文件系统动作以进行执行操作包括:在确定已经解决所述动作缓冲器中的特定动作的所有依赖关系时,识别所述特定动作以准备执行;以及调度所述动作缓冲器中标识为准备执行的文件系统动作以执行。3.根据权利要求1或2所述的方法,其特征在于,包括:接收执行响应消息,所述执行响应消息关于执行或尝试执行调度的文件系统动作;以及基于所述接收到的执行响应消息来更新所述动作缓冲器。4.根据权利要求3所述的方法,其特征在于,基于所述接收到的执行响应消息来更新所述动作缓冲器包括:当所述接收到的执行响应消息指示所述调度的文件系统动作的所述执行成功时,解决所述动作缓冲器中基于所述调度的文件系统动作的至少一个动作的依赖关系。5.根据权利要求1至4中任一项所述的方法,其特征在于,包括:在确定关联于所述接收到的事件数据的其中一个所述文件系统事件指示所述第一文件系统位置处的至少一个文件的内容数据正被修改时:监测所述正被修改的内容数据的长度;以及当所述正被修改的内容数据的所述长度指示已修改内容数据中的块大小已定义的新块可用于复制时,生成复制块动作,所述复制块动作用于在所述第二文件系统位置处复制所述已修改内容数据的新块。6.根据权利要求1至5中任一项所述的方法,其特征在于,包括:在确定关联于所述接收到的事件数据的其中一个所述文件系统事件指示所述第一位置处的至少一个文件的内容数据正被修改时:生成初始复制块动作以复制所述第一文件系统位置处的所述已修改内容数据的初始可用部分;以及当接收到执行响应消息时,生成后续复制块动作以复制所述已修改内容数据的下一可用部分,所述执行响应消息指示复制所述内容数据的前一复制块动作成功。7.根据权利要求1至6中任一项所述的方法,其特征在于,已生成的动作包括所述第一位置处的所述至少一个文件的文件位置信息。8.根据权利要求1至7中任一项所述的方法,其特征在于,包括:对所述动作缓冲器中的一个或多个动作重排序。9.根据权利要求1至8中任一项所述的方法,其特征在于,包括:组合或排除所述动作缓冲器中的一个或多个相关动作,其中,当至少一个文件涉及两个或更多动作中的每个动作时,所述两个或更多动作相关。10.根据权利要求9所述的方法,其特征在于,包括:延迟所述组合或排除所述一个或多个相关动作,直到检测到批量优化触发。11.一种管理文件系统复制的系统,其特征在于,所述系统包括:至少一种处理器,用于:收集关联于文件系统事件的事件数据,每个所述文件系统事件表示修改第一文件系统位置处的至少一个文件;对于每个所述文件系统事件,生成至少一个文件系统动作,以将所述第一文件系统位置处的所述至少一...
【专利技术属性】
技术研发人员:陈晨,陈瑾,柯晓棣,郭雷,陈冲,
申请(专利权)人:华为技术有限公司,
类型:发明
国别省市:广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。