一种分布式文件系统远程复制方法、装置、设备和介质制造方法及图纸

本发明专利技术提出了一种分布式文件系统远程复制方法、装置、设备和介质，该方法包括：第二分布式文件系统通过启动自身的镜像功能定期监控第一分布式文件系统的日志文件，如果第一分布式文件系统的日志文件发生变化，则将所述日志文件复制至所述第二分布式文件系统，本发明专利技术中第一分布式文件系统和第二分布式文件系统互为主从关系。基于一种分布式文件系统远程复制方法，还提出了一种分布式文件系统远程复制装置、设备和存储介质。本发明专利技术中利用分布式文件系统的镜像服务，监控分布式日志文件的变化，由镜像功能实现主从分布式文件系统的日志式文件的同步。由主从事务机制保证主从文件系统的分布式日志文件的一致性，可以实现文件系统异地容灾。

【技术实现步骤摘要】
一种分布式文件系统远程复制方法、装置、设备和介质
本专利技术属于分布式文件存储
，特别涉及一种分布式文件系统远程复制方法、装置、设备和介质。
技术介绍
分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于C/S模式。容灾系统，对于IT而言，就是为计算机信息系统提供的一个能应付各种灾难的环境。当计算机系统在遭受如火灾、水灾、地震、战争等不可抗拒的自然灾难以及计算机犯罪、计算机病毒、掉电、网络/通信失败、硬件/软件错误和人为操作错误等人为灾难时，容灾系统将保证用户数据的安全性(数据容灾)，甚至，一个更加完善的容灾系统，还能提供不间断的应用服务(应用容灾)。可以说，容灾系统是数据存储备份的最高层次。分布式集群存储在当前大数据多种场景下(如视频监控、广电媒资、高性能等)广泛应用。分布式文件系统很难跨区域部署，导致缺乏异步容灾能力。
技术实现思路
为了解决上述技术问题，本专利技术提出了一种分布式文件系统远程复制方法、装置、设备和介质，采用远程复制的方法解决跨区域的两套集群的数据同步问题。为实现上述目的，本专利技术采用以下技术方案：一种分布式文件系统远程复制方法，包括以下步骤：第二分布式文件系统通过启动自身的镜像功能定期监控第一分布式文件系统的日志文件，如果第一分布式文件系统的日志文件发生变化，则将所述日志文件复制至所述第二分布式文件系统。进一步的，所述第二分布文件系统为多个；第二分布式文件系统通过分别启动位于自身的镜像功能定期监控第一分布式文件系统的日志文件，如果第一分布式文件系统的日志文件发生变化，则将所述日志文件分别复制至所述第二分布式文件系统。进一步的，所述第一分布式文件系统的日志文件写入成功后，同时将所述日志文件异步下刷至第一分布式文件系统的第一存储池。进一步的，在将所述日志文件复制至所述第二分布式文件系统之后，向第一分布式文件系统应答日志文件的同步位置，用于表示同步完成；所述第一分布式文件系统收到所述同步完成的指令后向所述第二分布式文件系统确认应答消息，同时将位于第一分布式文件系统的日志文件删除。进一步的，所述第二分布式文件系统收到所述确认应答消息之后，将复制至第二分布式文件系统的日志文件系统异步下刷至第二分布式文件系统的第二存储池。进一步的，所述第一分布式文件系统和第二分布式文件系统互为主从关系。本专利技术还提出了一种分布式文件系统远程复制装置，包括监控复制模块；所述监控复制模块用于第二分布式文件系统通过启动自身的镜像功能定期监控第一分布式文件系统的日志文件，如果第一分布式文件系统的日志文件发生变化，则将所述日志文件复制至所述第二分布式文件系统。进一步的，所述装置还包括第一异步下刷模块、删除模块和第二异步下刷模块；所述第一异步下刷模块用于第一分布式文件系统的日志文件写入成功后，将所述日志文件异步下刷至第一分布式文件系统的第一存储池；所述删除模块用于在将所述日志文件复制至所述第二分布式文件系统之后，向第一分布式文件系统应答日志文件的同步位置，用于表示同步完成；所述第一分布式文件系统收到所述同步完成的指令后向所述第二分布式文件系统确认应答消息，同时将位于第一分布式文件系统的日志文件删除；第二异步下刷模块用于第二分布式文件系统收到所述确认应答消息之后，将复制至第二分布式文件系统的日志文件系统异步下刷至第二分布式文件系统的第二存储池。一种分布式文件系统远程复制设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现一种分布式文件系统远程复制方法的步骤。一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现一种分布式文件系统远程复制方法的步骤。
技术实现思路
中提供的效果仅仅是实施例的效果，而不是专利技术所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：本专利技术提出了一种分布式文件系统远程复制方法、装置、设备和介质，该方法包括：第二分布式文件系统通过启动自身的镜像功能定期监控第一分布式文件系统的日志文件，如果第一分布式文件系统的日志文件发生变化，则将所述日志文件复制至所述第二分布式文件系统，本专利技术中第一分布式文件系统和第二分布式文件系统互为主从关系。当第二分布式文件系统为从分布式文件系统时，从分布式文件系统可以为多个，将主分布式文件系统的日志文件复制至多个从分布式文件系统。基于本专利技术提出的一种分布式文件系统远程复制方法，还提出了一种分布式文件系统远程复制装置、设备和存储介质。本专利技术中利用分布式文件系统的镜像服务，监控分布式日志文件的变化，由镜像功能实现主从分布式文件系统的日志式文件的同步。由主从事务机制保证主从文件系统的分布式日志文件的一致性。本专利技术提出的分布式文件系统远程复制方法，可以实现文件系统异地容灾。附图说明如图1为本专利技术实施例1一种分布式文件系统复制实现的系统示意图；如图2为本专利技术实施例1一种分布式文件系统远程复制方法流程图；如图3为本专利技术实施例2一种分布式文件系统远程复制装置示意图。具体实施方式为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本专利技术进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本专利技术的不同结构。为了简化本专利技术的公开，下文中对特定例子的部件和设置进行描述。此外，本专利技术可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本专利技术省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本专利技术。实施例1本专利技术实施例1提出了一种分布式文件系统远程复制方法，基于journal技术实现两套或者多套集群之间数据同步问题。其中Journal是分布式日志文件，分布式文件系统数据及元数据写入时首先写入journal文件，由其他线程异步把数据从journal文件中刷新到后端存储池中；当集群故障时，首先从journal文件读取未下刷的内容，重新回放到内存中，待后台线程刷新到后端存储池中。Mirror服务开启后，将监控集群中的journal文件，若journal文件有变化(比如大小、时间)则jorunal回放。第二分布式文件系统通过启动自身的镜像功能定期监控第一分布式文件系统的日志文件，如果第一分布式文件系统的日志文件发生变化，则将所述日志文件复制至所述第二分布式文件系统。第一分布式文件系统的日志文件写入成功后，同时将日志文件异步下刷至第一分布式文件系统的第一存储池。在将日志文件复制至第二分布式文件系统之后，向第一分布式文件系统应答日志文件的同步位置，用于表示同步完成。第一分布式文件系统收到同步完成的指令后向所述第二分布式文件系统确认应答消息，同时将位于第一分布式文件系统的日志文件本文档来自技高网...

【技术保护点】
1.一种分布式文件系统远程复制方法，其特征在于，包括：/n第二分布式文件系统通过启动自身的镜像功能定期监控第一分布式文件系统的日志文件，如果第一分布式文件系统的日志文件发生变化，则将所述日志文件复制至所述第二分布式文件系统。/n

【技术特征摘要】
1.一种分布式文件系统远程复制方法，其特征在于，包括：
第二分布式文件系统通过启动自身的镜像功能定期监控第一分布式文件系统的日志文件，如果第一分布式文件系统的日志文件发生变化，则将所述日志文件复制至所述第二分布式文件系统。


2.根据权利要求1所述的一种分布式文件系统远程复制方法，其特征在于，所述第二分布文件系统为多个；
第二分布式文件系统通过分别启动位于自身的镜像功能定期监控第一分布式文件系统的日志文件，如果第一分布式文件系统的日志文件发生变化，则将所述日志文件分别复制至所述第二分布式文件系统。


3.根据权利要求1或2所述的一种分布式文件系统远程复制方法，其特征在于，所述第一分布式文件系统的日志文件写入成功后，同时将所述日志文件异步下刷至第一分布式文件系统的第一存储池。


4.根据权利要求1或2所述的一种分布式文件系统远程复制方法，其特征在于，在将所述日志文件复制至所述第二分布式文件系统之后，向第一分布式文件系统应答日志文件的同步位置，用于表示同步完成；
所述第一分布式文件系统收到所述同步完成的指令后向所述第二分布式文件系统确认应答消息，同时将位于第一分布式文件系统的日志文件删除。


5.根据权利要求4所述的一种分布式文件系统远程复制方法，其特征在于，所述第二分布式文件系统收到所述确认应答消息之后，将复制至第二分布式文件系统的日志文件系统异步下刷至第二分布式文件系统的第二存储池。


6.根据权利要求1所述的一种分布式文件系统远程复制方法，其特征在于，所...

【专利技术属性】
技术研发人员：刘洪栋，张在贵，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32