分布式文件系统及其故障处理方法技术方案

本发明专利技术公开了一种分布式文件系统及其故障处理方法，其中，该方法包括：在分布式文件系统中存在故障节点的情况下，从所述分布式文件系统中的其他节点中选择备份节点；所述故障节点向所述备份节点发送接管请求，且所述故障节点进行重启；所述分布式文件系统对重启后的所述故障节点分配任务。借助于本发明专利技术的上述技术方案，通过在确定分布式文件系统中存在故障节点的情况下，从其他节点中选择负载最轻的节点作为备份节点，向其发送接管请求，备份节点的服务进程进行服务的接管，且重启故障节点再对其进行任务分配，能够保证文件系统的不间断服务，有效应对故障情况，提高分布式文件系统的可靠性。

【技术实现步骤摘要】

本专利技术涉及计算机领域，并且特别地，涉及一种。
技术介绍
为了保证分布式文件系统的高可靠性，对于分布式文件系统中的关键服务，如元数据服务、数据服务等，都需要通过冗余的方式来提高其可靠性。对于可靠性的实现方法，一般有两种(I)主备方式主节点进行系统服务，备份节点不工作，处于备份状态，一旦主节点出现故障，则将服务切换到备份节点，由备份节点提供服务，当故障节点修复完成之后，变成新的备份节点，等待后续切换；(2)热备模式在该模式下，正常情况下，高可靠组中间的所有节点都向外提供不同的服务，同时互为备份。当某一个节点出现故障时，高可靠组中的其他节点接管故障节点的服务。现有的高可用系统，一般支持双机高可用，通过两个节点之间的心跳消息判定节点故障并进行备份系统的切换。或采用多机均衡方式，该方式实现中存在一个前端节点，和多个后端服务节点，前端节点负责监控后端节点，并将服务请求转向到后端服务节点，后端服务节点定期向前端节点报告节点状态，并对传入的请求进行服务。多机机群方式，指多个节点组成一个高可靠性组，节点内部的某一个节点出现故障，系统内部的其他节点根据规则进行接管。现有的高可靠性系统的协议实现较为简单，如双机热备份的方式只支持双机的服务备份，多机负载均衡只支持单一的服务，同时需要复杂的前端节点的服务重定向。同时多机机群方式在实现上往往比较复杂。分布式文件系统对可靠性的需求相对复杂，在节点出现故障之后，需要通知可靠性组中相关节点准备接管，选择一个负载低的节点接管服务；在系统恢复之后，需要进行上线处理。对于分布式文件系统的特殊环境来说，现有可靠性协议支持不足。并且，在目前的方案中，恢复后重新上线的节点不能够投入工作，导致系统中可工作和进行后续备份的节点数量减少，既不利于提高系统的可靠性，还会导致系统的资源利用率降低。针对相关技术中分布式文件系统可靠性低、系统资源利用率差的问题，目前尚未提出有效的解决方案。
技术实现思路
针对相关技术中分布式文件系统可靠性低、系统资源利用率差的问题，本专利技术提出一种，能够重启故障节点且对其重新分配任务，保证文件系统的不间断服务，有效应对故障情况，并提高分布式文件系统的可靠性和资源利用率。本专利技术的技术方案是这样实现的根据本专利技术的一个方面，提供了一种分布式文件系统的故障处理方法，其特征在于，故障处理方法包括在分布式文件系统中存在故障节点的情况下，从分布式文件系统中的其他节点中选择备份节点；故障节点向备份节点发送接管请求，且故障节点进行重启；分布式文件系统对重启后的故障节点分配任务。此外，该方法还包括通过以下方式确定分布式文件系统中的节点是否出现故障在分布式文件系统中节点的监控进程在预定周期内未收到该节点的服务进程发送的心跳消息的情况下，分布式文件系统中的其他部分或全部节点向该节点发送待响应消息；如果该节点无法对来自其他节点的待响应消息进行响应，则确定该节点为故障节点。其中，该方法进一步包括服务进程按预定周期向监控进程发送心跳消息； 监控进程实时查询服务进程的心跳消息。另外，从分布式文件系统中的其他节点中选择备份节点包括选择分布式文件系统中负载最轻的节点作为备份节点接管故障节点的服务。可选地,故障节点向备份节点发送接管请求包括故障节点的服务进程通过数据网络向分布式文件系统中的备份节点的服务进程发送接管请求。其中，在故障节点向备份节点发送接管请求之后，故障处理方法进一步包括备份节点接收接管请求，该备份节点的服务进程进行服务的接管。另外，分布式文件系统对重启后的故障节点分配任务包括根据分布式文件系统中除了重启后的故障节点之外其他部分或全部节点的负载对该重启后的故障节点分配任务。根据本专利技术的另一个方面，提供了一种分布式文件系统，包括多个节点、选择模块、任务分配模块；其中，选择模块用于在分布式文件系统中存在故障节点的情况下，从分布式文件系统中的其他节点中选择备份节点；每个节点包括重启操作模块，用于在所在节点出现故障的情况下对所在节点进行重启；任务分配模块，用于对分布式文件系统中重启后的故障节点分配任务。此外，该分布式文件系统还包括确定模块，用于在分布式文件系统中节点的监控进程在预定周期内未收到该节点的服务进程发送的心跳消息、且该节点无法对来自其他节点的待响应消息进行响应的情况下，确定该节点为故障节点。其中，任务分配模块用于根据分布式文件系统中除了重启后的故障节点之外其他部分或全部节点的负载，对该重启后的故障节点分配任务。本专利技术通过在确定分布式文件系统中存在故障节点的情况下，从其他节点中选择负载最轻的节点作为备份节点，向其发送接管请求，备份节点的服务进程进行服务的接管，且重启故障节点再对其进行任务分配，能够保证文件系统的不间断服务，有效应对故障情况，提高分布式文件系统的可靠性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据本专利技术实施例的分布式文件系统的故障处理方法的流程图；图2是根据本专利技术实施例的分布式文件系统的故障处理方法的实现原理示意图；图3是根据本专利技术实施例的分布式文件系统的故障处理方法中故障节点确定及通知的原理不意图；图4是根据本专利技术的实施例的分布式文件系统的框图。具体实施例方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本专利技术保护的范围。根据本专利技术的实施例，提供了一种分布式文件系统的故障处理方法。如图1所示，根据本专利技术实施例的分布式文件系统的故障处理方法，包括步骤101，在分布式文件系统中存在故障节点的情况下，从分布式文件系统中的其他节点中选择备份节点；步骤103，故障节点向备份节点发送接管请求，且故障节点进行重启；步骤105，分布式文件系统对重启后的故障节点分配任务。此外，该方法还可以包括通过以下方式确定分布式文件系统中的节点是否出现故障在分布式文件系统中节点的监控进程在预定周期内未收到该节点的服务进程发送的心跳消息的情况下，分布式文件系统中的其他部分或全部节点向该节点发送待响应消息；如果该节点无法对来自其他节点的待响应消息进行响应，则确定该节点为故障节点。其中，在上述方法中，服务进程按预定周期向监控进程发送心跳消息；监控进程实时查询服务进程的心跳消息。另外，从分布式文件系统中的其他节点中选择备份节点包括选择分布式文件系统中负载最轻的节点作为备份节点接管故障节点的服务。可选地，故障节点向备份节点发送接管请求包括故障节点的服务进程通过数据网络向分布式文件系统中的备份节点的服务进程发送接管请求。其中，在故障节点向备份节点发送接管请求之后，根据本专利技术的分布式文件系统的故障处理方法可以进一步包括备份节点接收接管请求，该备份节点的服务进程进行服务的接管。另外，分布式文件系统对重启后的故障节点分配任务包括根据分布式文件系统中除了重启后的故障节点之外其他部分或全部节点的负载对该重启后的故障节点分配任务。根据本专利技术实施例的分本文档来自技高网...

【技术保护点】
一种分布式文件系统的故障处理方法，其特征在于，所述故障处理方法包括：在分布式文件系统中存在故障节点的情况下，从所述分布式文件系统中的其他节点中选择备份节点；所述故障节点向所述备份节点发送接管请求，且所述故障节点进行重启；所述分布式文件系统对重启后的所述故障节点分配任务。

【技术特征摘要】
1.一种分布式文件系统的故障处理方法，其特征在于，所述故障处理方法包括在分布式文件系统中存在故障节点的情况下，从所述分布式文件系统中的其他节点中选择备份节点；所述故障节点向所述备份节点发送接管请求，且所述故障节点进行重启；所述分布式文件系统对重启后的所述故障节点分配任务。2.根据权利要求1所述的故障处理方法，其特征在于，进一步包括通过以下方式确定所述分布式文件系统中的节点是否出现故障在所述分布式文件系统中节点的监控进程在预定周期内未收到所述该节点的服务进程发送的心跳消息的情况下，所述分布式文件系统中的其他部分或全部节点向该节点发送待响应消息；如果该节点无法对来自其他节点的待响应消息进行响应，则确定该节点为故障节点。3.根据权利要求2所述的故障处理方法，其特征在于，进一步包括所述服务进程按预定周期向所述监控进程发送心跳消息；所述监控进程实时查询所述服务进程的心跳消息。4.根据权利要求1所述的故障处理方法，其特征在于，从所述分布式文件系统中的其他节点中选择备份节点包括选择所述分布式文件系统中负载最轻的节点作为备份节点接管所述故障节点的服务。5.根据权利要求1所述的故障处理方法，其特征在于，所述故障节点向所述备份节点发送接管请求包括所述故障节点的服务进程通过数据网络向所述分布式文件系统中的备份节点的服务进程发送接管请求。6.根...

【专利技术属性】
技术研发人员：张攀勇，苗艳超，赵力，
申请(专利权)人：曙光信息产业北京有限公司，
类型：发明
国别省市：