集群文件系统的数据处理方法和装置制造方法及图纸

本发明专利技术公开了一种集群文件系统的数据处理装置，所述集群文件系统的数据处理装置包括：数据处理模块，用于在存储节点接收到文件读取或写入请求时，根据所述读取请求以及所述缓存区中的请求信息读取存储区中的数据，或者根据所述写入请求以及所述缓存区中的请求信息向存储区中写入数据；存储模块，用于将所述读取或写入请求中的请求信息存入缓存区；同步模块，用于将所述请求信息同步至集群文件系统中的从存储节点。本发明专利技术还提出一种集群文件系统的数据处理方法。本发明专利技术中在主存储节点故障后，从存储节点可根据其缓存区内的服务请求信息，无间断的接管客户端的读取或写入进程，保证集群文件系统服务的稳定性。

【技术实现步骤摘要】

本专利技术涉及数据处理
，尤其涉及一种集群文件系统的数据处理方法和装置。
技术介绍
近年来，集群文件系统已经成为计算机技术发展的新趋势。集群文件系统通过将多个单一独立的主机有机的结合串联成一个系统性的整体，并依托存储区域网络，对外提供一个大容量文件系统的共享存储应用，如CIFS。实现了存储区域网络内的多并发用户操作和大数据传输。虽然如此，集群节点的增加同时也增加了节点宕机或服务故障的可能性。比如，当客户机在向集群中读写一个较大文件时，如果受理该读写请求的服务节点故障，即使服务能及时切换到其他节点，由于其他节点的内存中并没有数据缓存，那么客户机的读写操作还是会中断。
技术实现思路
本专利技术的主要目的在于提供一种集群文件系统的数据处理方法和装置，旨在解决由于集群服务节点故障，使客户端读写操作中断的技术问题。为实现上述目的，本专利技术提供的一种集群文件系统的数据处理装置，所述集群文件系统的数据处理装置包括：存储模块，用于在存储节点接收到文件读取或写入请求，且所述存储模块所在的存储节点为主存储节点时，将所述读取或写入请求中的请求信息存入其缓存区；同步模块，用于将所述请求信息同步至集群文件系统中的从存储节点；数据处理模块，用于根据所述读取请求以及所述缓存区中的请求信息读取其存储区中的数据，或者根据所述写入请求以及所述缓存区中的请求信息向其存储区中写入数据。可选地，所述集群文件系统的数据处理装置包括：检测模块，用于接收服务请求时，检测所述服务请求的类型；判断模块，用于判断所述服务请求是否为读取或写入请求；响应模块，用于若所述服务请求不是读取或写入请求，则响应所述服务请求。可选地，所述集群文件系统的数据处理装置还包括：确定模块，用于在接收到文件读取或写入请求时，确定所述读取或写入请求对应的数据是否需要验证；获取模块，用于在所述读取或写入请求对应的数据需要验证时，获取用户输入的验证信息；所述数据处理模块，还用于在所述验证信息与预存的验证信息匹配时，根据所述读取请求以及所述缓存区中的请求信息读取其存储区中的数据，或者根据所述写入请求以及所述缓存区中的请求信息向其存储区中写入数据。可选地，所述集群文件系统的数据处理装置还包括：所述检测模块，还用于检测链路连接状态和运行状态；切换模块，用于在检测到链路连接故障或运行故障时，在处于正常工作状态的从存储节点中选取主存储节点，将选取的所述从存储节点的地址标记为主存储节点地址；更新模块，用于将标记的所述主存储节点地址发送至控制节点以及选取的所述从存储节点，其中，所述控制节点采用接收到的所述主存储节点地址更新保存的所述主存储节点地址，且选取的所述存储节点接收到所述主存储节点地址时，将工作状态切换为主存储节点状态。可选地，所述检测模块包括：链路检测单元，用于定时向所述控制节点发送第一检测数据包以及接收所述控制节点基于所述检测数据包反馈的第二响应数据包；读写检测单元，用于在预设时间间隔内接收到所述响应数据包时，判断读取以及写入是否正常；判定单元，用于在读取以及写入正常时，判定运行正常，在读取以及写入异常时，判定运行故障，以及在预设时间间隔内未接收到所述响应数据包时，判定所述链路连接故障。本专利技术进一步提供一种集群文件系统的数据处理方法，所述集群文件系统的数据处理方法包括：在存储节点接收到文件读取或写入请求，且所述存储节点为主存储节点时，所述存储节点根据所述读取请求以及所述缓存区中的请求信息读取其存储区中的数据，或者根据所述写入请求以及所述缓存区中的请求信息向其存储区中写入数据；所述存储节点将所述读取或写入请求中的请求信息存入其缓存区；所述存储节点将所述请求信息同步至集群文件系统中的从存储节点。可选地，所述存储节点将所述读取或写入请求中的请求信息存入其缓存区的步骤之前还包括：在所述存储节点接收服务请求时，检测所述服务请求的类型；判断所述服务请求是否为读取或写入请求；若所述服务请求为读取或写入请求，则执行所述将所述读取或写入服务请求中的请求信息存入其缓存区的步骤；所述判断所述服务请求是否为读取或写入请求的步骤之后，所述集群文件系统的数据处理方法还包括：若所述服务请求不是读取或写入请求，则响应所述服务请求。可选地，所述存储节点根据所述读取请求以及所述缓存区中的请求信息读取其存储区中的数据，或者根据所述写入请求以及所述缓存区中的请求信息向其存储区中写入数据的步骤之前，所述集群文件系统的数据处理方法还包括步骤：所述存储节点确定所述读取或写入请求对应的数据是否需要验证；在所述读取或写入请求对应的数据需要验证时，所述存储节点获取用户输入的验证信息；在所述验证信息与预存的验证信息匹配时，执行所述存储节点根据所述读取请求以及所述缓存区中的请求信息读取其存储区中的数据，或者根据所述写入请求以及所述缓存区中的请求信息向其存储区中写入数据的步骤。可选地，所述集群文件系统的数据处理方法还包括：在所述存储节点为主存储节点时，所述存储节点检测其链路连接状态和所述存储节点的运行状态；在所述获取存储节点实时检测到其链路连接故障或所述存储节点运行故障时，所述存储节点在处于正常工作状态的从存储节点中选取主存储节点，将选取的所述从存储节点的地址标记为主存储节点地址；将标记的所述主节点地址发送至控制节点以及选取的所述从存储节点，其中，所述控制节点采用接收到的所述主节点地址更新保存的所述主节点地址，且选取的所述存储节点接收到所述主节点地址时，将工作状态切换为主存储节点状态。可选地，所述存储节点检测其链路连接状态和所述存储节点的运行状态的步骤包括：所述存储节点定时向所述控制节点发送第一检测数据包；接收所述控制节点基于所述检测数据包反馈的第二响应数据包：在预设时间间隔内接收到所述响应数据包时，判断所述存储节点的读取以及写入是否正常；在所述存储节点的读取以及写入正常时，判定所述存储节点运行正常，在所述存储节点的读取以及写入异常时，判定所述存储节点运行故障；在预设时间间隔内未接收到所述响应数据包时，判定所述存储节点的链路连接故障。本专利技术提出的集群文件系统的数据处理方法和装置，在存储节点接收到文件读取或写入请求，且所述存储节点为主存储节点时，所述存储节点根据所述读取请求以及所述缓存区中的请求信息读取其存储区中的本文档来自技高网...

【技术保护点】
一种集群文件系统的数据处理装置，其特征在于，所述集群文件系统的数据处理装置包括：数据处理模块，用于在存储节点接收到文件读取或写入请求时，根据所述读取请求以及所述缓存区中的请求信息读取存储区中的数据，或者根据所述写入请求以及所述缓存区中的请求信息向存储区中写入数据存储模块，用于将所述读取或写入请求中的请求信息存入缓存区；同步模块，用于将所述请求信息同步至集群文件系统中的从存储节点。

【技术特征摘要】
1.一种集群文件系统的数据处理装置，其特征在于，所述集群文件系统
的数据处理装置包括：
数据处理模块，用于在存储节点接收到文件读取或写入请求时，根据所
述读取请求以及所述缓存区中的请求信息读取存储区中的数据，或者根据所
述写入请求以及所述缓存区中的请求信息向存储区中写入数据
存储模块，用于将所述读取或写入请求中的请求信息存入缓存区；
同步模块，用于将所述请求信息同步至集群文件系统中的从存储节点。
2.如权利要求1所述的集群文件系统的数据处理装置，其特征在于，
所述集群文件系统的数据处理装置还包括：
检测模块，用于接收服务请求时，检测所述服务请求的类型，判断所述
服务请求是否为读取或写入请求；
响应模块，用于若所述服务请求不是读取或写入请求，则响应所述服务
请求；
所述数据处理模块，还用于若所述服务请求是读取或写入请求，则根据
所述读取请求以及所述缓存区中的请求信息读取存储区中的数据，或者根据
所述写入请求以及所述缓存区中的请求信息向存储区中写入数据。
3.如权利要求1所述的集群文件系统的数据处理装置，其特征在于，
所述集群文件系统的数据处理装置还包括：
确定模块，用于在接收到文件读取或写入请求时，确定所述读取或写入
请求对应的数据是否需要验证；
获取模块，用于在所述读取或写入请求对应的数据需要验证时，获取用
户输入的验证信息；
所述数据处理模块，还用于在所述验证信息与预存的验证信息匹配时，
根据所述读取请求以及所述缓存区中的请求信息读取存储区中的数据，或者
根据所述写入请求以及所述缓存区中的请求信息向存储区中写入数据。
4.如权利要求2所述的集群文件系统的数据处理装置，其特征在于，所
述集群文件系统的数据处理装置还包括：
所述检测模块，还用于检测链路连接状态和运行状态；
切换模块，用于在检测到链路连接故障或运行故障时，在处于正常工作
状态的从存储节点中选取主存储节点，将选取的所述从存储节点的地址标记
为主存储节点地址；
更新模块，用于将标记的所述主存储节点地址发送至控制节点以及选取
的所述从存储节点，其中，所述控制节点采用接收到的所述主存储节点地址
更新保存的所述主存储节点地址，且选取的所述存储节点接收到所述主存储
节点地址时，将工作状态切换为主存储节点状态。
5.如权利要求4所述的集群文件系统的数据处理装置，其特征在于，
所述检测模块包括：
链路检测单元，用于定时向所述控制节点发送第一检测数据包以及接收
所述控制节点基于所述检测数据包反馈的第二响应数据包；
读写检测单元，用于在预设时间间隔内接收到所述响应数据包时，判断
读取以及写入是否正常；
判定单元，用于在读取以及写入正常时，判定运行正常，在读取以及写
入异常时，判定运行故障，以及在预设时间间隔内未接收到所述响应数据包
时，判定链路连接故障。
6.一种集群文件系统的数据处理方法，其特征在于，所述集群文件系统
的数据处理方法包括：
在存储节点接收到文件读取或写入请求时，所述存储节点根据所述读取
请求以及所述缓存区中的请求信息读取其存储区中的数据，或者根据所述写
入请求以及所述缓存区中的请求信息向其存储区中写入数...

【专利技术属性】
技术研发人员：张勤，李璐，
申请(专利权)人：深圳市中博科创信息技术有限公司，
类型：发明
国别省市：广东;44