一种基于消息中间件的分布式网络文件系统及其工作方法技术方案

本申请公开了一种基于消息中间件的分布式网络文件系统及其工作方法，包括：数据存储服务，由多台离散的NFS服务器构成，用于采用scale out架构搭建分布式网络文件系统；其中，每台NFS服务器作为一个节点，用于存放数据的多份副本；NFS客户端，用于通过NFS协议访问分布式网络文件系统；读写控制模块，由消息中间件构成，用于实现NFS客户端和NFS服务器之间的待处理消息的传递任务。本申请将网络文件系统改造为scale out架构的分布式网络文件系统，通过多副本的机制和采用消息中间件，可以提高文件系统的性能、可靠性和并发性，在系统容量和性能不足时，可以通过增加节点的方式进行扩容，扩展性强。

【技术实现步骤摘要】
一种基于消息中间件的分布式网络文件系统及其工作方法
本专利技术涉及网络文件系统领域，特别是涉及一种基于消息中间件的分布式网络文件系统及其工作方法。
技术介绍
在有线网络、无线网络速度快速发展的当今，网络带宽逐渐不再成为瓶颈时，文件存储于服务器，远程打开并远程使用是一种更加高效的使用方式，网络文件系统(NetworkFileSystem，简称NFS)正是远程使用文件的经典方式。目前，NFS系统为单机的scaleup架构，在服务器的磁盘容量，网络带宽或者系统性能不足时，通常的解决思路是在系统中添加磁盘，更换更快的网卡等，但这种方式容量和性能受限于单台服务器，扩展性较差。当多个客户端同时修改同一个文件时，NFS会通过排他锁，防止文件内容不一致，但这样会降低系统性能和并发能力，导致读取文件的可靠性和并发性能存在较大的局限。因此，如何解决NFS系统扩展性差，可靠性低，并发性能存在局限等问题，是本领域技术人员亟待解决的技术问题。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于消息中间件的分布式网络文件系统及其工作方法，可以提高文件系统的性能、可靠性、并发性和扩展性。其具体方案如下：一种基于消息中间件的分布式网络文件系统，包括：数据存储服务，由多台离散的NFS服务器构成，用于采用scaleout架构搭建分布式网络文件系统；其中，每台所述NFS服务器作为一个节点，用于存放数据的多份副本；NFS客户端，用于通过NFS协议访问所述分布式网络文件系统；读写控制模块，由消息中间件构成，用于实现所述NFS客户端和所述NFS服务器之间的待处理消息的传递任务。优选地，在本专利技术实施例提供的上述基于消息中间件的分布式网络文件系统中，所述NFS客户端，具体用于通过NFS协议执行挂载所述分布式网络文件系统的命令，向所述读写控制模块发送文件操作请求。优选地，在本专利技术实施例提供的上述基于消息中间件的分布式网络文件系统中，所述读写控制模块，具体用于通过NFS接口将所述NFS客户端发送的所述文件操作请求封装为消息，发送到所述消息中间件中进行处理。优选地，在本专利技术实施例提供的上述基于消息中间件的分布式网络文件系统中，所述消息中间件，用于通过消息队列选择空闲的所述NFS服务器中存放的可用副本，执行读写热点分散操作或读写限流操作。优选地，在本专利技术实施例提供的上述基于消息中间件的分布式网络文件系统中，还包括：目录服务，用于存放所述分布式网络文件系统中的元数据信息，以及对外提供所述元数据信息的查询修改创建操作。优选地，在本专利技术实施例提供的上述基于消息中间件的分布式网络文件系统中，所述读写控制模块，还用于将所述文件操作请求发送到所述目录服务上，查询所述NFS客户端所需的文件或目录，并将待访问的所述文件操作请求路由到指定的所述NFS服务器上。优选地，在本专利技术实施例提供的上述基于消息中间件的分布式网络文件系统中，所述目录服务使用的是基于内存的key-value存储系统，构建的是统一的所述分布式网络文件系统视图。本专利技术实施例还提供了一种本专利技术实施例提供的上述基于消息中间件的分布式网络文件系统的工作方法，包括：由多台离散的NFS服务器构成的数据存储服务采用scaleout架构搭建分布式网络文件系统；其中，每台所述NFS服务器作为一个节点来存放数据的多份副本；NFS客户端通过NFS协议访问所述分布式网络文件系统；采用消息中间件设计读写控制模块来实现所述NFS客户端和所述NFS服务器之间的待处理消息的传递任务。优选地，在本专利技术实施例提供的上述基于消息中间件的分布式网络文件系统的工作方法中，所述NFS客户端通过NFS协议访问所述分布式网络文件系统，包括：所述NFS客户端通过NFS协议执行挂载所述分布式网络文件系统的命令，向所述读写控制模块发送文件操作请求。优选地，在本专利技术实施例提供的上述基于消息中间件的分布式网络文件系统的工作方法中，所述采用消息中间件设计读写控制模块来实现所述NFS客户端和所述NFS服务器之间的待处理消息的传递任务，包括：所述读写控制模块通过NFS接口将所述NFS客户端发送的所述文件操作请求封装为消息，发送到所述消息中间件中；所述消息中间件通过消息队列选择空闲的所述NFS服务器中存放的可用副本，执行读写热点分散操作或读写限流操作。从上述技术方案可以看出，本专利技术所提供的一种基于消息中间件的分布式网络文件系统及其工作方法，包括：数据存储服务，由多台离散的NFS服务器构成，用于采用scaleout架构搭建分布式网络文件系统；其中，每台NFS服务器作为一个节点，用于存放数据的多份副本；NFS客户端，用于通过NFS协议访问分布式网络文件系统；读写控制模块，由消息中间件构成，用于实现NFS客户端和NFS服务器之间的待处理消息的传递任务。本专利技术将网络文件系统改造为scaleout架构的分布式网络文件系统，在兼顾网络文件系统的前提下，通过多副本的机制和采用消息中间件，可以提高文件系统的性能、可靠性和并发性，在系统容量和性能不足时，可以通过增加节点的方式进行扩容，扩展性强。附图说明为了更清楚地说明本专利技术实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术实施例提供的基于消息中间件的分布式网络文件系统的结构示意图；图2为本专利技术实施例提供的基于消息中间件的分布式网络文件系统的工作方法流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术提供一种基于消息中间件的分布式网络文件系统，如图1所示，包括：数据存储服务1，由多台离散的NFS服务器构成，用于采用scaleout架构搭建分布式网络文件系统；其中，每台NFS服务器作为一个节点，用于存放数据的多份副本；NFS客户端2，用于通过NFS协议访问分布式网络文件系统；读写控制模块3，由消息中间件构成，用于实现NFS客户端2和NFS服务器之间的待处理消息的传递任务。需要说明的是，现有的网络文件系统通常使用一台服务器存储文件，磁盘空间、带宽受限于单台的服务器的资源，而本专利技术加入了多台离散的服务器组成数据存储服务，数据以多副本存储在多台服务器上，可避免单台服务器磁盘和网络带宽的限制，也可防止单点故障，避免多个客户端读写相同文件时，引起的文件锁导致文件读写并发性低的问题，从而提高文件系统的稳定性；在系统容量不足时，可通过增加节点的方式进行扩容，并且可通过本文档来自技高网...

【技术保护点】
1.一种基于消息中间件的分布式网络文件系统，其特征在于，包括：/n数据存储服务，由多台离散的NFS服务器构成，用于采用scale out架构搭建分布式网络文件系统；其中，每台所述NFS服务器作为一个节点，用于存放数据的多份副本；/nNFS客户端，用于通过NFS协议访问所述分布式网络文件系统；/n读写控制模块，由消息中间件构成，用于实现所述NFS客户端和所述NFS服务器之间的待处理消息的传递任务。/n

【技术特征摘要】
1.一种基于消息中间件的分布式网络文件系统，其特征在于，包括：
数据存储服务，由多台离散的NFS服务器构成，用于采用scaleout架构搭建分布式网络文件系统；其中，每台所述NFS服务器作为一个节点，用于存放数据的多份副本；
NFS客户端，用于通过NFS协议访问所述分布式网络文件系统；
读写控制模块，由消息中间件构成，用于实现所述NFS客户端和所述NFS服务器之间的待处理消息的传递任务。


2.根据权利要求1所述的基于消息中间件的分布式网络文件系统，其特征在于，所述NFS客户端，具体用于通过NFS协议执行挂载所述分布式网络文件系统的命令，向所述读写控制模块发送文件操作请求。


3.根据权利要求2所述的基于消息中间件的分布式网络文件系统，其特征在于，所述读写控制模块，具体用于通过NFS接口将所述NFS客户端发送的所述文件操作请求封装为消息，发送到所述消息中间件中进行处理。


4.根据权利要求3所述的基于消息中间件的分布式网络文件系统，其特征在于，所述消息中间件，用于通过消息队列选择空闲的所述NFS服务器中存放的可用副本，执行读写热点分散操作或读写限流操作。


5.根据权利要求1所述的基于消息中间件的分布式网络文件系统，其特征在于，还包括：
目录服务，用于存放所述分布式网络文件系统中的元数据信息，以及对外提供所述元数据信息的查询修改创建操作。


6.根据权利要求5所述的基于消息中间件的分布式网络文件系统，其特征在于，所述读写控制模块，还用于将所述文件操作请求发送到所述目录服务上，查询所述NFS客户端所需...

【专利技术属性】
技术研发人员：李胜利，
申请(专利权)人：浪潮商用机器有限公司，
类型：发明
国别省市：山东;37