一种在计算机集群环境中构建分布式文件系统及方法技术方案

本发明专利技术提供一种在计算机集群环境中构建分布式文件系统及方法，管理节点，存储节点，交换机，计算节点，IP地址设置模块，挂载模块；每个管理节点，每个存储节点及多个计算节点通过交换机连接到一起；管理节点用于使用户通过管理节点登录，并使用计算节点上的计算资源；存储节点的数据共享给集群中的所有计算节点和管理节点使用；在每个存储节点上部署ssh协议的服务器端守护进程sshd服务；在每个计算节点和每个管理节点上部署用户空间文件系统；在每个计算节点和每个管理节点上部署sshfs服务；系统可以较好的规避NFS文件系统在使用中潜在的问题。从而可以替代NFS在计算机集群中的相关功能。

System and method for constructing distributed file system in computer cluster environment

The invention provides a method of constructing distributed file system and method in computer cluster environment management node, storage nodes, compute nodes, switches, IP address setting module, the mount module; each management node, each storage node and multiple nodes by exchanging machine connected together; the management node for a user login through the management node and, using computing resources on the nodes; the storage node data sharing to cluster all computing nodes and management nodes; daemon sshd service in each storage node deployed on the ssh server; in each computing node and each node deployment management user space file system; the deployment of sshfs service node and calculation each node in each management system; can avoid potential problems in the use of the NFS file system better. Thus, it can replace the related functions of NFS in the computer cluster.

【技术实现步骤摘要】
一种在计算机集群环境中构建分布式文件系统及方法
本专利技术涉及计算机文件处理领域，尤其涉及一种在计算机集群环境中构建分布式文件系统及方法。
技术介绍
计算机集群(computercluster)是指通过网络连接的一些计算节点组成的整体，这些计算节点通过软件调度协同工作，使得整个集群的运行模式如同一台单一计算机一样。当前，计算机集群技术现在已经广泛的应用于大数据、云计算、高性能计算等多个IT领域。分布式文件系统(distributedfilesystem)是计算机集群，特别是高性能计算集群系统中常见的组成部分，通过分布式文件系统，集群中的计算节点可以共享位于其他节点上的数据。在高性能计算集群中，一种常见的分布式文件系统是NFS(networkfilesystem)协议，NFS协议允许客户端计算机(client)通过计算机网络像访问本地存储一样访问其他计算机上通过NFS协议共享的文件。当前，NFS协议已经被广泛的应用在高性能计算集群中。一种常见的使用方式是通过NFS协议把存储节点上的/home目录在集群中共享，计算节点通过mount的方式即可以挂载该目录并读写其中的数据。从而实现整个计算机集群共享同一个/home目录的效果。对于当前主流的NFS文件共享方式，Server端的共享和Client端的挂载都只能通过root权限完成，限制了普通用户进行操作的可能。一旦client端的挂载完成，client端就具有了对整个挂载目录的操作权限，存在一定的安全风险。
技术实现思路
为了克服上述现有技术中的不足，本专利技术提供一种在计算机集群环境中构建分布式文件系统，包括：至少一个管理节点，至少一个存储节点，交换机，至少一个计算节点，IP地址设置模块，挂载模块；每个管理节点，每个存储节点及多个计算节点通过交换机连接到一起；管理节点用于使用户通过管理节点登录，并使用计算节点上的计算资源；存储节点的数据共享给集群中的所有计算节点和管理节点使用；IP地址设置模块用于对每个管理节点，每个存储节点，每个计算节点设置IP地址；每个管理节点，每个存储节点及每个计算节点均部署操作系统；在每个存储节点上部署ssh协议的服务器端守护进程sshd服务；在每个计算节点和每个管理节点上部署用户空间文件系统；在每个计算节点和每个管理节点上部署sshfs服务；挂载模块用于集群中的任意用户在存储节点中存储的数据，并通过sshfs服务挂载到计算节点和管理节点上的对应目录下。优选地，还包括：用户注册模块；用户注册模块用于使系统提供普通用户注册客户端及root用户注册客户端；普通用户注册客户端提供给用户注册普通用户账户及密码，root用户注册客户端提供给用户注册root用户账户及密码；普通用户使用sshfs服务卸载以该用户权限挂载在计算节点和管理节点上的目录；root用户把存储节点中的数据，挂载到计算节点和管理节点上的对应目录下；root用户使用sshfs服务卸载所有通过上述方式挂载的，计算节点和管理节点上的目录。优选地，管理节点和存储节点共享一个物理节点，即存储节点兼做管理节点的功能.优选地，还包括：一个或者多个交换机；设置多个交换机则整个集群的采用星型网络拓扑结构，或环形网络拓扑结构，或总线网络拓扑结构，或树形网络拓扑结构，或网状网络拓扑结构。优选地，每个管理节点，每个存储节点，每个计算节点均使用的是同一个Linux操作系统。类型和版本号优选地，所有节点通过NIS服务共享同一套用户账户和密码，或者每个管理节点，每个存储节点，每个计算节点均建立单独的用户账户和密码。一种在计算机集群环境中构建分布式文件方法，方法包括，S1:部署操作系统；S2:创建普通用户和root用户；S3:配置SSH服务；S4:部署用户空间文件系统；S5:部署sshfs服务；S6:普通用户的文件挂载和卸载，root用户的文件挂载和卸载。优选地，步骤S1还包括：将所有节点部署于同一子网，操作系统部署完成后，分别设置每个管理节点，每个存储节点，每个计算节点IP地址，使每个管理节点，每个存储节点，每个计算节点相互ping通；步骤S2还包括：在管理节点创建普通用户，并设置对应的用户密码以及创建root用户并设置对应密码；存储节点和计算节点通过NIS服务共享管理节点上的用户名和密码；或在存储节点创建普通用户和对应的密码以及在计算节点创建普通用户和对应的密码。优选地，步骤S3还包括：在管理节点、存储节点、计算节点上配置并启动SSH服务；配置后普通用户从管理节点，或计算节点通过ssh相互登录，并可以通过scp、rsync命令发送，接收数据；步骤S4还包括：root用户执行挂载操作和卸载操作。优选地，步骤S6还包括：普通用户的home目录为/home/user1/，user1为一普通用户的用户名；在管理节点、存储节点、计算节点上都设置/home/user1/目录；uer1用户在登录管理节点后，使用如下命令，把存储节点上的目录挂载到管理节点上：>sshfsuser1@存储节点2:/home/user1//home/user1/接下来，user1依次登录每个计算节点，执行上述命令，把存储节点上的目录挂载到每个计算节点上；管理节点和每个计算节点的/home/user1/的内容均来自存储节点上/home/user1/内容的共享；在管理节点，计算节点上的文件创建、读写、删除都对应于存储节点上的相应文件的创建、读写和删除；当用户user1在某个节点上卸载/home/user1/时，使用如下命令：>fusermount-u/home/user1/；root用户用于把普通用户所有的/home/目录进行挂载或卸载，或者对所有的普通用户的/home/目录进行挂载或卸载。从以上技术方案可以看出，本专利技术具有以下优点：在计算机集群环境中构建分布式文件系统可以较好的规避NFS文件系统在使用中潜在的问题。从而可以替代NFS在计算机集群中的相关功能。附图说明为了更清楚地说明本专利技术的技术方案，下面将对描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为在计算机集群环境中构建分布式文件方法流程图；图2为在计算机集群环境中构建分布式文件系统实施例示意图。具体实施方式为使得本专利技术的专利技术目的、特征、优点能够更加的明显和易懂，下面将运用具体的实施例及附图，对本专利技术保护的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本专利技术一部分实施例，而非全部的实施例。基于本专利中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利保护的范围。本实施例提供一种在计算机集群环境中构建分布式文件系统，包括：至少一个管理节点，至少一个存储节点，交换机，至少一个计算节点，IP地址设置模块，挂载模块；每个管理节点，每个存储节点及多个计算节点通过交换机连接到一起；管理节点用于使用户通过管理节点登录，并使用计算节点上的计算资源；存储节点的数据共享给集群中的所有计算节点和管理节点使用；IP地址设置模块用于对每个管理节点，每个存储节点，每个计算节点设置IP地址；每个管理节点，每个存储节本文档来自技高网...

【技术保护点】
一种在计算机集群环境中构建分布式文件系统，其特征在于，包括：至少一个管理节点，至少一个存储节点，交换机，至少一个计算节点，IP地址设置模块，挂载模块；每个管理节点，每个存储节点及多个计算节点通过交换机连接到一起；管理节点用于使用户通过管理节点登录，并使用计算节点上的计算资源；存储节点的数据共享给集群中的所有计算节点和管理节点使用；IP地址设置模块用于对每个管理节点，每个存储节点，每个计算节点设置IP地址；每个管理节点，每个存储节点及每个计算节点均部署操作系统；在每个存储节点上部署ssh协议的服务器端守护进程sshd服务；在每个计算节点和每个管理节点上部署用户空间文件系统；在每个计算节点和每个管理节点上部署sshfs服务；挂载模块用于集群中的任意用户在存储节点中存储的数据，并通过sshfs服务挂载到计算节点和管理节点上的对应目录下。

【技术特征摘要】
1.一种在计算机集群环境中构建分布式文件系统，其特征在于，包括：至少一个管理节点，至少一个存储节点，交换机，至少一个计算节点，IP地址设置模块，挂载模块；每个管理节点，每个存储节点及多个计算节点通过交换机连接到一起；管理节点用于使用户通过管理节点登录，并使用计算节点上的计算资源；存储节点的数据共享给集群中的所有计算节点和管理节点使用；IP地址设置模块用于对每个管理节点，每个存储节点，每个计算节点设置IP地址；每个管理节点，每个存储节点及每个计算节点均部署操作系统；在每个存储节点上部署ssh协议的服务器端守护进程sshd服务；在每个计算节点和每个管理节点上部署用户空间文件系统；在每个计算节点和每个管理节点上部署sshfs服务；挂载模块用于集群中的任意用户在存储节点中存储的数据，并通过sshfs服务挂载到计算节点和管理节点上的对应目录下。2.根据权利要求1所述的在计算机集群环境中构建分布式文件系统，还包括：用户注册模块；用户注册模块用于使系统提供普通用户注册客户端及root用户注册客户端；普通用户注册客户端提供给用户注册普通用户账户及密码，root用户注册客户端提供给用户注册root用户账户及密码；普通用户使用sshfs服务卸载以该用户权限挂载在计算节点和管理节点上的目录；root用户把存储节点中的数据，挂载到计算节点和管理节点上的对应目录下；root用户使用sshfs服务卸载所有通过上述方式挂载的，计算节点和管理节点上的目录。3.根据权利要求1或2所述的在计算机集群环境中构建分布式文件系统，管理节点和存储节点共享一个物理节点，即存储节点兼做管理节点的功能。4.根据权利要求1或2所述的在计算机集群环境中构建分布式文件系统，还包括：一个或者多个交换机；设置多个交换机则整个集群的采用星型网络拓扑结构，或环形网络拓扑结构，或总线网络拓扑结构，或树形网络拓扑结构，或网状网络拓扑结构。5.根据权利要求2所述的在计算机集群环境中构建分布式文件系统，每个管理节点，每个存储节点，每个计算节点均使用的是同一个Linux操作系统，类型和版本号。6.根据权利要求2所述的在计算机集群环境中构建分布式文件系统，所有节点通过NIS服务共享同一套用户账户和密码，或者每个管理节点，每个存储节点，每个计算节点均建立单独的用户账户和密码。7.一种在计算机集群环境中构建分布式文件方法，其...

【专利技术属性】
技术研发人员：朱红，刘羽，金莲，任丹琴，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41