基于BeeGFS和负载均衡的高可用文件管理系统及方法技术方案

本发明专利技术提供了一种基于BeeGFS和负载均衡的高可用文件管理系统及方法，包括：在文件服务集群的每个节点安装BeeGFS的程序mgmtd，将管理服务节点的MS配置文件分发到文件服务集群其他各个节点的对应目录下，将其他各个节点MS配置文件中记录的MS节点ip更换为其他各个节点自己的ip；通过F5负载均衡将BeeGFS所有存储服务器的ip集成映射到同一个虚拟ip端口，使得远程服务写入时配置传输目标为所述虚拟ip，由F5服务根据网络负载情况自动调整实际通信ip。本发明专利技术把F5结合BeeGFS，把BeeGFS所有存储服务器的ip集成映射到同一个虚拟ip端口，以解决固定ip的问题。决固定ip的问题。决固定ip的问题。

【技术实现步骤摘要】
基于BeeGFS和负载均衡的高可用文件管理系统及方法


[0001]本专利技术涉及文件管理
，具体地，涉及基于BeeGFS和负载均衡的高可用文件管理系统及方法。

技术介绍

[0002]BeeGFS包含服务组件Management Server(MS管理服务)、MetaData Server(MDS，元数据服务)、Object Storage Server(OSS对象存储服务)、文件系统客户端(Client)。
[0003]Management Server(MS管理服务)：通过程序包BeeGFS
‑
mgmtd安装部署，实际在操作系统中启动的service名称为BeeGFS
‑
mgmtd，一般简称该程序为mgmtd或MS管理程序。系统中必须要有一个MS，BeeGFS安装的所有配置文件必须指向同一个MS。MS维护所有文件系统组件的列表，包括Client，MetaData Servers，MetaData Targets，Storage Servers和Storage Targets。
[0004]MetaData Server(MDS，元数据服务)：MDS包含系统中Meta Data的信息。MetaData服务器无限制可扩展。每个MDS都有一个MetaData Target(MDT，存储MDS的Meta Data)。
[0005]ObjectStorage Server(OSS对象存储服务)：OSS是存储文件内容的主要服务。每个OSS可能具有一个或多个Object Storage Targets(OST)，OST可以是本地文件系统(如xfs，ext4或zfs)或LUN。
[0006]文件系统客户端(Client)：BeeGFS客户端是在Linux中运行的一个内核模块，必须编译以匹配使用的内核。客户端是GPL提供的开源产品。BeeGFS客户端服务提供了一个正常的挂载点，使您的应用程序可以直接访问BeeGFS存储系统，客户端包含两个守护进程服务：BeeGFS
‑
client，BeeGFS
‑
helperd。

技术实现思路

[0007]针对现有技术中的缺陷，本专利技术的目的是提供一种基于BeeGFS和负载均衡的高可用文件管理系统及方法。
[0008]根据本专利技术提供的一种基于BeeGFS和负载均衡的高可用文件管理方法，包括：
[0009]步骤A：在文件服务集群的每个节点安装BeeGFS的程序mgmtd，将管理服务节点的MS配置文件分发到文件服务集群其他各个节点的对应目录下，将其他各个节点MS配置文件中记录的MS节点ip更换为其他各个节点自己的ip；
[0010]步骤B：通过F5负载均衡将BeeGFS所有存储服务器的ip集成映射到同一个虚拟ip端口，使得远程服务写入时配置传输目标为所述虚拟ip，由F5服务根据网络负载情况自动调整实际通信ip。
[0011]优选地，在所述步骤A中，通过自动化脚本定时检查管理服务状态，当管理服务状态异常时，自动完成服务的切换；切换流程包括：关闭文件服务集群系统中所有相关服务；通过shell脚本参数指定新的MS节点，生成对应的远程命令；将各节点各服务的配置文件中关于MS的IP配置更新为新的参数值；启动BeeGFS服务；
[0012]切换流程的操作都在切换脚本中完成，通过配好参数调用切换脚本完成。
[0013]优选地，在所述步骤B中，部署F5负载均衡，通过F5负载均衡的公共IP往BeeGFS文件服务器集群推送文件；BeeGFS文件系统搭配F5负载均衡使用，对外提供公共IP。
[0014]优选地，对于开启了机器码识别设置的端服务器，手动修改known_hosts配置文件将F5集成的ip与实际ip对应的所有服务器机器码都作为映射关系写入；节点BeeGFS共享目录的所属及权限统一，所属用户与用户组的id号统一，对应的读写权限给到远程推送数据的用户；所有节点用户密码统一；对于使用免密策略推送数据则所有节点都统一配置公钥。
[0015]根据本专利技术提供的一种基于BeeGFS和负载均衡的高可用文件管理系统，包括：BeeGFS和F5；
[0016]在文件服务集群的每个节点安装BeeGFS的程序mgmtd，将管理服务节点的MS配置文件分发到文件服务集群其他各个节点的对应目录下，将其他各个节点MS配置文件中记录的MS节点ip更换为其他各个节点自己的ip；
[0017]F5负载均衡将BeeGFS所有存储服务器的ip集成映射到同一个虚拟ip端口，使得远程服务写入时配置传输目标为所述虚拟ip，由F5服务根据网络负载情况自动调整实际通信ip。
[0018]优选地，通过自动化脚本定时检查管理服务状态，当管理服务状态异常时，自动完成服务的切换；切换流程包括：关闭文件服务集群系统中所有相关服务；通过shell脚本参数指定新的MS节点，生成对应的远程命令；将各节点各服务的配置文件中关于MS的IP配置更新为新的参数值；启动BeeGFS服务；
[0019]切换流程的操作都在切换脚本中完成，通过配好参数调用切换脚本完成。
[0020]优选地，F5负载均衡的公共IP往BeeGFS文件服务器集群推送文件；BeeGFS文件系统搭配F5负载均衡使用，对外提供公共IP。
[0021]优选地，对于开启了机器码识别设置的端服务器，手动修改known_hosts配置文件将F5集成的ip与实际ip对应的所有服务器机器码都作为映射关系写入；节点BeeGFS共享目录的所属及权限统一，所属用户与用户组的id号统一，对应的读写权限给到远程推送数据的用户；所有节点用户密码统一；对于使用免密策略推送数据则所有节点都统一配置公钥。
[0022]根据本专利技术提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现所述的基于BeeGFS和负载均衡的高可用文件管理方法的步骤。
[0023]根据本专利技术提供的一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被处理器执行时实现所述的基于BeeGFS和负载均衡的高可用文件管理方法的步骤。
[0024]与现有技术相比，本专利技术具有如下的有益效果：
[0025]本专利技术通过BeeGFS解决了第一个技术问题：高可用性。
[0026]本专利技术通过F5解决了第二个技术问题：负载均衡。
[0027]本专利技术还解决了第三个技术问题：固定ip。具体而言，虽然BeeGFS可以多节点共享文件，文件只需传输到任意节点的共享目录，其他所有节点都可以正常对该文件进行读取，但是BeeGFS的ip是不固定的，对于固定ip的脚本，无法充分利用所有节点的网络IO，读写效率与直接读写到单节点本地无提升，甚至因为BeeGFS文件系统需要同步元数据到各个节点，反而导致效率略有下降。为此，本专利技术把F5进行创造性地结合，把BeeGFS所有存储服务
器的ip集成映射到同一个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于BeeGFS和负载均衡的高可用文件管理方法，其特征在于，包括：步骤A：在文件服务集群的每个节点安装BeeGFS的程序mgmtd，将管理服务节点的MS配置文件分发到文件服务集群其他各个节点的对应目录下，将其他各个节点MS配置文件中记录的MS节点ip更换为其他各个节点自己的ip；步骤B：通过F5负载均衡将BeeGFS所有存储服务器的ip集成映射到同一个虚拟ip端口，使得远程服务写入时配置传输目标为所述虚拟ip，由F5服务根据网络负载情况自动调整实际通信ip。2.根据权利要求1所述的基于BeeGFS和负载均衡的高可用文件管理方法，其特征在于，在所述步骤A中，通过自动化脚本定时检查管理服务状态，当管理服务状态异常时，自动完成服务的切换；切换流程包括：关闭文件服务集群系统中所有相关服务；通过shell脚本参数指定新的MS节点，生成对应的远程命令；将各节点各服务的配置文件中关于MS的IP配置更新为新的参数值；启动BeeGFS服务；切换流程的操作都在切换脚本中完成，通过配好参数调用切换脚本完成。3.根据权利要求1所述的基于BeeGFS和负载均衡的高可用文件管理方法，其特征在于，在所述步骤B中，部署F5负载均衡，通过F5负载均衡的公共IP往BeeGFS文件服务器集群推送文件；BeeGFS文件系统搭配F5负载均衡使用，对外提供公共IP。4.根据权利要求3所述的基于BeeGFS和负载均衡的高可用文件管理方法，其特征在于，对于开启了机器码识别设置的端服务器，手动修改known_hosts配置文件将F5集成的ip与实际ip对应的所有服务器机器码都作为映射关系写入；节点BeeGFS共享目录的所属及权限统一，所属用户与用户组的id号统一，对应的读写权限给到远程推送数据的用户；所有节点用户密码统一；对于使用免密策略推送数据则所有节点都统一配置公钥。5.一种基于BeeGFS和负载均衡的高可用文件管理系统，其特征在于，包括：BeeGFS和F5；在文件服务集群的每个节点安装BeeGFS的程序mgmtd，将管理服务节点的MS配置文件分...

【专利技术属性】
技术研发人员：冯明亮，周全，尤毅，沈明佶，赵昊宇，彭广亮，顾安懿，顾杰，李慧颖，徐羽沁，李天举，罗琳，吕路明，吕倬，樊楷，
申请(专利权)人：兴业数字金融服务上海股份有限公司，
类型：发明
国别省市：