企业级分布式文件服务统一管理方法及系统技术方案

本发明专利技术提供了一种企业级分布式文件服务统一管理方法及系统，包括：配置网关服务和分布式文件系统元数据，管控中心服务基于元数据构建管理n叉树；网关服务与分布式文件系统建立健康监听，并注册网关服务为子节点，对应的分布式文件系统为叶子节点；管控中心服务根据管理n叉树获取子节点信息，并分发元信息至对应的子节点，网关服务独立对外提供存储服务；管控中心服务同步管理n叉树至请求分发中心服务，根据管理n叉树信息请求分发中心服务将系统级用户全局文件的请求分发至符合要求的网关服务。本发明专利技术以管控中心服务与请求分发中心服务为核心，兼容多类型分布式文件系统，实现多地多中心分布式文件系统的统一管理和文件数据存储的高可用。数据存储的高可用。数据存储的高可用。

【技术实现步骤摘要】
企业级分布式文件服务统一管理方法及系统


[0001]本专利技术涉及企业存储系统
，具体地涉及一种企业级分布式文件服务统一管理方法及系统。

技术介绍

[0002]目前需求接入分布式文件存储系统的系统服务对底层存储的要求不尽相同，对于之前已有存储的系统进行迁移接入时，需要兼顾接入系统的开发及运维人员使用习惯避免存储切换后出现“水土不服”的情况。文件存储服务在依赖单一分布式存储系统时，无法避免的在后续使用过程中遇到需要快速修复和响应的问题，对于可修复的基础问题暂时可以采用手动维护的方式，但是对于无法修复的系统级问题时，便只能更换底层分布式存储，由此造成的系统风险是不可估量的。
[0003]在公开号为CN114490536 A的中国专利文献中，公开了“基于轻量级文件系统FastDFS的分布式文件管理服务中心”的这种单一存储的集中管控设计方案，其虽然可以支撑起单机房的分布式文件存储系统管控，但不能保障FastDFS在遭遇0
‑
Day故障时有效灾备切换和快速响应，并且每个机房部署管控的形式无法有效形成单入口管控，有效减少运维事项。

技术实现思路

[0004]针对现有技术中的缺陷，本专利技术的目的是提供一种企业级分布式文件服务统一管理方法及系统。
[0005]根据本专利技术提供的一种企业级分布式文件服务统一管理方法，包括以下步骤：
[0006]步骤S1：配置网关服务及对应分布式文件系统元数据，管控中心服务基于元数据构建管理n叉树；
[0007]步骤S2：网关服务与所管辖的分布式文件系统建立健康监听，并注册网关服务为子节点，对应的分布式文件系统为叶子节点；
[0008]步骤S3：管控中心服务根据管理n叉树获取子节点信息，并分发元信息至对应的子节点，网关服务独立对外提供存储服务；
[0009]步骤S4：管控中心服务同步管理n叉树至请求分发中心服务，根据管理n叉树信息请求分发中心服务将系统级用户全局文件的请求分发至符合要求的网关服务。
[0010]优选地，所述步骤S1包括：
[0011]步骤S1.1：配置网关服务元数据包括：服务唯一编码、纳管接口路径、存储容量、部署区域、接入类型、存储类型、接入用户以及用户权限；
[0012]步骤S1.2：配置分布式文件系统元数据包括：连接信息，存储容量、系统类型以及部署信息；
[0013]步骤S1.3：以管控中心服务自身编号为根节点，后续子节点和叶子节点在管控中心服务中进行注册。
[0014]优选地，所述步骤S2包括：
[0015]步骤S2.1：管控中心服务通过网关服务的注册，在管理n叉树下增加网关服务编号信息；
[0016]步骤S2.2：依据广度优先遍历算法生成子节点横向排序的n叉树；
[0017]步骤S2.3：网关服务通过自携带的元数据信息，对管辖范围内的分布式文件系统进行健康监听；
[0018]步骤S2.4：网关服务携带所管辖分布式文件系统的信息，在管理n叉树中注册叶子节点信息；
[0019]步骤S2.5：当分布式文件系统类型为FastDFS时，采用保留的策略，当分布式文件系统类型为MinIO时，文件编号以bucket为核心，采用人为补齐的策略相FastDFS的文件编号同步；
[0020]步骤S2.6：根据主从节点的类型，构建主从节点自动同步和灾备任务；
[0021]步骤S2.7：基于健康监听策略，网关服务及时告警宕机服务，并建立主从切换机制。
[0022]优选地，所述步骤S3包括：
[0023]步骤S3.1：管控中心服务依据管理n叉树，对产生新建和变更的网关服务元数据进行分发；
[0024]步骤S3.2：网关服务基于管控中心服务分发的用户信息，完成用户接入时的权限判断，容量判定；
[0025]步骤S3.3：网关服务根据分布式系统连接信息，监控分布式系统所在服务器的磁盘情况。
[0026]优选地，所述步骤S4包括：
[0027]步骤S4.1：当管控中心服务通过共享缓存的方式与请求分发中心服务同步管理n叉树时，请求分发中心服务定时同步管理n叉树至备份数据库；当请求分发中心服务无法在共享缓存中获取管理n叉树时，直接调用管控中心服务接口获取最新管理n叉树
[0028]步骤S4.2：当可以获取到最新管理n叉树时，同步当前管理n叉树至备份数据库，并更新备份时间，当无法获取到最新管理n叉树时，请求分发中心服务从数据库中获取定时备份的管理n叉树；
[0029]步骤S4.3：当系统级用户采用高可用模式请求文件时，请求分发中心服务检索管理n叉树，获取并请求重定向至最近区域的网关服务。
[0030]根据本专利技术提供的一种企业级分布式文件服务统一管理系统，包括以下模块：
[0031]模块M1：配置网关服务及对应分布式文件系统元数据，管控中心服务基于元数据构建管理n叉树；
[0032]模块M2：网关服务与所管辖的分布式文件系统建立健康监听，并注册网关服务为子节点，对应的分布式文件系统为叶子节点；
[0033]模块M3：管控中心服务根据管理n叉树获取子节点信息，并分发元信息至对应的子节点，网关服务独立对外提供存储服务；
[0034]模块M4：管控中心服务同步管理n叉树至请求分发中心服务，根据管理n叉树信息请求分发中心服务将系统级用户全局文件的请求分发至符合要求的网关服务。
[0035]优选地，所述模块M1包括：
[0036]模块M1.1：配置网关服务元数据包括：服务唯一编码、纳管接口路径、存储容量、部署区域、接入类型、存储类型、接入用户以及用户权限；
[0037]模块M1.2：配置分布式文件系统元数据包括：连接信息，存储容量、系统类型以及部署信息；
[0038]模块M1.3：以管控中心服务自身编号为根节点，后续子节点和叶子节点在管控中心服务中进行注册。
[0039]优选地，所述模块M2包括：
[0040]模块M2.1：管控中心服务通过网关服务的注册，在管理n叉树下增加网关服务编号信息；
[0041]模块M2.2：依据广度优先遍历算法生成子节点横向排序的n叉树；
[0042]模块M2.3：网关服务通过自携带的元数据信息，对管辖范围内的分布式文件系统进行健康监听；
[0043]模块M2.4：网关服务携带所管辖分布式文件系统的信息，在管理n叉树中注册叶子节点信息；
[0044]模块M2.5：当分布式文件系统类型为FastDFS时，采用保留的策略，当分布式文件系统类型为MinIO时，文件编号以bucket为核心，采用人为补齐的策略相FastDFS的文件编号同步；
[0045]模块M2.6：根据主从节点的类型，构建主从节点自动同步和灾备任务；
[0046]模块M2.7：基于健康监听策略，网关服务及时告警宕机服务，并建立主从切换机制。
[0047]优选地，所述模块M3包括：
[0048本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种企业级分布式文件服务统一管理方法，其特征在于，包括以下步骤：步骤S1：配置网关服务及对应分布式文件系统元数据，管控中心服务基于元数据构建管理n叉树；步骤S2：网关服务与所管辖的分布式文件系统建立健康监听，并注册网关服务为子节点，对应的分布式文件系统为叶子节点；步骤S3：管控中心服务根据管理n叉树获取子节点信息，并分发元信息至对应的子节点，网关服务独立对外提供存储服务；步骤S4：管控中心服务同步管理n叉树至请求分发中心服务，根据管理n叉树信息请求分发中心服务将系统级用户全局文件的请求分发至符合要求的网关服务。2.根据权利要求1所述的企业级分布式文件服务统一管理方法，其特征在于：所述步骤S1包括：步骤S1.1：配置网关服务元数据包括：服务唯一编码、纳管接口路径、存储容量、部署区域、接入类型、存储类型、接入用户以及用户权限；步骤S1.2：配置分布式文件系统元数据包括：连接信息，存储容量、系统类型以及部署信息；步骤S1.3：以管控中心服务自身编号为根节点，后续子节点和叶子节点在管控中心服务中进行注册。3.根据权利要求1所述的企业级分布式文件服务统一管理方法，其特征在于：所述步骤S2包括：步骤S2.1：管控中心服务通过网关服务的注册，在管理n叉树下增加网关服务编号信息；步骤S2.2：依据广度优先遍历算法生成子节点横向排序的n叉树；步骤S2.3：网关服务通过自携带的元数据信息，对管辖范围内的分布式文件系统进行健康监听；步骤S2.4：网关服务携带所管辖分布式文件系统的信息，在管理n叉树中注册叶子节点信息；步骤S2.5：当分布式文件系统类型为FastDFS时，采用保留的策略，当分布式文件系统类型为MinIO时，文件编号以bucket为核心，采用人为补齐的策略相FastDFS的文件编号同步；步骤S2.6：根据主从节点的类型，构建主从节点自动同步和灾备任务；步骤S2.7：基于健康监听策略，网关服务及时告警宕机服务，并建立主从切换机制。4.根据权利要求1所述的企业级分布式文件服务统一管理方法，其特征在于：所述步骤S3包括：步骤S3.1：管控中心服务依据管理n叉树，对产生新建和变更的网关服务元数据进行分发；步骤S3.2：网关服务基于管控中心服务分发的用户信息，完成用户接入时的权限判断，容量判定；步骤S3.3：网关服务根据分布式系统连接信息，监控分布式系统所在服务器的磁盘情况。
5.根据权利要求1所述的企业级分布式文件服务统一管理方法，其特征在于：所述步骤S4包括：步骤S4.1：当管控中心服务通过共享缓存的方式与请求分发中心服务同步管理n叉树时，请求分发中心服务定时同步管理n叉树至备份数据库；当请求分发中心服务无法在共享缓存中获取管理n叉树时，直接调用管控中心服务接口获取最新管理n叉树步骤S4.2：当可以获取到最新管理n叉树时，同步当前管理n叉树至备份数据库，并更新备份时间，当无法获取到最新管理n叉树时，请求分发中心服务从数据库中获取定时备份的管理n叉树；步骤S4.3：当系统级用户采用高可用模式请求文件时，请求分发中心服务检索管理n叉树，获取并请求重定向至最近区域的网关服务。6.一种...

【专利技术属性】
技术研发人员：林宣丞，詹赵林，王畅，孙高翔，林鑫，张汪，杨根，
申请(专利权)人：兴业数字金融服务上海股份有限公司，
类型：发明
国别省市：