一种分布式存储的存储集群元数据管理方法技术

本发明专利技术涉及一种分布式存储的存储集群元数据管理方法

【技术实现步骤摘要】
一种分布式存储的存储集群元数据管理方法、系统和装置


[0001]本专利技术涉及分布式存储
，特别是涉及一种分布式存储的存储集群元数据管理方法
、
系统和装置
。

技术介绍

[0002]随着分布式场景的普及和信息量的暴涨，分布式存储的规模也变得越来越大，分布式存储的运维也变得更加具有挑战性
。
随着存储集群的节点数量的增加，集群中管理的物理磁盘成指数级增长，大量的磁盘会导致磁盘的故障率也会随着盘的增多而增加
。
因此磁盘的管理维护变的非常敏感，磁盘元数据的维护成本也随之增加
。
由于存储集群的元数据信息存储后将不再修改，而且磁盘的信息必须要存在较高的安全性
。
所以现有的存储集群的元数据信息需要借助第三方工具和软件，比如各种文件系统或者磁盘管理工具，例如
LVM(
逻辑卷管理，全称为：
Logical Volume Manager
，是
Linux
系统中对磁盘管理的虚拟设备驱动，可以不受物理设备限制，可以随意动态调整磁盘大小
)
，软
RAID(
独立磁盘冗余阵列，全称为：
Redundant Array of Independent Disks
，是一种磁盘阵列
)
等
。
第三方工具和软件存储信息需要管理相应的元数据信息，这些元数据信息会随着数据的更新而不断的更新
。
当系统出现故障时，或者磁盘出现坏道时存在丢数据风险，甚至会导致当前节点其他磁盘的信息的获取异常，比如磁盘异常导致
LVM
信息查询失败等问题
。
[0003]有鉴于此，如何克服现有技术所存在的缺陷，解决现有的技术所存在的问题，是本
待解决的难题
。

技术实现思路

[0004]针对现有技术中的缺陷或改进需求：随着存储集群的节点数量的增加，磁盘的故障率也会随着盘的增多而增加，磁盘的管理维护变的非常敏感，磁盘元数据的维护成本也随之增加；现有的存储集群的元数据信息需要借助第三方工具和软件，当系统出现故障时，或者磁盘出现坏道时存在丢数据风险，甚至会导致当前节点其他磁盘的信息的获取异常，比如磁盘异常导致
LVM
信息查询失败等问题
。
[0005]本专利技术采用如下技术方案：
[0006]第一方面，本专利技术提供了一种分布式存储的存储集群元数据管理方法，包括：
[0007]将当前存储集群的元数据信息直接写入物理磁盘；
[0008]对象存储设备启动存储数据服务时，存储数据服务读取物理磁盘中的元数据信息，并将元数据信息写入内存；
[0009]将对象存储设备自身的集群配置信息与内存中的元数据信息进行对比，若满足权限则启动存储数据服务成功，访问物理磁盘继续后续的存储数据服务；若不满足权限则启动存储数据服务失败，停止存储数据服务
。
[0010]进一步的，所述将当前存储集群的元数据信息直接写入物理磁盘具体包括：
[0011]根据物理磁盘的电子序列号生成磁盘标识，根据磁盘标识创建物理磁盘的软连
接；
[0012]获取当前存储集群中的对象存储设备编号
、
集群标识
、
对象存储设备标识以及集群认证密钥；
[0013]将物理磁盘的软连接
、
对象存储设备编号
、
集群标识
、
对象存储设备标识以及集群认证密钥作为元数据信息的一部分，将元数据信息写入物理磁盘
。
[0014]进一步的，所述将对象存储设备自身的集群配置信息与内存中的元数据信息进行对比，若满足权限则启动存储数据服务成功，访问物理磁盘继续后续的存储数据服务；若不满足权限则启动存储数据服务失败，停止存储数据服务具体包括：
[0015]根据内存文件系统或内存中的元数据信息，获取物理磁盘的软连接
、
对象存储设备编号
、
集群标识
、
对象存储设备标识以及集群认证密钥；相对应的，对象存储设备自身的集群配置信息中包括自身的对象存储设备编号
、
集群标识
、
对象存储设备标识以及集群认证密钥；
[0016]将元数据信息中的对象存储设备编号
、
集群标识
、
对象存储设备标识以及集群认证密钥与对象存储设备自身的对象存储设备编号
、
集群标识
、
对象存储设备标识以及集群认证密钥依次进行对比；
[0017]若通过所有对比则满足权限，存储数据服务读取物理磁盘的软连接，通过物理磁盘的软连接直接访问该物理磁盘，继续后续的存储数据服务；若未通过所有对比则不满足权限，停止存储数据服务
。
[0018]进一步的，所述将元数据信息写入物理磁盘时，占用物理磁盘前
512
字节数据，其中，元数据信息中不同类别的信息分别占用物理磁盘前
512
字节数据中的预设部分，若预设部分中有多余的空间，则补空至对应大小
。
[0019]可选的，所述存储数据服务读取物理磁盘中的元数据信息，并将元数据信息写入内存具体包括：
[0020]在内存中挂载内存文件系统；
[0021]将元数据信息按存储集群的可读格式写入内存文件系统中
。
[0022]可选的，所述存储数据服务读取物理磁盘中的元数据信息，并将元数据信息写入内存具体包括：
[0023]读取物理磁盘中的元数据信息；
[0024]根据元数据信息格式解析元数据信息，并将解析后的元数据信息存于内存
。
[0025]进一步的，遇到节点重启或插盘事件时，包括：
[0026]获取物理磁盘的插盘事件，得到物理磁盘的盘符；
[0027]根据物理磁盘的盘符读取物理磁盘中的元数据信息；
[0028]格式转化元数据信息，并获取集群标识，判断物理磁盘的集群标识的准确性，若集群标识准确则根据物理磁盘的电子序列号生成磁盘标识，并根据磁盘标识创建物理磁盘的软连接，以便对象存储设备服务从物理磁盘中读取数据
。
[0029]进一步的，遇到拔盘事件时，包括：
[0030]获取物理磁盘的拔盘事件，得到物理磁盘的盘符以及物理磁盘的软连接；
[0031]根据物理磁盘的盘符和物理磁盘的软连接定位存储数据服务；
[0032]停止存储数据服务，卸载相应的内存文件系统，删除物理磁盘的软连接
。
[0033]第二方面，本专利技术提供了一种分布式存储的存储集群元数据管理系统，应用如第一方面所述的分布式存储的存储集群元数据管理方法，包括：内核
、
内存以及对象存储设备，其中：
[0034]所述内核的物理磁盘用于写入当前存储集群本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种分布式存储的存储集群元数据管理方法，其特征在于，包括：将当前存储集群的元数据信息直接写入物理磁盘；对象存储设备启动存储数据服务时，存储数据服务读取物理磁盘中的元数据信息，并将元数据信息写入内存；将对象存储设备自身的集群配置信息与内存中的元数据信息进行对比，若满足权限则启动存储数据服务成功，访问物理磁盘继续后续的存储数据服务；若不满足权限则启动存储数据服务失败，停止存储数据服务
。2.
根据权利要求1所述的分布式存储的存储集群元数据管理方法，其特征在于，所述将当前存储集群的元数据信息直接写入物理磁盘具体包括：根据物理磁盘的电子序列号生成磁盘标识，根据磁盘标识创建物理磁盘的软连接；获取当前存储集群中的对象存储设备编号
、
集群标识
、
对象存储设备标识以及集群认证密钥；将物理磁盘的软连接
、
对象存储设备编号
、
集群标识
、
对象存储设备标识以及集群认证密钥作为元数据信息的一部分，将元数据信息写入物理磁盘
。3.
根据权利要求2所述的分布式存储的存储集群元数据管理方法，其特征在于，所述将对象存储设备自身的集群配置信息与内存中的元数据信息进行对比，若满足权限则启动存储数据服务成功，访问物理磁盘继续后续的存储数据服务；若不满足权限则启动存储数据服务失败，停止存储数据服务具体包括：根据内存文件系统或内存中的元数据信息，获取物理磁盘的软连接
、
对象存储设备编号
、
集群标识
、
对象存储设备标识以及集群认证密钥；相对应的，对象存储设备自身的集群配置信息中包括自身的对象存储设备编号
、
集群标识
、
对象存储设备标识以及集群认证密钥；将元数据信息中的对象存储设备编号
、
集群标识
、
对象存储设备标识以及集群认证密钥与对象存储设备自身的对象存储设备编号
、
集群标识
、
对象存储设备标识以及集群认证密钥依次进行对比；若通过所有对比则满足权限，存储数据服务读取物理磁盘的软连接，通过物理磁盘的软连接直接访问该物理磁盘，继续后续的存储数据服务；若未通过所有对比则不满足权限，停止存储数据服务
。4.
根据权利要求2所述的分布式存储的存储集群元数据管理方法，其特征在于，所述将元数据信息写入物理磁盘时，占用物理磁盘前
512
字节数据，其中，元数据信息中不同类别的信息分别占用物理磁盘前

【专利技术属性】
技术研发人员：季小庭，李玉冰，李海静，肖丁，王昆，郇宜鸣，晁飞，许前坤，史汉嶂，李学真，朱正亮，李庆林，
申请(专利权)人：烽火通信科技股份有限公司，
类型：发明
国别省市：