本申请公开了一种分布式集群的元数据压缩方法、系统、设备及存储介质，应用于存储技术领域，应用于分布式集群中的任1监控服务中，包括：判断由监控服务自身所管理的元数据信息的磁盘占用空间是否超过空间占用阈值；如果的，则判断A＞(B/2+1)是否成立；如果成立，则判断在分布式集群中，当前是否存在正在进行元数据信息的压缩的监控服务；如果不存在，则对自身所管理的元数据信息进行压缩；A表示的是在分布式集群中当前存活的监控服务数量，B表示的是分布式集群中设置的监控服务总数量。应用本申请的方案，可以有效进行分布式集群的元数据压缩，避免出现节点的磁盘空间耗尽的情况，同时可以避免发生分布式集群的服务不可用的情况。况。况。
【技术实现步骤摘要】
分布式集群的元数据压缩方法、系统、设备及存储介质
[0001]本专利技术涉及存储
，特别是涉及一种分布式集群的元数据压缩方法、系统、设备及存储介质。
技术介绍
[0002]分布式集群可以通过monitor服务，即监控服务来监控集群的健康状态。一个分布式集群通常会有多个monitor服务，设置在不同的存储服务器节点上。monitor服务可以维护集群的OSDmap(Object
‑
based Storage Device map，对象存储设备地图)、PGmap(Placement Group map，放置组地图)等元数据信息，并将这些元数据信息持久化保存在后端的kv
‑
store(key
‑
value store，键值存储)中。
[0003]monitor服务对于所管理的元数据信息，可以进行压缩，以减小磁盘占用，即，monitor服务可以进行自身所管理的kv
‑
store的压缩。通常，会自动周期性地执行kv
‑
store的压缩，也可以通过手动方式触发。但是，在有些场景下，例如分布式集群为大规模集群，单个OSDmap、PGmap的占用空间会较大，且数量也会较多，例如可能有几千个OSDmap，几万个PGmap，此时如果出现monitor服务故障等异常，便可能发生OSDmap、PGmap版本更新频繁的情况，进而使得kv
‑
store占用大量的空间，此时如果没有及时从内部触发自动压缩，便会导致磁盘空间耗尽。这种情况下，可以通过手动触发压缩来减小磁盘占用，例如可以通过当前的分布式集群提供的CLI命令，触发kv
‑
store的压缩。但是，如果人为的监控和介入不及时，仍然可能发生磁盘空间耗尽的情况。
[0004]因此，在当前的方案中，每个monitor服务会定期收集本节点的kv
‑
store的相关信息，包括其占用磁盘空间的大小，并将这些信息以广播的方式分享给其他的monitor服务。目前有两种方案，一种是主monitor服务定时检查所有monitor服务的kv
‑
store信息，如果某个monitor服务所管理的kv
‑
store占用磁盘空间过大，则向该monitor服务发出压缩指令，令其压缩。另一种方案是每个monitor服务检测到自己的kv
‑
store过大时，便执行压缩。
[0005]但是，采用目前的方案时，经常会发生分布式集群的服务不可用的情况。
[0006]综上所述，如何有效地进行分布式集群的元数据压缩，避免出现节点的磁盘空间耗尽的情况，同时解决分布式集群的服务不可用的问题，是目前本领域技术人员急需解决的技术问题。
技术实现思路
[0007]本专利技术的目的是提供一种分布式集群的元数据压缩方法、系统、设备及存储介质，以有效地进行分布式集群的元数据压缩，避免出现节点的磁盘空间耗尽的情况，同时解决分布式集群的服务不可用的问题。
[0008]为解决上述技术问题，本专利技术提供如下技术方案：
[0009]一种分布式集群的元数据压缩方法，应用于分布式集群中的任意1个监控服务中，包括：
[0010]判断由监控服务自身所管理的元数据信息的磁盘占用空间是否超过预设的空间占用阈值；
[0011]如果超过所述空间占用阈值，则判断A＞(B/2+1)是否成立；
[0012]如果成立，则判断在所述分布式集群中，当前是否存在正在进行元数据信息的压缩的监控服务；
[0013]如果不存在，则对自身所管理的元数据信息进行压缩；
[0014]其中，A表示的是在所述分布式集群中，当前存活的监控服务数量，B表示的是所述分布式集群中设置的监控服务总数量。
[0015]优选的，所述判断在所述分布式集群中，当前是否存在正在进行元数据信息的压缩的监控服务，包括：
[0016]将自身作为发起方，将所述分布式集群中除自身之外的当前存活的各个监控服务作为各个接收方，向各个接收方均发送压缩请求；
[0017]其中，针对任意1个接收到所述压缩请求的接收方，当该接收方的协定变量为默认状态时，该接收方反馈表示同意压缩的第一应答指令，并将该接收方的协定变量设置为压缩请求中携带的发起方编号值；当该接收方的协定变量不为默认状态时，该接收方反馈表示不同意压缩的第二应答指令；
[0018]当接收到每个接收方反馈的所述第一应答指令时，确定当前不存在正在进行元数据信息的压缩的监控服务，否则确定当前存在正在进行元数据信息的压缩的监控服务；
[0019]相应的，所述分布式集群的元数据压缩方法还包括：
[0020]在确定当前不存在正在进行元数据信息的压缩的监控服务，并且对自身所管理的元数据信息进行了压缩之后，向各个接收方均发送压缩取消请求；
[0021]在确定出当前存在正在进行元数据信息的压缩的监控服务之后，向各个接收方均发送压缩取消请求；
[0022]其中，针对任意1个接收到所述压缩取消请求的接收方，该接收方将自身的协定变量恢复为默认状态。
[0023]优选的，在所述向各个接收方均发送压缩请求之后，还包括：
[0024]将发起方自身的协定变量设置为压缩请求中携带的发起方编号值；
[0025]相应的，在向各个接收方均发送压缩取消请求之后，还包括：
[0026]将发起方自身的协定变量恢复为默认状态。
[0027]优选的，还包括：
[0028]当自身的协定变量不为默认状态持续了第一超时时长，且在第一超时时长之内未接收到任何监控服务发送的压缩取消请求时，将自身的协定变量恢复为默认状态。
[0029]优选的，还包括：
[0030]在发生异常而退出分布式集群之后，当异常排除时，重新加入分布式集群以恢复为存活状态。
[0031]优选的，在判断出当前存在正在进行元数据信息的压缩的监控服务之后，还包括：
[0032]将自身的压缩标志设置为自身的编号值；
[0033]其中，针对任意1个监控服务，该监控服务的所述压缩标志按照设定规则自动降低直到降低至设定的目标值；各个监控服务的编号值互不相同，且任意1个监控服务的编号值
均不小于目标值；针对任意1个监控服务，当该监控服务的压缩标志不为目标值时，该监控服务被禁止触发元数据压缩的进程。
[0034]优选的，在所述对自身所管理的元数据信息进行压缩之后，还包括：
[0035]判断自身所管理的元数据信息的磁盘占用空间是否超过所述空间占用阈值；
[0036]如果是，则将自身的压缩标志设置为第一数值；其中，所述第一数值高于任意1个监控服务的编号值。
[0037]一种分布式集群的元数据压缩系统，应用于分布式集群中的任意1个监控服务中，包括：
[0038]磁盘占用空间判断模块，用于判断由监控服务自身所管理的元数据信息的磁盘占用空间是否超过本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种分布式集群的元数据压缩方法，其特征在于，应用于分布式集群中的任意1个监控服务中，包括：判断由监控服务自身所管理的元数据信息的磁盘占用空间是否超过预设的空间占用阈值；如果超过所述空间占用阈值，则判断A＞(B/2+1)是否成立；如果成立，则判断在所述分布式集群中，当前是否存在正在进行元数据信息的压缩的监控服务；如果不存在，则对自身所管理的元数据信息进行压缩；其中，A表示的是在所述分布式集群中，当前存活的监控服务数量，B表示的是所述分布式集群中设置的监控服务总数量。2.根据权利要求1所述的分布式集群的元数据压缩方法，其特征在于，所述判断在所述分布式集群中，当前是否存在正在进行元数据信息的压缩的监控服务，包括：将自身作为发起方，将所述分布式集群中除自身之外的当前存活的各个监控服务作为各个接收方，向各个接收方均发送压缩请求；其中，针对任意1个接收到所述压缩请求的接收方，当该接收方的协定变量为默认状态时，该接收方反馈表示同意压缩的第一应答指令，并将该接收方的协定变量设置为压缩请求中携带的发起方编号值；当该接收方的协定变量不为默认状态时，该接收方反馈表示不同意压缩的第二应答指令；当接收到每个接收方反馈的所述第一应答指令时，确定当前不存在正在进行元数据信息的压缩的监控服务，否则确定当前存在正在进行元数据信息的压缩的监控服务；相应的，所述分布式集群的元数据压缩方法还包括：在确定当前不存在正在进行元数据信息的压缩的监控服务，并且对自身所管理的元数据信息进行了压缩之后，向各个接收方均发送压缩取消请求；在确定出当前存在正在进行元数据信息的压缩的监控服务之后，向各个接收方均发送压缩取消请求；其中，针对任意1个接收到所述压缩取消请求的接收方，该接收方将自身的协定变量恢复为默认状态。3.根据权利要求2所述的分布式集群的元数据压缩方法，其特征在于，在所述向各个接收方均发送压缩请求之后，还包括：将发起方自身的协定变量设置为压缩请求中携带的发起方编号值；相应的，在向各个接收方均发送压缩取消请求之后，还包括：将发起方自身的协定变量恢复为默认状态。4.根据权利要求2所述的分布式集群的元数据压缩方法，其特征在于，还包括：当自身的协定变量不为默认状态持续了第一超时时长，且在第一超时时长之内未接收到任何监控服务发送的压缩...
【专利技术属性】
技术研发人员：刘鑫，孟祥瑞，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。