一种分布式存储系统的维护方法技术方案

本发明专利技术公开了一种分布式存储系统的维护方法，包括以下步骤：步骤1、维护模式下，节点离线不会触发recovery流程；步骤2、对于离线节点造成副本损失的数据对象进行写操作时，采用有效副本+打标记的方式处理，即降级写方式处理；步骤3、离线节点重新上线时，只有这个重新上线的节点会触发recovery流程，并且仅仅同步其离线期间被打上写入标记的数据对象。本发明专利技术通过引入维护模式，提升存储集群的可维护性，实现在线状态下的磁盘替换和程序升级等操作，保证期间读写操作可以正常。

A Maintenance Method of Distributed Storage System

【技术实现步骤摘要】
一种分布式存储系统的维护方法
本专利技术涉及计算机
，尤其涉及一种分布式存储系统的维护方法。
技术介绍
分布式存储系统在拓扑变更时，会启动recovery流程，进行自动数据再平衡。通常情况下，recovery流程是完全自动化且不可中断的。Recovery期间，为了保证数据的一致性，部分操作无法执行，影响用户的正常使用。当系统容量逐渐增大，意味着需要recovery的数据量增大，花费的时间也随之增加，系统的可用性降低。最佳工程实践表明，如何尽量减少recovery发生的频率，是分布式存储系统运维的重要内容。然而，在实际运维过程中，如果要进行磁盘替换或者版本升级，只能先让相应的数据节点下线，更换磁盘或者升级程序后再上线一个新节点，这就意味着必须进行2次recovery，费时费力。
技术实现思路
有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是提供一种分布式存储系统的维护方法，以解决现有技术的不足。为实现上述目的，本专利技术提供了一种分布式存储系统的维护方法，包括以下步骤：步骤1、维护模式下，节点离线不会触发recovery流程；步骤2、对于离线节点造成副本损失的数据对象进行写操作时，采用有效副本+打标记的方式处理，即降级写方式处理；步骤3、离线节点重新上线时，只有这个重新上线的节点会触发recovery流程，并且仅仅同步其离线期间被打上写入标记的数据对象。上述的一种分布式存储系统的维护方法，所述步骤2的降级写方式处理具体步骤为:1、gateway收到客户写请求；2、Gateway根据当前拓扑，确定需要转发的数据节点；3、数据节点收到转发的写请求；4、判断是否处于维护模式，是的进入降级写流程，获取维护模式拓扑，否则正常写流程；5、通过维护模式拓扑定位副本位置；6、比较当前拓扑与维护模式拓扑；7、判断当前拓扑下是否有节点离线，如果是写入标记，否则写副本；写入标记后判断当前节点是否在维护模式拓扑下，是的话写副本，否则结束。上述的一种分布式存储系统的维护方法，维护模式下，只能下线开启维护模式时集群中已经存在的节点。上述的一种分布式存储系统的维护方法，维护模式下，只能将下线的节点重新上线，不能上线新节点。上述的一种分布式存储系统的维护方法，维护模式下，对已下线的节点，不能清除或者改动其工作目录。上述的一种分布式存储系统的维护方法，维护模式下，节点重新上线时，启动参数必须与其下线之前完全一致。本专利技术的有益效果是：本专利技术通过引入维护模式，提升存储集群的可维护性，实现在线状态下的磁盘替换和程序升级等操作，保证期间读写操作可以正常。以下将结合附图对本专利技术的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本专利技术的目的、特征和效果。附图说明图1是本专利技术的维护模式下的降级写入流程图。具体实施方式一种分布式存储系统的维护方法，包括以下步骤：步骤1、维护模式下，节点离线不会触发recovery流程；步骤2、对于离线节点造成副本损失的数据对象进行写操作时，采用有效副本+打标记的方式处理，即降级写方式处理；步骤3、离线节点重新上线时，只有这个重新上线的节点会触发recovery流程，并且仅仅同步其离线期间被打上写入标记的数据对象。首先，需要记录维护模式拓扑与当前拓扑，用于计算数据对象的副本位置与写入标志位置。降级写的前提是不发生recovery，否则如果该数据对象正在执行recovery，写操作会进入等待。维护模式下的降级写入流程如图1所示，降级写方式处理具体步骤为:1、gateway收到客户写请求；2、Gateway根据当前拓扑，确定需要转发的数据节点；3、数据节点收到转发的写请求；4、判断是否处于维护模式，是的进入降级写流程，获取维护模式拓扑，否则正常写流程；5、通过维护模式拓扑定位副本位置；6、比较当前拓扑与维护模式拓扑；7、判断当前拓扑下是否有节点离线，如果是写入标记，否则写副本；写入标记后判断当前节点是否在维护模式拓扑下，是的话写副本，否则结束。另外，维护模式下，只能下线开启维护模式时集群中已经存在的节点。维护模式下，只能将下线的节点重新上线，不能上线新节点。维护模式下，对已下线的节点，不能清除或者改动其工作目录。维护模式下，节点重新上线时，启动参数必须与其下线之前完全一致。一.专利技术原理：分布式存储系统对副本的写入采用强一致性策略，因而在副本缺失且尚未recovery完毕时，无法执行写操作。但是，如果在节点离线期间不进行recovery，对缺失副本的对象进行写操作时，并不写入缺失的副本(当然也写不了，因为节点离线了)，而是针对缺失副本打上写入标记，保证有效副本+写入标记的和达到最大副本数，则写操作的强一致性并没有被破坏。当离线节点重新上线时，再将分布于离线节点上的数据副本中，打上写入标记的那部分同步过来，即可保证数据的强一致性。以下给出具体实施方案说明本专利技术操作方法原理：·利用维护模式，可以实现在线磁盘替换和在线灰度升级等功能，实现方式大同小异，这里以在线磁盘替换为例，说明维护模式的使用方法：·首先，在集群状态正常的情况下(没有节点上下线，没有未完成的recovery)，使用“dogclustermmodeon”命令启动维护模式；·将待替换磁盘对应的数据对象服务进程杀死，并等待拓扑更新完成(即，通过“dogclusterinfo”命令，可以看到该节点下线造成的拓扑更新)；·将待替换磁盘整盘复制到新的磁盘；·重新启动原来的磁盘所对应的数据节点(要求启动参数与之前一致)，等待recovery(即同步有写入标记的数据对象)完成；·关闭维护模式。·实现灰度升级的方法与上述过程类似，把替换磁盘的步骤换成升级安装包，就是升级一个节点的过程；然后，按照这个流程一个节点一个节点的重复，直到所有节点都升级成最新版本的程序即可。以上详细描述了本专利技术的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本专利技术的构思做出诸多修改和变化。因此，凡本
中技术人员依本专利技术的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。本文档来自技高网...

【技术保护点】
1.一种分布式存储系统的维护方法，其特征在于，包括以下步骤：步骤1、维护模式下，节点离线不会触发recovery流程；步骤2、对于离线节点造成副本损失的数据对象进行写操作时，采用有效副本+打标记的方式处理，即降级写方式处理；步骤3、离线节点重新上线时，只有这个重新上线的节点会触发recovery流程，并且仅仅同步其离线期间被打上写入标记的数据对象。

【技术特征摘要】
1.一种分布式存储系统的维护方法，其特征在于，包括以下步骤：步骤1、维护模式下，节点离线不会触发recovery流程；步骤2、对于离线节点造成副本损失的数据对象进行写操作时，采用有效副本+打标记的方式处理，即降级写方式处理；步骤3、离线节点重新上线时，只有这个重新上线的节点会触发recovery流程，并且仅仅同步其离线期间被打上写入标记的数据对象。2.如权利要求1所述的一种分布式存储系统的维护方法，其特征在于：所述步骤2的降级写方式处理具体步骤为:1、gateway收到客户写请求；2、Gateway根据当前拓扑，确定需要转发的数据节点；3、数据节点收到转发的写请求；4、判断是否处于维护模式，是的进入降级写流程，获取维护模式拓扑，否则正常写流程；5、通过维护模...

【专利技术属性】
技术研发人员：金辉，严刚，侯玉斌，
申请(专利权)人：启迪云计算有限公司，
类型：发明
国别省市：山东,37