分布式存储系统中故障磁盘的处理方法及装置制造方法及图纸

本发明专利技术公开了一种分布式存储系统中故障磁盘的处理方法及装置。其中，该方法包括：在检测到分布式存储系统中的目标磁盘存在故障的情况下，生成针对上述目标磁盘的下线任务；确定上述下线任务的处理优先级；基于上述处理优先级在轮到处理上述下线任务时，确定上述目标磁盘的冗余水平；若上述目标磁盘的冗余水平符合下线条件，则通过磁盘处理程序对上述目标磁盘进行下线处理。本发明专利技术解决了现有技术中在对分布式存储系统中磁盘故障处理时，难以保证数据安全性的技术问题。

Processing method and device of fault disk in distributed storage system

【技术实现步骤摘要】
分布式存储系统中故障磁盘的处理方法及装置
本专利技术涉及分布式存储系统的故障处理领域，具体而言，涉及一种分布式存储系统中故障磁盘的处理方法及装置。
技术介绍
在大规模部署分布式存储系统的情况下，即便小概率的故障(例如，磁盘年化1％-2％，机器年化7％)，每天都会有相当数据量的磁盘、机器出现故障。这些故障设备一方面影响了系统的可靠性，另一方面，系统的可用资源减少，也造成成本的浪费。为了解决这个问题，相关技术中提供了一种基于状态机自动处理故障的方法，但对于磁盘故障的处理，该方法简单地归结为机器的故障，采取的措施是把机器进行重新格式化，重装操作系统，或者替换掉整台机器。这种粗粒度的处理方法对于一台机器有几十块大容量的盘过于粗暴，会引起大量数据复制，给系统带来极大影响，并且，该方案没有解决备份数据和控制数据安全性这两个磁盘处理的关键问题。另外，现有技术中的FBAR(薄膜腔声谐振滤波器)系统是一个工作流系统，是一个单独的系统，比如当出现机器故障时，FBAR系统会把机器标识成“待维修”，然后由一个维修流程来执行后续的操作，FBAR系统没有考虑如果有其它的运维操作时的并发处理，容易引发数据可用性问题和并发效率问题。另外，FBAR系统也没有解决存储系统中如何保证数据安全的问题。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种分布式存储系统中故障磁盘的处理方法及装置，以至少解决现有技术中在对分布式存储系统中磁盘故障处理时，难以保证数据安全性的技术问题。<br>根据本专利技术实施例的一个方面，提供了一种分布式存储系统中故障磁盘的处理方法，包括：在检测到分布式存储系统中的目标磁盘存在故障的情况下，生成针对上述目标磁盘的下线任务；确定上述下线任务的处理优先级；在轮到处理上述下线任务时，确定上述目标磁盘的冗余水平；若上述目标磁盘的冗余水平符合下线条件，则通过磁盘处理程序对上述目标磁盘进行下线处理。根据本专利技术实施例的另一方面，还提供了一种分布式存储系统中故障磁盘的处理装置，包括：生成模块，用于在检测到分布式存储系统中的目标磁盘存在故障的情况下，生成针对上述目标磁盘的下线任务；第一确定模块，用于确定上述下线任务的处理优先级；第二确定模块，用于在轮到处理上述下线任务时，确定上述目标磁盘的冗余水平；处理模块，用于若上述目标磁盘的冗余水平符合下线条件，则通过磁盘处理程序对上述目标磁盘进行下线处理。根据本专利技术实施例的另一方面，还提供了一种存储介质，上述存储介质包括存储的程序，其中，在上述程序运行时控制上述存储介质所在设备执行以下步骤：在检测到分布式存储系统中的目标磁盘存在故障的情况下，生成针对上述目标磁盘的下线任务；确定上述下线任务的处理优先级；在轮到处理上述下线任务时，确定上述目标磁盘的冗余水平；若上述目标磁盘的冗余水平符合下线条件，则通过磁盘处理程序对上述目标磁盘进行下线处理。根据本专利技术实施例的另一方面，还提供了一种计算机系统，包括：处理器；以及存储器，与上述处理器连接，用于为上述处理器提供处理以下处理步骤的指令：在检测到分布式存储系统中的目标磁盘存在故障的情况下，生成针对上述目标磁盘的下线任务；确定上述下线任务的处理优先级；在轮到处理上述下线任务时，确定上述目标磁盘的冗余水平；若上述目标磁盘的冗余水平符合下线条件，则通过磁盘处理程序对上述目标磁盘进行下线处理。在本专利技术实施例中，通过在检测到分布式存储系统中的目标磁盘存在故障的情况下，生成针对上述目标磁盘的下线任务；确定上述下线任务的处理优先级；在轮到处理上述下线任务时，确定上述目标磁盘的冗余水平；若上述目标磁盘的冗余水平符合下线条件，则通过磁盘处理程序对上述目标磁盘进行下线处理。基于上述分布式存储系统中故障磁盘的处理方法，通过面向磁盘处理的方式实现故障磁盘的下线处理，基于磁盘状态的处理方式可以避免在故障磁盘的下线处理中出现错误，保证了分布式存储系统的鲁棒性，本申请方案还可以确保分布式存储系统的处理可重入性，保证了处理逻辑的正确性。由此，本申请达到了在对分布式存储系统中磁盘故障处理时，保证数据安全性的目的，实现了提高故障磁盘下线处理的效率的技术效果，进而解决了现有技术中在对分布式存储系统中磁盘故障处理时，难以保证数据安全性的技术问题。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是根据本专利技术实施例的一种用于实现分布式存储系统中故障磁盘的处理方法的计算机终端(或移动设备)的硬件结构框图；图2是根据本专利技术实施例的一种分布式存储系统中故障磁盘的处理方法的流程图；图3是根据本专利技术实施例的一种可选的分布式存储系统中故障磁盘的处理方法的流程图；图4是根据本专利技术实施例的一种可选的分布式存储系统中故障磁盘的处理方法的流程图；图5是根据本专利技术实施例的一种可选的分布式存储系统中故障磁盘的处理方法的流程图；图6是根据本专利技术实施例的一种可选的分布式存储系统中故障磁盘的处理方法的流程图；图7是根据本专利技术实施例的一种分布式存储系统中故障磁盘的处理装置的示意图；以及图8是根据本专利技术实施例的一种计算机终端的结构框图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：配置管理数据库CMDB：用于存储与管理企业IT架构中设备的各种配置信息，与所有服务支持和服务交付流程均紧密相联，支持这些流程的运转、发挥配置信息的价值，同时依赖于相关流程保证数据的准确性。存储节点：是指用于保存应用数据的机器，一般可以包括若干个存储介质。分布式存储系统：是指包括若干个存储节点的存储系统，通常采用分布式算法来提供高可用性、容错性和高性能性。故障：是指可能导致分布式存储系统或其功能失效的异常条件。事件：可以被分布式系统识别的磁盘状态的显著变化。任务：可以用于本文档来自技高网...

【技术保护点】
1.一种分布式存储系统中故障磁盘的处理方法，包括：/n在检测到分布式存储系统中的目标磁盘存在故障的情况下，生成针对所述目标磁盘的下线任务；/n确定所述下线任务的处理优先级；/n基于所述处理优先级在轮到处理所述下线任务时，确定所述目标磁盘的冗余水平；/n若所述目标磁盘的冗余水平符合下线条件，则通过磁盘处理程序对所述目标磁盘进行下线处理。/n

【技术特征摘要】
1.一种分布式存储系统中故障磁盘的处理方法，包括：
在检测到分布式存储系统中的目标磁盘存在故障的情况下，生成针对所述目标磁盘的下线任务；
确定所述下线任务的处理优先级；
基于所述处理优先级在轮到处理所述下线任务时，确定所述目标磁盘的冗余水平；
若所述目标磁盘的冗余水平符合下线条件，则通过磁盘处理程序对所述目标磁盘进行下线处理。


2.根据权利要求1所述的处理方法，其中，在检测到分布式存储系统下的目标磁盘存在故障之前，所述方法还包括：
扫描各个磁盘的工作状态，根据故障判定规则确定各个磁盘是否存在故障。


3.根据权利要求1所述的处理方法，其中，在检测到分布式存储系统下的目标磁盘存在故障的情况下，生成针对所述目标磁盘的下线任务包括：
将所述目标磁盘存在故障的事件上报至配置管理数据库；
根据所述事件生成所述目标磁盘的下线任务，并发布所述下线任务。


4.根据权利要求1所述的处理方法，其中，在检测到分布式存储系统下的目标磁盘存在故障的情况下，生成针对所述目标磁盘的下线任务之后，所述方法还包括：
根据所述目标磁盘下线后的数据影响范围确定备份策略；
采用所述备份策略将所述目标磁盘的数据信息备份至所述分布式存储系统中除所述目标磁盘之外的磁盘。


5.根据权利要求1所述的处理方法，其中，确定所述下线任务的处理优先级包括：
确定所述分布式存储系统下的任务运维操作间中待处理的任务；
确定所述目标磁盘下线后的数据影响范围；
确定所述目标磁盘的备份状态；
基于所述待处理的任务、所述目标磁盘的数据影响范围和所述目标磁盘的备份状态确定所述下线任务的处理优先级。


6.根据权利要求1所述的处理方法，其中，若所述目标磁盘的冗余水平符合下线条件，通过磁盘处理程序对所述目标磁盘进行下线处理包括：
在对所述目标磁盘进行下线后不会影响数据读写的情况下，确定所述目标磁盘的冗余水平符合下线条件；
将所述目标磁盘的属性状态修改为下线状态，通过磁盘处理程序对属性状态为下线状态的目标磁盘进行下线处理。...

【专利技术属性】
技术研发人员：王勇，王鹏，闫宁，林江彬，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY