磁盘亚健康状态检查的方法及系统技术方案

本发明专利技术提供了一种磁盘亚健康状态检查的方法及系统。该方法包括：采用定制的轮询方式，利用多种不同的开源工具获取多维度的磁盘健康信息及磁盘IO信息；根据获取的磁盘健康信息及磁盘IO信息，将磁盘的健康状态及IO性能状态在前端页面进行展示；将磁盘的健康状态、IO性能状态与页面配置的阈值信息进行比对，根据比对结果进行告警。本发明专利技术提供的磁盘亚健康状态检查的方法及系统能够完善磁盘亚健康检查维度，提高对于磁盘亚健康判断的准确性。提高对于磁盘亚健康判断的准确性。提高对于磁盘亚健康判断的准确性。

【技术实现步骤摘要】
磁盘亚健康状态检查的方法及系统


[0001]本专利技术涉及存储系统
，特别是涉及一种磁盘亚健康状态检查的方法及系统。

技术介绍

[0002]随着时代的发展，信息化的程度越来越高，这就对信息的安全性和存储效率要求越来越高。而磁盘是信息系统的数据载体，其作为存储信息的关键，一旦出现了故障或者亚健康，就会导致数据出现缺失和丢失，这对于现在高度信息化的时代，是不可接受的。其在这个数字化的时代中，起着举足轻重的作用。在现有技术中，在分层存储的业务场景下，基于不同类型磁盘在存储介质、核心架构上的原理性差异，磁盘数据读写的频率存在较大差距，只有当与实际业务数据相关的读写动作正在进行时，才有可能发现磁盘的健康状态存在问题，导致不能对磁盘数据读写性能预测，对于磁盘状态缺乏预见性，大大提升了数据丢失的概率。为了实现对磁盘状态检测的结果情况下，对于磁盘状态监测实现精确地统一预见性，从而降低数据丢失的概率，亟需一种磁盘状态检测方法来解决上述现有应用过程中存在的问题。
[0003]目前，各存储厂商对于磁盘亚健康状态的检查越来越重视，但是基本都处于从0到1的阶段，基本都是基于SMART的某一个或者少数两三个参数，去分析磁盘的亚健康状态，方法比较单一。
[0004]现有的磁盘亚健康检查方案的实现主要分为两个部分：SMART方法获取磁盘亚健康信息和磁盘亚健康告警。其中SMART方法获取磁盘亚健康信息主要是基于smartctl命令获取到的磁盘的相关信息，然后通过对磁盘信息的分析，主要包含磁盘健康状态、重映射扇区数、命令超时等，通过对于这些信息的分析，能够得出磁盘是否处于亚健康状态。如处于亚健康状态，会对此问题进行告警处理。
[0005]现有的磁盘亚健康检查方案主要有如下缺陷：
[0006]缺点1：SMART方法获取的参数比较单一，分析其健康状态方法比较简单；
[0007]缺点2：磁盘亚健康的检查维度单一，对于磁盘亚健康状态的判断缺乏准确性；
[0008]缺点3：缺少对于磁盘亚健康的预测模块；
[0009]缺点4：缺少对于磁盘性能和慢盘的分析。

技术实现思路

[0010]本专利技术要解决的技术问题是提供一种磁盘亚健康状态检查的方法及系统，能够完善磁盘亚健康检查维度，提高对于磁盘亚健康判断的准确性。
[0011]为解决上述技术问题，本专利技术提供了一种磁盘亚健康状态检查的方法，所述方法包括：采用定制的轮询方式，利用多种不同的开源工具获取多维度的磁盘健康信息及磁盘IO信息；根据获取的磁盘健康信息及磁盘IO信息，将磁盘的健康状态及IO性能状态在前端页面进行展示；将磁盘的健康状态、IO性能状态与页面配置的阈值信息进行比对，根据比对
结果进行告警。
[0012]在一些实施方式中，定制的轮询方式通过异步任务框架celery定时功能实现。
[0013]在一些实施方式中，多种不同的开源工具包括：smartctl、nvme、iostat，以及ssd寿命检查。
[0014]在一些实施方式中，利用多种不同的开源工具获取多维度的磁盘健康信息及磁盘IO信息，包括：对采集到的磁盘健康信息及磁盘IO信息进行数据清洗。
[0015]在一些实施方式中，利用多种不同的开源工具获取多维度的磁盘健康信息及磁盘IO信息，还包括：对完成清洗的数据进行存储。
[0016]在一些实施方式中，存储方式包括：redis和mysql。
[0017]在一些实施方式中，根据比对结果进行告警，包括：通过页面展示、邮件告警、SNMP告警的多种方式告警出去。
[0018]在一些实施方式中，还包括：采用线性回归模型进行各种磁盘亚健康状态的预测。
[0019]在一些实施方式中，采用线性回归模型进行各种磁盘亚健康状态的预测，包括：以收集清洗的磁盘数据为依托，然后辅以其它因素，进行特征提取操作；特征工程完成以后，基于线性回归模型为基准进行模型训练，然后对训练完成的模型进行评估，回归模型在训练集上的误差称为训练误差或经验误差，在新样本上的误差称为泛化误差；然后得到合理的模型；然后基于模型进行磁盘亚健康的预测功能。
[0020]此外，本专利技术还提供了一种磁盘亚健康状态检查的系统，所述装置包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据前文所述的磁盘亚健康状态检查的方法。
[0021]采用这样的技术方案后，本专利技术至少具有以下优点：
[0022]1、降低磁盘故障率，保障数据安全；
[0023]2、对于磁盘健康度和性能状况提前了解，做好防患于未然；
[0024]3、提升磁盘的使用效率；
[0025]4、根据对磁盘亚健康的提前预测，能及时对即将出现故障的磁盘做好数据备份，降低磁盘故障造成的损失。
附图说明
[0026]上述仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，以下结合附图与具体实施方式对本专利技术作进一步的详细说明。
[0027]图1是系统的架构图；
[0028]图2是整体的流程图；
[0029]图3是磁盘亚健康状态检查的流程图；
[0030]图4是磁盘慢盘检查的流程图。
具体实施方式
[0031]以下结合附图对本专利技术的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本专利技术，并不用于限定本专利技术。
[0032]本方案分为四个部分，分别为磁盘健康信息采集分析模块、磁盘亚健康信息展示模块、磁盘亚健康告警模块和磁盘亚健康预测模块。
[0033]每个模块都是相互关联的，磁盘健康信息采集分析模块主要是通过各个磁盘厂商提供的开源工具(比如smartctl、nvme等)获取磁盘的健康信息或通过Linux性能工具(iostat)获取磁盘的IO信息，然后对采集到的数据进行数据清洗，得到可用于判定磁盘状态或者可视化的数据；这一系列的采集过程都是通过异步任务框架celery定时功能实现的，会根据不同的采集任务，定制不同的轮询方式。对于清洗完成的数据，我们会根据数据的不同类型进行不同的存储方式，主要包含redis和mysql两种存储方式。磁盘亚健康信息展示模块的实现，我们会根据需求，将清洗的磁盘数据通过不同的方式展示在前端页面(包含波形图、阵列图、矩阵图、表格等形式)，让用户能够实时了解每块磁盘实时的健康状态、IO性能指标。磁盘亚健康告警模块主要是对于清洗完成的磁盘数据，我们会根据页面配置的阈值信息进行比对，触发阈值，就会将异常状态信息通过页面展示、邮件告警、SNMP告警等多种方式告警出去，同时生成相应的告警日志。当然，我们也会有类似的机制，当磁盘被修复或者恢复正常后，我们会将对应的告警事件进行清除。这个过程也是基于celery异步任务框架的定时功能实现的。最后，磁盘亚健康预测模块的实现是采用线性回归模型进行各种磁盘亚健康状态的预测的。首先，我们会以收集清洗的磁盘数据为依托，然后辅以其它因素，进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种磁盘亚健康状态检查的方法，其特征在于，包括：采用定制的轮询方式，利用多种不同的开源工具获取多维度的磁盘健康信息及磁盘IO信息；根据获取的磁盘健康信息及磁盘IO信息，将磁盘的健康状态及IO性能状态在前端页面进行展示；将磁盘的健康状态、IO性能状态与页面配置的阈值信息进行比对，根据比对结果进行告警。2.根据权利要求1所述的磁盘亚健康状态检查的方法，其特征在于，定制的轮询方式通过异步任务框架celery定时功能实现。3.根据权利要求1所述的磁盘亚健康状态检查的方法，其特征在于，多种不同的开源工具包括：smartctl、nvme、iostat，以及ssd寿命检查。4.根据权利要求1所述的磁盘亚健康状态检查的方法，其特征在于，利用多种不同的开源工具获取多维度的磁盘健康信息及磁盘IO信息，包括：对采集到的磁盘健康信息及磁盘IO信息进行数据清洗。5.根据权利要求1所述的磁盘亚健康状态检查的方法，其特征在于，利用多种不同的开源工具获取多维度的磁盘健康信息及磁盘IO信息，还包括：对完成清洗的数据进行存储。6.根据权利要求5所述的磁盘亚健康状态检查的方法，其...

【专利技术属性】
技术研发人员：龚金鹄，汤天帅，程定胜，袁鹏飞，文中领，
申请(专利权)人：北京同有飞骥科技股份有限公司，
类型：发明
国别省市：