基于SMART信息和深度学习的硬盘损坏预测方法及装置制造方法及图纸

本发明专利技术公开了一种基于SMART信息和深度学习的硬盘损坏预测方法及装置，该方法包括：收集不同硬盘在不同时间段的SMART信息作为原始样本数据，并从中选取静态数据和时间序列数据两类训练样本数据；对训练样本数据进行筛选，提取出与硬盘故障相关的有效参数集，并标注得到标注训练数据；分别构建至少一个神经网络模型对标注静态数据和标注时间序列数据进行深度学习，得到相应的优化模型参数的神经网络模型；根据设定的定时策略获取存储系统中硬盘的SMART信息数据，提取有效参数集输入神经网络模型预测硬盘是否即将损坏。本发明专利技术能够准确地在机械硬盘即将损坏之前及时发现，以便在硬盘失效之前及时更换，可大幅度提高数据中心的高可用性和数据安全性。

Hard disk damage prediction method and device based on SMART information and deep learning

The invention discloses a hard disk damage prediction method and device based on SMART information and in-depth learning. The method comprises: collecting SMART information of different hard disks at different time periods as original sample data, and selecting two kinds of training sample data, static data and time series data, and filtering training sample data. To extract the effective parameter set related to the hard disk fault and label the training data, at least one neural network model is constructed to study the labeled static data and the labeled time series data in depth, and the corresponding neural network model is obtained. The storage is obtained according to the timing strategy. The SMART information data of the hard disk in the system are extracted and input into the neural network model to predict whether the hard disk will be damaged or not. The invention can accurately detect the mechanical hard disk before it is about to be damaged, so as to replace the hard disk in time before it fails, and can greatly improve the high availability and data security of the data center.

【技术实现步骤摘要】
基于SMART信息和深度学习的硬盘损坏预测方法及装置
本专利技术涉及存储安全
，特别是涉及一种基于硬盘SMART信息和深度学习的硬盘即将损坏的预测方法及装置。
技术介绍
磁盘阵列或存储系统使用大量的机械硬盘，而机械硬盘(下面统称为硬盘)在整个存储系统中属于最容易受损的部件，尽管RAID技术可以有效应对硬盘损坏，但硬盘损坏仍然对系统的可靠性和高可用性带来巨大的影响。硬盘的故障一般分为两种：可预测的(predictable)和不可预测的(unpredictable)。后者偶而会发生，也没有办法去预防它，例如芯片突然失效，机械撞击等。但像电机轴承磨损、盘片磁介质性能下降等都属于可预测的情况，可以在几天甚至几星期前就发现这种不正常的现象。如何能准确预测硬盘损坏，对存储系统的维护和安全起到关键性作用。SMART，全称为“Self-MonitoringAnalysisandReportingTechnology”，即“自我监测、分析及报告技术”，是一种自动的硬盘状态检测与预警系统和规范。通过在硬盘硬件内的检测指令对硬盘的硬件如磁头、盘片、马达、电路的运行情况进行监控、记录并与厂商所设定的预设安全值进行比较，若监控情况将或已超出预设安全值的安全范围，就可以通过主机的监控硬件或软件自动向用户作出警告。SMART信号涉及硬盘工作及磨损状态数十种(超过30)参数，磁盘阵列厂家通常针对每个参数设定一个门阀值进行预警，这种方法虽然简单，但不能准确反映硬盘全局的健康状态，容易导致误报或不报，对磁盘阵列或存储系统的安全无法起到保护作用。随着人工智能在计算机应用领域的发展，深度学习在各方面的应用越来越多，其效果较之传统算法也越来越显著。深度学习可以在提供大量可靠的数据情况下自动地学习模式的特征，并可以达到很好的分类精度。所以如何将使用人工智能深度学习方法有效应用到硬盘即将损坏的自动预测中是本专利技术的主要研究内容。
技术实现思路
专利技术目的：针对现有技术的不足，本专利技术目的在于提供一种基于硬盘SMART信息和深度学习的硬盘即将损坏的预测方法及装置，能够准确地在机械硬盘即将损坏之前及时发现，以便在硬盘失效之前及时更换，可大幅度提高数据中心的高可用性和数据安全性。技术方案：为实现上述专利技术目的，本专利技术采用如下技术方案：一种基于SMART信息和深度学习的硬盘损坏预测方法，包括如下步骤：(1)收集不同硬盘在不同时间段的SMART信息数据作为原始样本数据，并从中选取两类训练样本数据，包括静态数据和时间序列数据；所述静态数据包括不同硬盘分别在健康状态下和即将损坏状态下的不同采集时间点的SMART信息数据，所述时间序列数据包括不同硬盘分别在健康状态下和即将损坏状态下的不同采集时间段内的SMART信息数据序列；所述健康状态为距离损坏时间点的时间大于设定的即将损坏天数阈值，即将损坏状态为距离损坏时间点的时间小于设定的即将损坏天数阈值；(2)对训练样本数据进行筛选，从SMART信息数据中提取与硬盘故障相关的有效参数集，并进行健康和即将损坏类别标注得到标注训练数据；(3)分别构建至少一个神经网络模型对标注静态数据和标注时间序列数据进行深度学习，得到相应的优化模型参数的神经网络模型；(4)根据设定的定时策略获取存储系统中硬盘的SMART信息数据，得到静态预测数据和时间序列预测数据，并提取出有效参数集作为步骤(3)得到的相应神经网络模型的输入，根据神经网络模型的输出结果进行综合判断，得到相应硬盘是否即将损坏的预测结果。作为优选，步骤(2)中提取的与硬盘故障相关的有效参数集包括硬盘基本信息、寻道信息、计数信息和错误信息。作为优选，步骤(3)中分别构建一个神经网络模型对标注静态数据进行深度学习，构建两个不同神经网络模型对标注时间序列数据进行深度学习；所构建的神经网络模型类型包括卷积神经网络模型CNN、循环神经网络模型RNN和长短期记忆网络模型LSTM中的一种或多种。作为优选，步骤(4)中根据神经网络模型的输出结果进行综合判断，得到相应硬盘是否即将损坏的预测结果的方法为：若根据用于预测静态数据的神经网络模型得到的结果是健康，则：若所有用于预测时间序列数据的神经网络模型得到的结果全是即将损坏，且预测的概率都大于设定的阈值，则认为即将损坏，其它情况认为不会即将损坏；若根据用于预测静态数据的神经网络模型的输出结果判断是即将损坏，则：若存在一个用于预测时间序列数据的神经网络模型结果中为即将损坏，且其预测的概率大于设定的阈值，则认为即将损坏，其它情况认为不会即将损坏。一种基于SMART信息和深度学习的硬盘损坏预测装置，包括：样本收集模块，用于收集不同硬盘在不同时间段的SMART信息数据作为原始样本数据，并从中选取两类训练样本数据，包括静态数据和时间序列数据；所述静态数据包括不同硬盘分别在健康状态下和即将损坏状态下的不同采集时间点的SMART信息数据，所述时间序列数据包括不同硬盘分别在健康状态下和即将损坏状态下的不同采集时间段内的SMART信息数据序列；所述健康状态为距离损坏时间点的时间大于设定的即将损坏天数阈值，即将损坏状态为距离损坏时间点的时间小于设定的即将损坏天数阈值；预处理模块，用于对训练样本数据进行筛选，从SMART信息数据中提取与硬盘故障相关的有效参数集，并进行健康和即将损坏类别标注得到标注训练数据；训练模块，用于分别构建至少一个神经网络模型对标注静态数据和标注时间序列数据进行深度学习，得到相应的优化模型参数的神经网络模型；以及，预测模块，用于根据设定的定时策略获取存储系统中硬盘的SMART信息数据，得到静态预测数据和时间序列预测数据，并提取出有效参数集作为训练模块得到的相应神经网络模型的输入，根据神经网络模型的输出结果进行综合判断，得到相应硬盘是否即将损坏的预测结果。有益效果：本专利技术通过采集硬盘SMART信息从中提取出有效信息，结合深度学习的方法，可以提高硬盘损坏预测的准确度。采用某种定时策略，可以按天或按小时监控并获取存储系统中每个硬盘的SMART信息来进行预测，准确地在机械硬盘即将损坏之前及时发现，以便在硬盘失效之前及时更换，可大幅度提高数据中心的高可用性和数据安全性。附图说明图1为本专利技术实施例的方法流程示意图。图2为本专利技术实施例的装置结构示意图。具体实施方式下面结合附图和具体实施例，对本专利技术做进一步说明。如图1所示，本专利技术实施例公开的一种基于硬盘SMART信息和深度学习的硬盘损坏预测方法，主要包括如下步骤：步骤一：收集样本数据。本专利技术主要依据硬盘SMART信息数据来预判硬盘是否即将损坏，所以在这一步需要收集不同硬盘在不同时间段(从健康到损坏)的SMART信息数据作为原始样本数据。SMART信号涉及硬盘工作及磨损状态数十种(超过30)参数，而磁盘阵列厂家也有很多种。为了减轻工作的复杂程度以及提高结果的准确度，本专利技术实施例中，我们主要选择HGST、Seagate和WestDigital三家厂商的机械硬盘来收集其对应的SMART信息。在实际应用中，我们主要使用的操作系统为Windows系统和Linux系统。在Windows系统中，可以使用DiskGenius、DiskSmartView等软件来查询硬盘SMART信息。在Linux系统中，可以用smartmon本文档来自技高网...

【技术保护点】
1.一种基于SMART信息和深度学习的硬盘损坏预测方法，其特征在于，包括如下步骤：（1）收集不同硬盘在不同时间段的SMART信息数据作为原始样本数据，并从中选取两类训练样本数据，包括静态数据和时间序列数据；所述静态数据包括不同硬盘分别在健康状态下和即将损坏状态下的不同采集时间点的SMART信息数据，所述时间序列数据包括不同硬盘分别在健康状态下和即将损坏状态下的不同采集时间段内的SMART信息数据序列；所述健康状态为距离损坏时间点的时间大于设定的即将损坏天数阈值，即将损坏状态为距离损坏时间点的时间小于设定的即将损坏天数阈值；（2）对训练样本数据进行筛选，从SMART信息数据中提取与硬盘故障相关的有效参数集，并进行健康和即将损坏类别标注得到标注训练数据；（3）分别构建至少一个神经网络模型对标注静态数据和标注时间序列数据进行深度学习，得到相应的优化模型参数的神经网络模型；（4）根据设定的定时策略获取存储系统中硬盘的SMART信息数据，得到静态预测数据和时间序列预测数据，并提取出有效参数集作为步骤（3）得到的相应神经网络模型的输入，根据神经网络模型的输出结果进行综合判断，得到相应硬盘是否即将损坏的预测结果。...

【技术特征摘要】
1.一种基于SMART信息和深度学习的硬盘损坏预测方法，其特征在于，包括如下步骤：（1）收集不同硬盘在不同时间段的SMART信息数据作为原始样本数据，并从中选取两类训练样本数据，包括静态数据和时间序列数据；所述静态数据包括不同硬盘分别在健康状态下和即将损坏状态下的不同采集时间点的SMART信息数据，所述时间序列数据包括不同硬盘分别在健康状态下和即将损坏状态下的不同采集时间段内的SMART信息数据序列；所述健康状态为距离损坏时间点的时间大于设定的即将损坏天数阈值，即将损坏状态为距离损坏时间点的时间小于设定的即将损坏天数阈值；（2）对训练样本数据进行筛选，从SMART信息数据中提取与硬盘故障相关的有效参数集，并进行健康和即将损坏类别标注得到标注训练数据；（3）分别构建至少一个神经网络模型对标注静态数据和标注时间序列数据进行深度学习，得到相应的优化模型参数的神经网络模型；（4）根据设定的定时策略获取存储系统中硬盘的SMART信息数据，得到静态预测数据和时间序列预测数据，并提取出有效参数集作为步骤（3）得到的相应神经网络模型的输入，根据神经网络模型的输出结果进行综合判断，得到相应硬盘是否即将损坏的预测结果。2.根据权利要求1所述的基于SMART信息和深度学习的硬盘损坏预测方法，其特征在于，步骤（2）中提取的与硬盘故障相关的有效参数集包括硬盘基本信息、寻道信息、计数信息和错误信息。3.根据权利要求1所述的基于SMART信息和深度学习的硬盘损坏预测方法，其特征在于，步骤（3）中分别构建一个神经网络模型对标注静态数据进行深度学习，构建两个不同神经网络模型对标注时间序列数据进行深度学习；所构建的神经网络模型类型包括卷积神经网络模型CNN、循环神经网络模型RNN和长短期记忆网络模型LSTM中的一种或多种。4.根据权利要求1所述的基于SMART信息和深度学习的...

【专利技术属性】
技术研发人员：田海蓉，胡晓宇，
申请(专利权)人：南京道熵信息技术有限公司，
类型：发明
国别省市：江苏,32