磁盘故障预测系统技术方案

本申请公开了一种磁盘故障预测系统，其中，磁盘故障预测系统包括：数据采集模块用于采集磁盘数据，并将采集到的各条磁盘数据分别发送至数据分发模块；离线存储模块用于从数据分发模块获取磁盘数据，并累积第一时段内磁盘数据作为第一数据；离线计算模块用于从离线存储模块获取第一数据，并对第一数据提取第一特征；深度学习模块用于从离线计算模块获取第一特征，并基于第一特征进行训练优化；实时计算模块用于从数据分发模块获取当前采集的磁盘数据作为第二数据，以及对第二数据提取第二特征，且训练优化后的深度学习模块用于从实时计算模块获取第二特征，并基于第二特征得到磁盘当前的故障预测结果。上述方案，能够提高磁盘的故障预测精度。的故障预测精度。的故障预测精度。

【技术实现步骤摘要】
磁盘故障预测系统


[0001]本申请涉及分布式系统
，特别是涉及一种磁盘故障预测系统。

技术介绍

[0002]随着互联网的迅速发展，数据呈指数式增长，而硬盘作为主流存储设备，已经被广泛应用于各行各业。
[0003]目前，通常采用的磁盘故障预测技术，主要通过收集使用、测试期间磁盘相关属性来设置故障预测标志阈值，当有任何属性超过了预定义的阈值时，认为存在故障或即将发生故障。但是，仅仅对磁盘数据进行阈值处理无法得到预期的预测精度，并且一旦发生磁盘故障会造成严重的影响。有鉴于此，如何提高磁盘的故障预测精度，成为亟待解决的问题。

技术实现思路

[0004]本申请主要解决的技术问题是提供一种磁盘故障预测系统，能够提高磁盘的故障预测精度。
[0005]为了解决上述问题，本申请第一方面提供了一种磁盘故障预测系统，包括：数据采集模块、数据分发模块、离线存储模块、离线计算模块、深度学习模块和实时计算模块；其中，数据采集模块用于采集磁盘数据，并将采集到的各条磁盘数据分别发送至数据分发模块；离线存储模块用于从数据分发模块获取磁盘数据，并累积第一时段内磁盘数据作为第一数据；离线计算模块用于从离线存储模块获取第一数据，并对第一数据提取第一特征；深度学习模块用于从离线计算模块获取第一特征，并基于第一特征进行训练优化；实时计算模块用于从数据分发模块获取当前采集的磁盘数据作为第二数据，以及对第二数据提取第二特征，且训练优化后的深度学习模块用于从实时计算模块获取第二特征，并基于第二特征得到磁盘当前的故障预测结果。<br/>[0006]上述方案，磁盘故障预测系统中数据采集模块用于采集磁盘数据，并将采集到的各条磁盘数据分别发送至数据分发模块；离线存储模块用于从数据分发模块获取磁盘数据，并累积第一时段内磁盘数据作为第一数据；离线计算模块用于从离线存储模块获取第一数据，并对第一数据提取第一特征；深度学习模块用于从离线计算模块获取第一特征，并基于第一特征进行训练优化；实时计算模块用于从数据分发模块获取当前采集的磁盘数据作为第二数据，以及对第二数据提取第二特征，且训练优化后的深度学习模块用于从实时计算模块获取第二特征，并基于第二特征得到磁盘当前的故障预测结果，一方面通过数据采集模块采集磁盘数据，并将采集到的各条磁盘数据分别发送至数据分发模块，进而通过离线存储模块对第一时段内磁盘数据进行累计，得到第一数据，再通过第一数据提取得到的第一特征，并基于第一特征对深度学习模型进行训练优化，有助于提高深度学习模型预测的准确性，另一方面通过实时计算模块获取当前采集的磁盘数据，得到第二数据，再通过第二数据提取得到的第二特征，使训练优化后的深度学习模块基于第二特征得到磁盘当前的故障预测结果，进而能够提高磁盘的故障预测精度。
[0007]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
附图说明
[0008]此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
[0009]图1是本申请磁盘故障预测系统一实施例的框架示意图；
[0010]图2是数据采集模块采用Flume时一实施例的框架示意图；
[0011]图3是深度学习模型进行训练优化一实施例的流程示意图；
[0012]图4是本申请磁盘故障预测系统另一实施例的框架示意图。
具体实施方式
[0013]下面结合说明书附图，对本申请实施例的方案进行详细说明。
[0014]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
[0015]本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。“若干”表示至少一个。本文的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
[0016]请参阅图1，图1是本申请磁盘故障预测系统一实施例的框架示意图，磁盘故障预测系统10包括数据采集模块11、数据分发模块12、离线存储模块13、离线计算模块14、实时计算模块15和深度学习模块16；其中，数据采集模块11用于采集磁盘数据，并将采集到的各条磁盘数据分别发送至数据分发模块12；离线存储模块13用于从数据分发模块12获取磁盘数据，并累积第一时段内磁盘数据作为第一数据；离线计算模块14用于从离线存储模块获取第一数据，并对第一数据提取第一特征；深度学习模块16用于从离线计算模块14获取第一特征，并基于第一特征进行训练优化；实时计算模块15用于从数据分发模块12获取当前采集的磁盘数据作为第二数据，以及对第二数据提取第二特征，且训练优化后的深度学习模块16用于从实时计算模块15获取第二特征，并基于第二特征得到磁盘当前的故障预测结果。
[0017]上述方案，磁盘故障预测系统中数据采集模块用于采集磁盘数据，并将采集到的各条磁盘数据分别发送至数据分发模块；离线存储模块用于从数据分发模块获取磁盘数据，并累积第一时段内磁盘数据作为第一数据；离线计算模块用于从离线存储模块获取第一数据，并对第一数据提取第一特征；深度学习模块用于从离线计算模块获取第一特征，并基于第一特征进行训练优化；实时计算模块用于从数据分发模块获取当前采集的磁盘数据作为第二数据，以及对第二数据提取第二特征，且训练优化后的深度学习模块用于从实时计算模块获取第二特征，并基于第二特征得到磁盘当前的故障预测结果，一方面通过数据
采集模块采集磁盘数据，并将采集到的各条磁盘数据分别发送至数据分发模块，进而通过离线存储模块对第一时段内磁盘数据进行累计，得到第一数据，再通过第一数据提取得到的第一特征，并基于第一特征对深度学习模型进行训练优化，有助于提高深度学习模型预测的准确性，另一方面通过实时计算模块获取当前采集的磁盘数据，得到第二数据，再通过第二数据提取得到的第二特征，使训练优化后的深度学习模块基于第二特征得到磁盘当前的故障预测结果，进而能够提高磁盘的故障预测精度。
[0018]在一个实施场景中，数据采集模块用于采集磁盘数据，磁盘数据可以是关于磁盘状态的数据，如磁盘数据可以包括启动/停止次数、磁盘校准重试次数、重新分配扇区数和错误读取率等等；也可以是S.M.A.R.T(Self
‑
Monitoring Analysis and Reporting Technology，自我监测、分析及报告技术)数据，可以理解的是，S.M.A.R.T数据可能涉及若干数据项，涵盖硬盘当前状态的方方面面，SMART本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种磁盘故障预测系统，其特征在于，包括：数据采集模块和数据分发模块，所述数据采集模块用于采集磁盘数据，并将采集到的各条所述磁盘数据分别发送至所述数据分发模块；离线存储模块，用于从所述数据分发模块获取所述磁盘数据，并累积第一时段内所述磁盘数据作为第一数据；离线计算模块，用于从所述离线存储模块获取所述第一数据，并对所述第一数据提取第一特征；深度学习模块，用于从所述离线计算模块获取所述第一特征，并基于所述第一特征进行训练优化；实时计算模块，用于从所述数据分发模块获取当前采集的磁盘数据作为第二数据，以及对所述第二数据提取第二特征，且训练优化后的深度学习模块用于从所述实时计算模块获取所述第二特征，并基于所述第二特征得到磁盘当前的故障预测结果。2.根据权利要求1所述的系统，其特征在于，所述数据采集模块还用于从故障磁盘采集表征磁盘故障的磁盘数据，所述离线存储模块还用于获取表征磁盘故障的磁盘数据并作为所述第一数据累积存储，用于平衡分别表征磁盘正常及磁盘故障的第一数据。3.根据权利要求1或2所述的系统，其特征在于，所述磁盘数据涉及若干数据项，所述离线计算模块具体用于基于主成分分析剔除至少一个所述数据项，得到目标项，并基于所述第一数据中所述目标项的采集值，提取得到所述第一特征，所述实时计算模块具体用于基于所述第二数据中所述目标项的采集值，提取得到所述第二特征。4.根据权利要求3...

【专利技术属性】
技术研发人员：郭燕，钱浩东，周明伟，陈文灿，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：