磁盘故障预测方法、装置、存储介质和电子设备制造方法及图纸

本发明专利技术公开了一种磁盘故障预测方法、装置、存储介质和电子设备，可以通过通过采集脚本，采集目标磁盘的SMART数据，其中，所述SMART数据包括所述目标磁盘的M项运行指标的数据，每项所述运行指标的数据均包括多个不同时刻的数据，所述M为大于1的整数；将各所述SMART数据进行归一化，得到相应的输入数据集；将所述输入数据集输入至预先训练好的磁盘故障预测模型，从而得到所述磁盘故障预测模型输出的故障预测结果，其中，所述故障预测结果表征所述目标磁盘发生故障的概率。由此可以看出，本发明专利技术对于磁盘发生故障的概率诊断不依赖人工，效率较高且诊断结果比较客观可靠。率较高且诊断结果比较客观可靠。率较高且诊断结果比较客观可靠。

【技术实现步骤摘要】
磁盘故障预测方法、装置、存储介质和电子设备


[0001]本专利技术涉及大数据领域，特别涉及一种磁盘故障预测方法、装置、存储介质和电子设备。

技术介绍

[0002]随着科技的不断发展，数据中心IT基础设施规模迅速扩大，数据中心承载的数据量也在快速增长，存储数据的介质磁盘的数量也随之激增。而数据中心基础设施硬件部件中故障率最高的就是磁盘，经统计磁盘故障在所有硬件部件故障中的占比达到90％以上。针对磁盘故障，当前只能在收到故障告警后，由运维人员根据多个参数的值对磁盘发生故障的概率进行判断，这种方式显然十分依赖运维人员的个人经验，效率低下且可靠性不足。

技术实现思路

[0003]鉴于上述问题，本专利技术提供一种克服上述问题或者至少部分地解决上述问题的磁盘故障预测方法、装置、存储介质和电子设备。
[0004]第一方面，本专利技术提供了一种磁盘故障预测方法，包括：
[0005]通过采集脚本，采集目标磁盘的SMART数据，其中，所述SMART数据包括所述目标磁盘的M项运行指标的数据，每项所述运行指标的数据均包括多个不同时刻的数据，所述M为大于1的整数；
[0006]将各所述SMART数据进行归一化，得到相应的输入数据集；
[0007]将所述输入数据集输入至预先训练好的磁盘故障预测模型，从而得到所述磁盘故障预测模型输出的故障预测结果，其中，所述故障预测结果表征所述目标磁盘发生故障的概率。
[0008]结合第一方面，在某些可选的实施方式中，在所述将各所述SMART数据进行归一化，得到相应的输入数据集之前，所述方法还包括：
[0009]针对任一所述运行指标的数据，均执行：根据不同时刻的数据，确定至少一个突变数据，其中，所述突变数据为：与最近上一时刻的数据的差距大于所述运行指标的预设变化阈值的数据；
[0010]针对任一所述运行指标的突变数据，均执行：对各所述突变数据进行假设检验，从而确定相应运行指标的指标概率，其中，所述指标概率表征相应运行指标的数据用于确定所述目标磁盘发生故障的概率的置信度，所述指标概率越大所述置信度越高；
[0011]将所述指标概率较大的N项运行指标的数据作为目标SMART数据，从而对所述SMART数据进行筛选，其中，所述N为大于1且小于所述M的整数；
[0012]所述将各所述SMART数据进行归一化，得到相应的输入数据集，包括：
[0013]将各所述目标SMART数据进行所述归一化，得到相应的所述输入数据集。
[0014]结合上一个实施方式，在某些可选的实施方式中，所述磁盘故障预测模型的训练过程，包括：
[0015]获得磁盘的历史SMART数据集；
[0016]将所述历史SMART数据集进行所述筛选和所述归一化后，得到相应的训练数据集和测试数据集，其中，所述训练数据集的数据量大于所述测试数据集的数据量，所述训练数据集和测试数据集均涉及多个磁盘；
[0017]将所述训练数据集输入通过python的numpy库进行处理，得到模型训练用的输入参数组；
[0018]将所述输入参数组输入至利用sklearn封装好的多种机器学习模型，从而训练得到所述磁盘故障预测模型；
[0019]将所述测试数据集输入至所述磁盘故障预测模型，从而根据得到的训练测试结果调整所述磁盘故障预测模型的精度。
[0020]结合上一个实施方式，在某些可选的实施方式中，在训练得到所述磁盘故障预测模型之后，所述方法还包括：
[0021]根据所述磁盘故障预测模型对所述测试数据集涉及的各所述磁盘的故障识别结果和各所述磁盘的实际故障情况，确定所述磁盘故障预测模型的准确度数据，其中，所述准确度数据包括预测率、误报率和准确率中的至少一种，所述预测率为：被预测为有故障的磁盘数量与实际中发生故障的所有磁盘数量的比，所述误报率为：被预测为有故障的磁盘数量占实际中未发生故障的所有磁盘数量的比，所述准确率为：故障识别结果与实际相符的磁盘数量和全部磁盘数量的比；
[0022]根据所述准确度数据，对所述磁盘故障预测模型的参数进行调整。
[0023]结合第一方面，在某些可选的实施方式中，所述通过采集脚本，采集目标磁盘的SMART数据，包括：
[0024]通过部署在目标服务器上的所述采集脚本，采集所述目标服务器的日志文件，其中，所述目标磁盘挂载在所述目标服务器上，所述日志文件记录有所述目标磁盘的运行数据；
[0025]根据所述日志文件中记录的所述目标磁盘的运行数据，获得所述目标磁盘的SMART数据。
[0026]第二方面，一种磁盘故障预测装置，包括：数据采集单元、归一化单元和故障预测单元；
[0027]所述数据采集单元，用于通过采集脚本，采集目标磁盘的SMART数据，其中，所述SMART数据包括所述目标磁盘的M项运行指标的数据，每项所述运行指标的数据均包括多个不同时刻的数据，所述M为大于1的整数；
[0028]所述归一化单元，用于将各所述SMART数据进行归一化，得到相应的输入数据集；
[0029]所述故障预测单元，用于将所述输入数据集输入至预先训练好的磁盘故障预测模型，从而得到所述磁盘故障预测模型输出的故障预测结果，其中，所述故障预测结果表征所述目标磁盘发生故障的概率。
[0030]结合第二方面，在某些可选的实施方式中，所述装置还包括：突变数据确定单元、假设检验单元和筛选单元；
[0031]所述突变数据确定单元，用于在所述将各所述SMART数据进行归一化，得到相应的输入数据集之前，针对任一所述运行指标的数据，均执行：根据不同时刻的数据，确定至少
一个突变数据，其中，所述突变数据为：与最近上一时刻的数据的差距大于所述运行指标的预设变化阈值的数据；
[0032]所述假设检验单元，用于针对任一所述运行指标的突变数据，均执行：对各所述突变数据进行假设检验，从而确定相应运行指标的指标概率，其中，所述指标概率表征相应运行指标的数据用于确定所述目标磁盘发生故障的概率的置信度，所述指标概率越大所述置信度越高；
[0033]所述筛选单元，用于将所述指标概率较大的N项运行指标的数据作为目标SMART数据，从而对所述SMART数据进行筛选，其中，所述N为大于1且小于所述M的整数；
[0034]所述归一化单元，包括：归一化子单元；
[0035]所述归一化子单元，用于将各所述目标SMART数据进行所述归一化，得到相应的所述输入数据集。
[0036]结合上一个实施方式，在某些可选的实施方式中，所述装置还包括：模型训练单元；
[0037]所述模型训练单元，用于执行所述磁盘故障预测模型的训练过程；
[0038]所述模型训练单元，包括：历史数据获得子单元、数据集划分子单元、参数组获得子单元、模型训练子单元和模型精度调整子单元；
[0039]所述历史数据获得子单元，用于获得磁盘的历史SMART数据集；
[0040]所述数据集划分子单元，用于将所述历史本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种磁盘故障预测方法，其特征在于，包括：通过采集脚本，采集目标磁盘的SMART数据，其中，所述SMART数据包括所述目标磁盘的M项运行指标的数据，每项所述运行指标的数据均包括多个不同时刻的数据，所述M为大于1的整数；将各所述SMART数据进行归一化，得到相应的输入数据集；将所述输入数据集输入至预先训练好的磁盘故障预测模型，从而得到所述磁盘故障预测模型输出的故障预测结果，其中，所述故障预测结果表征所述目标磁盘发生故障的概率。2.根据权利要求1所述的方法，其特征在于，在所述将各所述SMART数据进行归一化，得到相应的输入数据集之前，所述方法还包括：针对任一所述运行指标的数据，均执行：根据不同时刻的数据，确定至少一个突变数据，其中，所述突变数据为：与最近上一时刻的数据的差距大于所述运行指标的预设变化阈值的数据；针对任一所述运行指标的突变数据，均执行：对各所述突变数据进行假设检验，从而确定相应运行指标的指标概率，其中，所述指标概率表征相应运行指标的数据用于确定所述目标磁盘发生故障的概率的置信度，所述指标概率越大所述置信度越高；将所述指标概率较大的N项运行指标的数据作为目标SMART数据，从而对所述SMART数据进行筛选，其中，所述N为大于1且小于所述M的整数；所述将各所述SMART数据进行归一化，得到相应的输入数据集，包括：将各所述目标SMART数据进行所述归一化，得到相应的所述输入数据集。3.根据权利要求2所述的方法，其特征在于，所述磁盘故障预测模型的训练过程，包括：获得磁盘的历史SMART数据集；将所述历史SMART数据集进行所述筛选和所述归一化后，得到相应的训练数据集和测试数据集，其中，所述训练数据集的数据量大于所述测试数据集的数据量，所述训练数据集和测试数据集均涉及多个磁盘；将所述训练数据集输入通过python的numpy库进行处理，得到模型训练用的输入参数组；将所述输入参数组输入至利用sklearn封装好的多种机器学习模型，从而训练得到所述磁盘故障预测模型；将所述测试数据集输入至所述磁盘故障预测模型，从而根据得到的训练测试结果调整所述磁盘故障预测模型的精度。4.根据权利要求3所述的方法，其特征在于，在训练得到所述磁盘故障预测模型之后，所述方法还包括：根据所述磁盘故障预测模型对所述测试数据集涉及的各所述磁盘的故障识别结果和各所述磁盘的实际故障情况，确定所述磁盘故障预测模型的准确度数据，其中，所述准确度数据包括预测率、误报率和准确率中的至少一种，所述预测率为：被预测为有故障的磁盘数量与实际中发生故障的所有磁盘数量的比，所述误报率为：被预测为有故障的磁盘数量占实际中未发生故障的所有磁盘数量的比，所述准确率为：故障识别结果与实际相符的磁盘数量和全部磁盘数量的比；根据所述准确度数据，对所述磁盘故障预测模型的参数进行调整。
5.根据权利要求1所述的方法，其特征在于，所述通过采集脚本，采集目标磁盘的SMART数据，包括：通过部署在目标服务器上的所述采集脚本，采集所述目标服务器的日志文件，其中，所述目标磁盘挂载在所述目标服务器上，所述日志文件记录有所述目标磁盘的运行数据；根据所述日志文件中记录的所述目标磁盘的运行数据，获得所述目标磁盘的SMART数据。6.一...

【专利技术属性】
技术研发人员：杨迪，
申请(专利权)人：中国建设银行股份有限公司，
类型：发明
国别省市：