【技术实现步骤摘要】
一种基于二分类的多模型磁盘故障预测方法和系统
本专利技术涉及智能运维
,尤其涉及一种基于二分类的多模型磁盘故障预测方法和系统。
技术介绍
磁盘是计算机的主要存储介质,能够存储大量的二进制数据,并且在断电后能够保证数据不丢失。在某些大规模数据中心,硬盘的使用规模已达百万级别。若发生盘类故障,会导致数据中心的整个存储系统甚至整个IT基础设施的稳定性和可靠性下降,最终对整个业务服务造成难以挽回的影响;并且磁盘也是数据中心内故障率最高的部件,不管是磁盘读写速度异常还是数据丢失,其对数据中心造成的后果都十分严重。若能在磁盘发生故障前提前预测到磁盘故障,预先将可能会出现异常的磁盘中的数据及时备份,或者直接替换掉磁盘,将极大减少因磁盘故障而造成的损失,从而对系统运营带来极大便利,并有效提高数据中心可靠性。为实现上述目的,现有技术中提供了一种磁盘状态检测与预警技术,即SMART(Self-MonitoringAnalysisandReportingTechnology,自我监测、分析及报告技术)。通过在磁盘硬件内设置检测指令,对磁盘的 ...
【技术保护点】
1.一种基于二分类的多模型磁盘故障预测方法,其特征在于,包括:/n对训练集中磁盘进行采样,选取与磁盘故障相关的磁盘状态特征;/n对所述磁盘状态特征进行差分计算,并对差分结果进行时序特征提取,得到磁盘时序特征;/n将所述磁盘时序特征输入至XGBoost算法进行机器学习,得到用于预测磁盘剩余寿命概率的多个二分类模型;/n使用所述多个二分类模型对测试集中磁盘进行剩余寿命概率预测,根据预测到的剩余寿命概率,预测所述磁盘的故障状态。/n
【技术特征摘要】
1.一种基于二分类的多模型磁盘故障预测方法,其特征在于,包括:
对训练集中磁盘进行采样,选取与磁盘故障相关的磁盘状态特征;
对所述磁盘状态特征进行差分计算,并对差分结果进行时序特征提取,得到磁盘时序特征;
将所述磁盘时序特征输入至XGBoost算法进行机器学习,得到用于预测磁盘剩余寿命概率的多个二分类模型;
使用所述多个二分类模型对测试集中磁盘进行剩余寿命概率预测,根据预测到的剩余寿命概率,预测所述磁盘的故障状态。
2.根据权利要求1所述的多模型磁盘故障预测方法,其特征在于,所述对训练集中磁盘进行采样,选取与磁盘故障相关的磁盘状态特征的步骤,包括:
对训练集中磁盘进行值域分析和跳变分析,选取得到与磁盘故障相关的多个SMART特征;
根据训练集中磁盘的读写量累积值和磁盘上电时间,计算得到与磁盘读写相关的磁盘IO特征。
3.根据权利要求2所述的多模型磁盘故障预测方法,其特征在于,所述对所述磁盘状态特征进行差分计算,并对差分结果进行时序特征提取,得到磁盘时序特征的步骤,包括:
分别对所述SMART特征和磁盘IO特征进行一阶差分,得到与磁盘故障变化量相关的SMART特征差分值和磁盘IO特征差分值;
按照预设提取窗口分别对所述SMART特征差分值和磁盘IO特征差分值进行时序特征提取,得到多个分别与所述SMART特征差分值和磁盘IO特征差分值对应的磁盘时序特征。
4.根据权利要求1所述的多模型磁盘故障预测方法,其特征在于,所述将磁盘时序特征输入至XGBoost算法进行机器学习,得到用于预测磁盘剩余寿命概率的多个二分类模型的步骤,包括:
根据磁盘故障发生的时间,将所述磁盘序列特征输入至所述XGBoost算法进行机器学习;
使用所述XGBoost算法计算距离磁盘故障发生的多个预定临近时间内,磁盘剩余寿命小于或等于所述预定临近时间的二分类模型,其中,所述预定临近时间越靠近所述磁盘故障发生时间,所述二分类模型的预测权重越大。
5.根据权利要求1所述的多模型磁盘故障预测方法,其特征在于,所述使用所述多个二分类模型对测试集中磁盘进行剩余寿命概率预测的步骤,包括:
对所述多个二分类模型预测的剩余寿命概率进行均值计算,得到所述测试集中磁盘的最终剩余寿命概率;
判断所述最终剩余寿命概率是否大于或等于预设寿命概率阈值;
若判定所述最...
【专利技术属性】
技术研发人员:王团结,梁鑫辉,曹琪,
申请(专利权)人:苏州浪潮智能科技有限公司,
类型:发明
国别省市:江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。