一种基于循环神经网络的磁盘故障预测方法技术

技术编号:20865699 阅读:659 留言:0更新日期:2019-04-17 09:12
本申请公开了一种于循环神经网络的磁盘故障预测方法,选取用户定义的故障磁盘数据,利用故障磁盘数据构建双层多输出等级的GRU网络模型进行磁盘故障预测,最后平衡不同等级故障磁盘数据解决不同级别数据不平衡的问题。该方法通过划分多等级的方式,延长了预测磁盘故障的时间,提升了在实际系统中的可用性,并且通过将传统神经网络替换为GRU网络并使用基于特征递归消除的随机森林算法来选择关键特征,来简化预测模型复杂度,最后根据不同等级包含时长不同来确定训练数据的取样步长,实现了训练数据的平衡,提高了最终磁盘故障预测的准确度。

【技术实现步骤摘要】
一种基于循环神经网络的磁盘故障预测方法
本专利技术属于信息存储
,更具体地,涉及一种基于循环神经网络的磁盘故障预测方法。
技术介绍
近年来互联网发展迅速,数据中心规模骤增,故障频率逐渐增大,造成不小的经济损失。研究表明,磁盘故障是现代数据中心出现故障的主要原因之一,尽管单个磁盘年度故障率可能低于1%,但由于数据中心磁盘数量基数大,很多大型数据中心磁盘设备数量都是百万级的,实际年度故障率可能超过10%。Backblaze公司2017磁盘可靠性报告中显示不同厂商磁盘中最高故障率高达29.08%。因此,一般现代磁盘存储系统都会采取各种容错方法来保证系统可靠性。现有的存储系统容错方法一般可分为两类:一是数据损坏后才对系统进行恢复的被动容错方法;二是磁盘出问题之前就能将其预测出来的主动容错方法。被动容错方法为了对系统进行恢复,通常需要牺牲一定的系统性能,并且被动容错方法通常利用信息冗余来实现数据重构,这无疑会增加系统成本。为了应对被动容错系统的困境,越来越多的研究人员将目光聚焦在主动容错方法上,希望能提前预测出磁盘故障,进而迁移保护有潜在危险的数据。最近,机器学习的发展又对提前预测出磁盘本文档来自技高网...

【技术保护点】
1.一种基于循环神经网络的磁盘故障预测方法,其特征在于,包括:选取用户定义的故障磁盘数据;利用所述故障磁盘数据构建双层多输出等级的GRU网络模型进行磁盘故障预测;平衡所述不同等级故障磁盘数据。

【技术特征摘要】
1.一种基于循环神经网络的磁盘故障预测方法,其特征在于,包括:选取用户定义的故障磁盘数据;利用所述故障磁盘数据构建双层多输出等级的GRU网络模型进行磁盘故障预测;平衡所述不同等级故障磁盘数据。2.根据权利要求1所述的方法,其特征在于,所述选取用户定义的故障磁盘数据,包括:遍历SMART数据集,记录所有属性failure=1的故障磁盘型号;将所述故障磁盘数据按型号分类,每种型号的故障磁盘数据分为一类;将所述每类故障磁盘数据按比例分成两部分;选取具有用户定义的故障关键特征的磁盘数据。3.根据权利要求2所述的方法,其特征在于,所述将所述每类故障磁盘数据按比例分成两部分,包括:将同一型号故障磁盘数据按照时间标注故障等级,筛选掉SMART数据不全的和没序号的数据;在剩下的数据中进行随机采样,前...

【专利技术属性】
技术研发人员:万继光王中华鲁凯李大平郑文凯胡泽鑫伍信一瞿晓阳张超徐鹏闫锐谭志虎谢长生
申请(专利权)人:华中科技大学
类型:发明
国别省市:湖北,42

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1