一种基于深度强化学习的磁盘智能监测与优化系统及方法技术方案

本发明专利技术公开了一种基于深度强化学习的磁盘智能监测与优化系统及方法，其包括健康评估模块、策略调整模块和优化器；策略调整模块包括策略网络、目标网络和经验回放缓冲区；健康评估模块用于获取磁盘的总体健康度水平；策略网络用于根据磁盘的总体健康度水平获取对应的动作和状态；目标网络用于在训练阶段获取目标状态和目标动作对应的行为价值；经验回放缓冲区用于存储训练阶段的数据；优化器用于获取损失函数并基于损失函数对策略网络进行参数更新。本发明专利技术可通过强化学习方法同时训练最佳冗余策略和磁盘清洗周期，增强系统的自适应性和可靠性，数据不易丢失且易于管理；通过深度学习检测评估磁盘的健康状况，通过强化学习训练其系统，提高准确率。提高准确率。提高准确率。

【技术实现步骤摘要】
一种基于深度强化学习的磁盘智能监测与优化系统及方法


[0001]本专利技术涉及数据中心管理和磁盘健康监测
，具体涉及一种基于深度强化学习的磁盘智能监测与优化系统及方法。

技术介绍

[0002]磁盘健康预测是提高磁盘可靠性和避免数据丢失的重要手段，许多研究利用机器学习技术根据从SMART(自我监测、分析和报告技术)数据中提取的各种特征来预测磁盘故障。
[0003]磁盘健康预测可用于通过调整冗余设置和磁盘清洗来提高磁盘可靠性，因其反映了磁盘的健康状况和未来趋势。磁盘自适应冗余是一种根据集群存储系统中磁盘可靠性的动态调整冗余设置的技术。目前的实现方法使用标准的基于窗口的变点检测算法来调整冗余设置，与主动预测方法相比存在时效性差和预测精度不高等缺点。磁盘清洗是周期性地读取磁盘以检测潜在的扇区错误并尽可能修复它们的过程。目前方法为每个磁盘设置不同的磁盘清洗率甚至为每个磁盘的不同区域设置不同的磁盘清洗率可能会使存储系统更难管理，并导致磁盘清洗过程中的数据不一致性，从而导致数据丢失或其他问题。但现有方案将磁盘冗余和磁盘清洗视为独立的部分进行研究本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的磁盘智能监测与优化系统，其特征在于：包括健康评估模块、策略调整模块和优化器；所述策略调整模块采用深度Q网络模型；所述深度Q网络模型包括策略网络、目标网络和经验回放缓冲区；所述健康评估模块，用于获取不同品牌的磁盘的总体健康度水平；所述策略网络，用于根据不同品牌的磁盘的总体健康度水平获取对应的动作和状态；其中，动作用于进行磁盘智能监测与优化；所述目标网络，用于在训练阶段获取目标状态和目标动作对应的行为价值；所述经验回放缓冲区，用于存储训练阶段的状态、动作以及奖励；所述优化器，用于根据策略网络和目标网络的输出获取损失函数，并基于损失函数对策略网络的参数进行更新。2.根据权利要求1所述的基于深度强化学习的磁盘智能监测与优化系统，其特征在于：所述健康评估模块采用LSTM神经网络模型；所述LSTM神经网络模型包括串联的两个LSTM层和一个全连接层；每个所述LSTM层均包括128个LSTM单元；所述全连接层包括4个神经元；所述LSTM层采用ReLU函数作为激活函数；所述全连接层采用softmax函数作为激活函数；所述策略网络包括一个输入层、一个隐藏层和一个输出层；所述目标网络包括一个输入层、一个隐藏层和一个输出层；所述深度Q网络模型采用Q
‑
Learning算法进行训练，且采用ε
‑
贪婪策略进行环境探索。3.一种基于权利要求1或2任一所述的基于深度强化学习的磁盘智能监测与优化系统的监测与优化方法，其特征在于：包括以下步骤：S1、通过健康评估模块得到不同品牌的磁盘的健康分数；S2、构建强化学习智能体和奖励函数；初始化环境、策略调整模块、优化器和奖励列表和当前训练次数；S3、设置episode奖励为0；S4、根据特定品牌的磁盘的健康分数得到品牌的总体健康度水平；根据品牌的总体健康度水平模拟损坏部分磁盘；初始化当前步数；S5、生成随机数并判断该随机数是否小于探索率，若是则进入步骤S6；否则进入步骤S7；S6、随机选择一个动作；进入步骤S8；S7、通过策略网络选择当前状态下行为价值最大的动作；进入步骤S8；S8、在环境中执行动作，得到下一个状态和奖励；将当前状态、执行的动作以及获取的奖励存储至经验回放缓冲区；S9、判断经验回放缓冲区的大小是否大于等于设定值，若是则进入步骤S10；否则进入步骤S11；S10、在经验回放缓冲区中随机抽取一批经验数据并通过目标网络和策略网路分别得到目标值和预测值；根据目标值和预测值计算出目标值和预测值之间的损失函数；通过优化器最小化损失函数进行策略网络的参数更新，得到更新后的策略网络；S11、根据步骤S8的获得下一个状态和奖励更新强化学习智能体的当前状态及信息和episode奖励；S12、判断当前步数是否达到最大步数，若是，则结束一轮训练，将episode奖励添加至
奖励列表并进入步骤S13；否则将当前步数加1并返回步骤S5；S13、判断当前训练次数是否达到最大训练次数，若是则得到训练后的磁盘智能监测与优化系统并进入步骤S14；否则重置环境和初始状态，当前训练次数加1并返回步骤S3；S14、将训练后的磁盘智能监测与优化系统部署至数据中心系统；通过训练后的磁盘智能监测与优化系统得到品牌的总体健康度水平；根据总体健康度水平动态调整对应的磁盘冗余策略和磁盘清洗速率，完成监测与优化。4.根据权利要求3所述的监测与优化方法，其特征在于：所述步骤S1的具体步骤为：S1
‑
1、通过监控采集系统获取待监测磁盘在一段时间内的原始SMART数据；其中，原始SMART数据包括负样本数据和正样本数据；S1
‑
2、基于特征选择与特征处理对所述原始SMART数据进行处理，得到SMART特征并建立训练集；S1
‑
3、将不同品牌及型号的磁盘数据分类；基于深度学习对训练集进行训练得到单体磁盘健康度；S1
‑
4、根据公式：得到特定品牌和型号的健康分数H；其中，n表示品牌中的硬盘数，i表示标签，w
i
表示分配给标签i的权重，p
i
表示标签i的硬盘在品牌中的比例。5.根据权利要求3所述的监测与优化方法，其特征在于...

【专利技术属性】
技术研发人员：邵杰，苏薄，付骏峰，何鸿才，
申请(专利权)人：电子科技大学深圳高等研究院，
类型：发明
国别省市：