一种基于神经网络的存储负载预测方法和系统技术方案

技术编号:40988115 阅读:17 留言:0更新日期:2024-04-18 21:31
本发明专利技术公开了一种基于神经网络的存储负载预测方法和系统,属于机器学习技术领域。包括:获取当前时段负载信息,将其输入至训练好的负载种类预测模型,得到该时段内的负载种类;根据负载种类匹配负载强度类别预测模型中的第二神经网络模型,进行负载强度类别预测;其中,所述负载种类预测模型由第一神经网络模型构成,所述负载强度预测模型由多个独立的第二神经网络模型构成,所述第一神经网络模型和第二神经网络模型类型相同或者不同。本发明专利技术通过负载种类预测和负载轻重预测结合的方式,为上层调度提供更精确的支撑,提高调度效果。

【技术实现步骤摘要】

本专利技术属于机器学习,更具体地,涉及一种基于神经网络的存储负载预测方法和系统


技术介绍

1、分布式存储系统节点众多、能耗较高,为保证数据可靠性,通常会配置备份节点。启用全部节点能够保证优异的性能,但是存在明显的资源浪费。因此,存储负载轻(单位时间内请求个数较少)时,可以关闭大部分备份节点甚至部分主副本节点以节能,而在存储负载重(单位时间内请求个数较多)时,则会开启足够的节点来保证服务性能。

2、节点开关时通常伴随着数据的迁移,若节点开关时机不当,则会影响存储性能和节能效果。若想要选择合适的时机,则需要提前掌握未来时刻的负载等信息,提前对节点开关调度做出规划并及时执行。

3、因此,可以基于存储负载的历史信息数值,采用机器学习技术对未来决策周期的负载信息进行预测,得到需要的关键信息,包括未来时刻的负载种类和负载轻重强度。但是,

4、分布式存储系统通常为多个应用提供存储服务,而不同的应用所产生的存储负载具有不同的特征,无法简单地通过一种模型预测所有负载的未来变化情况;负载的请求个数数值波动范围太大,直接对具体的负载数值进行本文档来自技高网...

【技术保护点】

1.一种基于神经网络的存储负载预测方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,采用所有类型的负载第一训练集共同训练第一神经网络模型,训练时,输入为当前预测周期的负载信息,输出为下个预测周期的负载种类。

3.如权利要求2所述的方法,其特征在于,所述第一神经网络模型为LSTM,步长设为36。

4.如权利要求1所述的方法,其特征在于,用相同类型的负载第二训练集单独训练一个第二神经网络模型,训练时,输入为当前预测周期的该类型负载的强度类别,输出为下个预测周期的该类型负载的强度类别。

5.如权利要求4所述的方法,其特征在于,所述...

【技术特征摘要】

1.一种基于神经网络的存储负载预测方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,采用所有类型的负载第一训练集共同训练第一神经网络模型,训练时,输入为当前预测周期的负载信息,输出为下个预测周期的负载种类。

3.如权利要求2所述的方法,其特征在于,所述第一神经网络模型为lstm,步长设为36。

4.如权利要求1所述的方法,其特征在于,用相同类型的负载第二训练集单独训练一个第二神经网络模型,训练时,输入为当前预测周期的该类型负载的强度类别,输出为下个预测周期的该类型负载的强度类别。

5.如权利要求4所述的方法,其特征在于,所述第二神经网络模型为lstm,步长设...

【专利技术属性】
技术研发人员:李大平吴晓红杨升春王涛周彦飞何琪文丁强
申请(专利权)人:中国船舶集团有限公司第七〇九研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1