云原生资源动态预测方法、装置、计算机设备及存储介质制造方法及图纸

技术编号:27833108 阅读:17 留言:0更新日期:2021-03-30 11:46
本申请实施例属于信息技术领域,涉及一种云原生资源动态预测方法,包括基于皮尔森相关系数对获取到的待预测资源数据以及性能指标数据进行相关度排序,得到待预测资源数据以及性能指标数据之间的相关性关系;基于相关性关系定义相关度阈值;将大于或等于相关度阈值的性能指标数据作为性能指标时序数据;将性能指标时序数据进行横向数据扩展,得到训练数据以及测试数据;将训练数据输入至构建好的时序神经网络模型中进行训练,得到训练好的时序神经网络预测模型;将测试数据输入时序神经网络预测模型中进行预测操作,得到资源预测结果。本申请还提供一种云原生资源动态预测装置、计算机设备及存储介质。本申请能够降低预测复杂度,提高预测准确性。提高预测准确性。提高预测准确性。

【技术实现步骤摘要】
云原生资源动态预测方法、装置、计算机设备及存储介质


[0001]本申请涉及信息
,尤其涉及云原生资源动态预测方法、装置、计算机设备及存储介质。

技术介绍

[0002]云原生技术的迅速发展使得用户数量和数据规模急剧增长,给云原生集群的资源管理带来了严峻的问题和挑战。一方面,用户的资源请求非常频繁和多样化,现有的资源预测往往只能对传统的周期性做出精准的预测,而无法精准地预测突变点的出现;另一方面,实时的在线服务和离线作业的混合部署在一定程度上提升了云原生集群的性能,但该混部模式也带来了资源竞争、性能下降的问题,进一步增加了资源预测的复杂性。此外,传统的资源预测模型往往具有一定的延后性,给实时动态的资源分配和管理造成了一定的性能阻碍。因此,如何在混部云原生集群中的资源进行实时、精准的预测,从而动态为负载分配合理的资源配置时目前研究的重点问题。
[0003]由于云原生作为新兴的云计算模式,具有高扩展性、按需存取和更加轻量等特点,越来越多的企业和个人选择使用云原生平台提供服务。而由于上层云原生应用的复杂性、异构性和动态性的特点,对资源管理的要求也越来越高,故为了能有效地提升云原生集群资源管理的性能,不同种类型应用混合部署的方式已经被广泛应用于云原生平台。
[0004]但是目前的资源预测方法主要是基于线性回归方法和基于机器学习方法的预测,其中,第一种方法在预测模型的周期性时具有很好的准确度,但往往不能很好的预测突变点,且此类方法通常只考虑预测资源的自身时序相关性,而容易忽略了其他性能指标对待预测资源的影响;第二种方法通过机器学习模型对历史数据进行训练和交叉验证,可以输入多维资源数据,且能通过神经网络的长时记忆虽然能够有效抓取时序信息,但该方法在应对突变点的预测时仍有存在许多不足。

技术实现思路

[0005]本申请实施例的目的在于提出一种云原生资源动态预测方法、装置、计算机设备及存储介质,以至少解决传统资源预测方法预测的复杂度高以及预测突变点准确率低的问题。
[0006]为了解决上述技术问题,本申请实施例提供一种云原生资源动态预测方法,采用了如下所述的技术方案:
[0007]接收用户终端发送的动态预测请求;
[0008]响应动态预测请求,读取本地数据库,获取云原生集群中容器负载的待预测资源数据以及性能指标数据;
[0009]基于皮尔森相关系数对待预测资源数据以及性能指标数据进行相关度排序,得到待预测资源数据以及性能指标数据之间的相关性关系;
[0010]基于相关性关系定义相关度阈值;
[0011]将大于或等于相关度阈值的性能指标数据作为性能指标时序数据;
[0012]将性能指标时序数据进行横向数据扩展,得到训练数据以及测试数据;
[0013]将训练数据输入至构建好的时序神经网络模型中进行训练,得到训练好的时序神经网络预测模型;
[0014]将测试数据输入至时序神经网络预测模型中进行预测操作,得到资源预测结果。
[0015]进一步的,该方法还包括:
[0016]基于预设的时间间隔对云原生集群中容器负载的历史资源数据进行采集;
[0017]对历史资源数据进行预处理,得到待预测资源数据。
[0018]进一步地,对历史资源数据进行预处理,得到待预测资源数据的步骤包括:
[0019]删除历史资源数据中的无效或异常数据,得到有效时序数据;
[0020]对有效时序数据进行归一化处理,得到待预测资源数据。
[0021]进一步地,该方法还包括:
[0022]重复执行预测操作过程,得到实时预测数据;
[0023]将实时预测数据反馈至用户终端。
[0024]进一步地,该方法还包括:
[0025]将预设的全连接层以及注意力机制添加至时序神经网络基础模型架构中,得到时序神经网络模型。
[0026]为了解决上述技术问题,本申请实施例还提供一种云原生资源动态预测装置,采用了如下所述的技术方案:
[0027]请求接收模块,用于接收用户终端发送的动态预测请求;
[0028]请求响应模块,用于响应动态预测请求,读取本地数据库,获取云原生集群中容器负载的待预测资源数据以及性能指标数据;
[0029]相关度排序模块,用于基于皮尔森相关系数对待预测资源数据以及性能指标数据进行相关度排序,得到待预测资源数据以及性能指标数据之间的相关性关系;
[0030]阈值定义模块,用于基于相关性关系定义相关度阈值;
[0031]时序数据获取模块,用于将大于或等于相关度阈值的性能指标数据作为性能指标时序数据;
[0032]数据扩展模块,用于将性能指标时序数据进行横向数据扩展,得到训练数据以及测试数据;
[0033]模型训练模块,用于将训练数据输入至构建好的时序神经网络模型中进行训练,得到训练好的时序神经网络预测模型;
[0034]数据预测模块,用于将测试数据输入至时序神经网络预测模型中进行预测操作,得到资源预测结果。
[0035]进一步的,该装置还包括:
[0036]数据采集模块,用于基于预设的时间间隔对云原生集群中容器负载的历史资源数据进行采集;
[0037]预处理模块,用于对历史资源数据进行预处理,得到待预测资源数据。
[0038]进一步地,预处理模块包括:
[0039]数据删除单元,用于删除历史资源数据中的无效或异常数据,得到有效时序数据;
[0040]归一化处理单元,用于对有效时序数据进行归一化处理,得到待预测资源数据。
[0041]为了解决上述技术问题,本申请实施例还提供一种计算机设备,采用了如下所述的技术方案:
[0042]包括存储器和处理器,存储器中存储有计算机程序,处理器执行计算机程序时实现如上所述的云原生资源动态预测方法的步骤。
[0043]为了解决上述技术问题,本申请实施例还提供一种计算机可读存储介质,采用了如下所述的技术方案:
[0044]计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上所述的云原生资源动态预测方法的步骤。
[0045]与现有技术相比,本申请实施例主要有以下有益效果:
[0046]本申请提供了一种云原生资源动态预测方法,包括:接收用户终端发送的动态预测请求;响应动态预测请求,读取本地数据库,获取云原生集群中容器负载的待预测资源数据以及性能指标数据;基于皮尔森相关系数对待预测资源数据以及性能指标数据进行相关度排序,得到待预测资源数据以及性能指标数据之间的相关性关系;基于相关性关系定义相关度阈值;将大于或等于相关度阈值的性能指标数据作为性能指标时序数据;将性能指标时序数据进行横向数据扩展,得到训练数据以及测试数据;将训练数据输入至构建好的时序神经网络模型中进行训练,得到训练好的时序神经网络预测模型;将测试数据输入至时序神经网络预测模型中进行预测操作,得到资源预测结果。基于皮尔森相关系数对在本地数据库中获取到本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种云原生资源动态预测方法,其特征在于,包括下述步骤:接收用户终端发送的动态预测请求;响应所述动态预测请求,读取本地数据库,获取云原生集群中容器负载的待预测资源数据以及性能指标数据;基于皮尔森相关系数对所述待预测资源数据以及所述性能指标数据进行相关度排序,得到所述待预测资源数据以及所述性能指标数据之间的相关性关系;基于所述相关性关系定义相关度阈值;将大于或等于所述相关度阈值的性能指标数据作为性能指标时序数据;将所述性能指标时序数据进行横向数据扩展,得到训练数据以及测试数据;将所述训练数据输入至构建好的时序神经网络模型中进行训练,得到训练好的时序神经网络预测模型;将所述测试数据输入至所述时序神经网络预测模型中进行预测操作,得到资源预测结果。2.根据权利要求1所述的云原生资源动态预测方法,其特征在于,在所述响应所述动态预测请求,读取本地数据库,获取云原生集群中容器负载的待预测资源数据以及性能指标数据的步骤之前,所述方法还包括:基于预设的时间间隔对云原生集群中容器负载的历史资源数据进行采集;对所述历史资源数据进行预处理,得到所述待预测资源数据。3.根据权利要求2所述的云原生资源动态预测方法,其特征在于,所述对所述历史资源数据进行预处理,得到所述待预测资源数据的步骤包括:删除所述历史资源数据中的无效或异常数据,得到有效时序数据;对所述有效时序数据进行归一化处理,得到所述待预测资源数据。4.根据权利要求1所述的云原生资源动态预测方法,其特征在于,在所述将所述测试数据输入至所述时序神经网络预测模型中进行预测操作,得到资源预测结果的步骤之后,所述方法还包括:重复执行所述预测操作过程,得到实时预测数据;将所述实时预测数据反馈至所述用户终端。5.根据权利要求1所述的云原生资源动态预测方法,其特征在于,在所述将所述训练数据输入至构建好的时序神经网络模型中进行训练,得到训练好的时序神经网络预测模型的步骤之前,所述方法还包括:将预设的全连接层以及注意力机制添加至时序神经...

【专利技术属性】
技术研发人员:叶可江陈文艳须成忠
申请(专利权)人:中国科学院深圳先进技术研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1