【技术实现步骤摘要】
本专利技术涉及深度学习和云计算领域，特别涉及一种基于时间卷积和长短期记忆网络的容器云资源预测方法。
技术介绍
1、容器是一种新的轻量级虚拟化技术，不需要虚拟机监控，与传统云计算相比，容器云具有开销少，启动时间短的优点，但对于资源的管理存在一定的问题，会出现供不应求和过度供应的情况。目前各大厂商致力于为用户提供优质的服务，合理对容器内的资源进行分配和部署，可以提升用户的体验。容器云允许远程访问计算资源，允许多台计算机协作和共享资源，这些资源可以根据工作负载进行动态配置，从而实现资源的合理分配以及利用。目前容器云的兴起使得云计算发展更加快速，使得用户能更加容易和快速的获取所需的资源。云计算资源负载预测是通过解析机器的历史负载信息，寻找过去与未来的云计算资源负载之间的关系，预测未来短期时间内的云资源负载，为厂商云计算资源的动态分配、云计算平台的机器部署以及降低运维人力成本提供重要依据。
2、循环神经网络是预测任务的主流技术之一，但该模型仍然存在局限性：
3、（1）梯度消失和爆炸：在反向传播时，梯度在多个时间步上连续相乘或相加，导致梯度变得非常小或非常大。
4、（2）短期记忆问题：在处理长期依赖关系的数据时，出现短期记忆，很难捕捉到序列中更远时间步之间的信息。
5、（3）准确率低：依赖性低，对于前期的特征不敏感，导致预测准确率低。
6、因此，本专利技术提出一种基于时间卷积和长短期记忆网络的容器云资源预测方法。采用时间卷积网络可以在不牺牲输入尺寸的同时获取更多的时间序列特征，同时
技术实现思路
1、本专利技术的目的在于针对现有方法的不足，提供一种基于时间卷积和长短期记忆网络的容器云资源预测方法。本专利技术利用时间卷积网络和长短期记忆所具有的优势，将时间卷积网络与长短期记忆网络相结合进行预测，提高容器云资源预测的准确度。
2、为了实现以上目的，本专利技术所采用的技术方案包括以下步骤：
3、步骤s1.异常值剔除，利用箱型图将数据分布可视化，对离群值进行识别并进行剔除；
4、步骤s2.缺失值填充，对数据集所缺失的数据进行填充，以保持数据的完整性和可用性；
5、步骤s3.对数据进行标准化处理，消除不同特征之间的量纲差异；
6、步骤s4.特征选择，通过判断各个特征的重要性，从原始特征集合中选择一个子集作为模型训练的输入特征，去除无关或冗余特征，提高模型的性能；
7、步骤s5.搭建模型，使用基于pytorch的深度学习来框架搭建用于云资源预测的tcn-lstm模型，训练模型优化超参数，保存参数。
8、所述步骤s1异常值剔除步骤如下：
9、步骤s11：获取云资源数据集
10、步骤s12：获取的时间序列数据集调用python第三方库time或者datetime将其转换为标准的时间格式，数据集的采样是每隔1-60s随机采样，时序预测要求数据间隔采样才保证实验的准确性和有效性，将数据处理为等间隔30s采样；
11、步骤s13：将所获取的数据通过箱型图可视化数据分布，选择合适的离群值进行剔除。
12、所述步骤s2缺失值填充步骤如下：
13、步骤s21：针对数据集的缺失值，采用n最近邻均值法填充，如n取2，则用t-2，t-1，t+1，t+2时刻的平均值来填充t时刻缺失的值。
14、所述步骤s3 数据标准化步骤如下：
15、步骤s31：利用最大值最小值限幅法归一化数据集，将数据按照公式（1）标准化处理：
16、 公式（1）
17、式中，为需要归一化的值，为所采集数据中的最小值，为所采集数据中的最大值。
18、所述步骤s4 特征选择步骤如下：
19、步骤s41：计算数据集上分类正确的样本数，；
20、步骤s42：对每个特征，对样本的特征进行随机交换得到；
21、步骤s43：计算上的分类正确的样本数，；
22、步骤s44: 计算；
23、步骤s45: 对于每个特征，计算特征的重要性，按照公式（2）计算特征重要性。
24、 公式（2）
25、所述步骤s5搭建模型步骤如下：
26、步骤s51：时间卷积网络通过一维的因果卷积对历史序列进行特征提取，卷积核大小设置为2，以保证数据的未来信息不被泄露，通过增加扩张因子来获取更大的感受野，网络的空洞因子设置为1，2，4，8，对信息进行跳跃式提取，捕获数据的长时间依赖性；
27、步骤s52：在tcn中引入weightnorm和dropout来正则化网络，dropout设置为0.2，达到加快网络收敛的目的；
28、步骤s53：将tcn的输出作为lstm的输入进行训练，隐藏层维度设置为64，网络层数为4层，每层维度为10，每个模型的epoch设置为100，训练结束后保存模型的超参数，输出预测结果。
29、与现有的容器云资源预测方法相比，本专利技术的基于时间卷积和长短期记忆网络方法有以下优点：
30、（1）采用时间卷积网络可以获取更多的特征，减轻过拟合、梯度消失和爆炸的影响；
31、（2）采用长短期记忆网络可以捕获长期依赖，获得更关键时间序列特征；
32、（3）采用时间卷积和长短期记忆网络结合，从一定程度上提升预测效果；
本文档来自技高网...【技术保护点】
1.一种基于时间卷积和长短期记忆网络的容器云资源预测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于时间卷积和长短期记忆网络的容器云资源预测方法，其特征在于，所述步骤S1包括以下步骤：
3.根据权利要求1所述的基于时间卷积和长短期记忆网络的容器云资源预测方法，其特征在于，所述步骤S2包括以下步骤：
4.根据权利要求1所述的基于时间卷积和长短期记忆网络的容器云资源预测方法，其特征在于，所述步骤S3包括以下步骤：
5.根据权利要求1所述的基于时间卷积和长短期记忆网络的容器云资源预测方法，其特征在于，所述步骤S4包括以下步骤：
6.根据权利要求1所述的基于时间卷积和长短期记忆网络的容器云资源预测方法，其特征在于，所述步骤S5包括以下步骤：
【技术特征摘要】
1.一种基于时间卷积和长短期记忆网络的容器云资源预测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于时间卷积和长短期记忆网络的容器云资源预测方法，其特征在于，所述步骤s1包括以下步骤：
3.根据权利要求1所述的基于时间卷积和长短期记忆网络的容器云资源预测方法，其特征在于，所述步骤s2包括以下步骤：
4.根据...
【专利技术属性】
技术研发人员：陈基漓，李海军，谢晓兰，劳榕，
申请(专利权)人：桂林理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。