一种无服务器Serverless用户工作负载预测方法、装置及介质制造方法及图纸

本发明专利技术提供一种无服务器Serverless用户工作负载预测方法、装置及介质，该方法包括：采集Serverless架构中的历史数据，所述历史数据包括作为自变量的性能监测数据以及作为因变量的等待执行的作业数；根据所述性能监测数据和等待执行的作业数提取根因特征、时分特征、差分特征以及交互特征；将所述性能监测数据、根因特征、时分特征、差分特征以及交互特征作为训练数据集训练预设的工作负载模型，得到训练好的工作负载模型；使用训练好的工作负载模型预测Serverless用户工作负载。该方法、装置及介质能够解决现有的工作负载预测方法由于使用单特征进行预测，容易导致数据特征提取弱，预测效果偏差大的问题。预测效果偏差大的问题。预测效果偏差大的问题。

【技术实现步骤摘要】
一种无服务器Serverless用户工作负载预测方法、装置及介质


[0001]本专利技术涉及云计算
，尤其涉及一种无服务器Serverless用户工作负载预测方法、装置及介质。

技术介绍

[0002]云计算时代，Serverless无服务器架构可根据业务需求的增加而扩展，也就是工作负载进行弹性资源调整；Serverless可以让代码只在响应事件的时候运行，也就是不需要长时间运行容器或者服务器。Serverless可以有效减少资源在空闲期的浪费以及在繁忙期的业务过载。那么，如何让弹性资源调度达到最优的调度，这就需要在弹性资源调度的背后对工作负载进行准确的预测，一个实用的Serverless服务必须考虑的一个问题就是实现如何快速对业务的波峰波谷进行提前感知预测。
[0003]传统的资源调度控制系统普遍使用最大阈值作为决策依据，仅仅关注当前监控出现的数值，而非常有价值的历史数据没有派上用场，数据资产没有发挥作用，此外，缺失历史数据的使用很难对工作负载的趋势进行准确把握，仅仅依靠人为经验，很难提前做好资源的调整，具有很长的滞后性。近年来，随着企业不断上云，云环境的工作负载预测成为一个经典且极具挑战的难题。在解决方案上，传统的工作负载预测方法使用单特征进行预测，比如使用原始特征或者历史数据特征等单特征进行预测，数据特征提取弱，预测效果偏差大。

技术实现思路

[0004]本专利技术所要解决的技术问题是针对现有技术的上述不足，提供一种无服务器Serverless用户工作负载预测方法、装置及介质，用以解决现有的工作负载预测方法由于使用单特征进行预测，容易导致数据特征提取弱，预测效果偏差大的问题。
[0005]第一方面，本专利技术提供一种无服务器Serverless用户工作负载预测方法，所述方法包括：
[0006]采集Serverless架构中的历史数据，所述历史数据包括作为自变量的性能监测数据以及作为因变量的等待执行的作业数；
[0007]根据所述性能监测数据和等待执行的作业数提取根因特征、时分特征、差分特征以及交互特征；
[0008]将所述性能监测数据、根因特征、时分特征、差分特征以及交互特征作为训练数据集训练预设的工作负载模型，得到训练好的工作负载模型；
[0009]使用训练好的工作负载模型预测Serverless用户工作负载。
[0010]进一步地，所述性能监测数据包括队列ID、队列状态、内存使用率、CPU使用率、采集时间、取消任务数和失败任务数。
[0011]进一步地，所述根据所述性能监测数据和等待执行的作业数提取根因特征、时分
特征、差分特征以及交互特征之前，所述方法还包括：
[0012]对所述历史数据进行预处理，所述预处理包括：对重复数据进行删除、对缺失数据进行删除、将采集时间转换为时间戳。
[0013]进一步地，所述根因特征包括影响CPU使用率的特征；
[0014]所述时分特征包括小时和分钟的信息；
[0015]所述差分特征为对等待执行的作业数进行N阶差分后得到的特征，所述N大于或等于1；
[0016]所述交互特征包括将取消任务数减去失败任务数后得到的实际实际取消任务数。
[0017]进一步地，使用五折交叉验证对所述预设的工作负载模型进行训练。
[0018]进一步地，所述使用训练好的工作负载模型预测Serverless用户工作负载，具体包括：
[0019]将待预测的数据输入训练好的工作负载模型，得到差分的等待执行的作业数；
[0020]根据差分的等待执行的作业数得到预测的等待执行的作业数。
[0021]进一步地，所述工作负载模型为卷积长短期记忆神经网络CNN
‑
LSTM。
[0022]第二方面，本专利技术提供一种无服务器Serverless用户工作负载预测装置，包括：
[0023]数据采集模块，用于采集Serverless架构中的历史数据，所述历史数据包括作为自变量的性能监测数据以及作为因变量的等待执行的作业数；
[0024]特征提取模块，与所述数据采集模块连接，用于根据所述性能监测数据和等待执行的作业数提取根因特征、时分特征、差分特征以及交互特征；
[0025]模型训练模块，与所述特征提取模块连接，用于将所述性能监测数据、根因特征、时分特征、差分特征以及交互特征作为训练数据集训练预设的工作负载模型，得到训练好的工作负载模型；
[0026]工作负载预测模块，与所述模型训练模块连接，用于使用训练好的工作负载模型预测Serverless用户工作负载。
[0027]第三方面，本专利技术提供一种无服务器Serverless用户工作负载预测装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以实现上述第一方面所述的无服务器Serverless用户工作负载预测方法。
[0028]第四方面，本专利技术提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的无服务器Serverless用户工作负载预测方法。
[0029]本专利技术提供的无服务器Serverless用户工作负载预测方法、装置及介质。首先采集Serverless架构中的历史数据，所述历史数据包括作为自变量的性能监测数据以及作为因变量的等待执行的作业数；然后根据所述性能监测数据和等待执行的作业数提取根因特征、时分特征、差分特征以及交互特征；再将所述性能监测数据、根因特征、时分特征、差分特征以及交互特征作为训练数据集训练预设的工作负载模型，得到训练好的工作负载模型；最后使用训练好的工作负载模型预测Serverless用户工作负载。由于本申请在特征提取时基于多特征集成，多特征集成涵盖了根因特征、时分特征、差分特征以及交互特征，使得训练好的工作负载模型具有较强的稳定性，使得实际预测效果显著提升，解决了现有的工作负载预测方法由于使用单特征进行预测，容易导致数据特征提取弱，预测效果偏差大
的问题。
附图说明
[0030]图1为本专利技术实施例1的一种无服务器Serverless用户工作负载预测方法的流程图；
[0031]图2为本专利技术实施例2的一种无服务器Serverless用户工作负载预测装置的结构示意图；
[0032]图3为本专利技术实施例3的一种无服务器Serverless用户工作负载预测装置的结构示意图。
具体实施方式
[0033]为使本领域技术人员更好地理解本专利技术的技术方案，下面将结合附图对本专利技术实施方式作进一步地详细描述。
[0034]可以理解的是，此处描述的具体实施例和附图仅仅用于解释本专利技术，而非对本专利技术的限定。
[0035]可以理解的是，在不冲突的情况下，本专利技术中的各实施例及实施例中的各特征可相互组合。
[0036]可以理解的是，为便于描述，本专利技术的附图中仅示出了与本专利技术相关的部分，而与本专利技术无关的部分未本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无服务器Serverless用户工作负载预测方法，其特征在于，包括：采集Serverless架构中的历史数据，所述历史数据包括作为自变量的性能监测数据以及作为因变量的等待执行的作业数；根据所述性能监测数据和等待执行的作业数提取根因特征、时分特征、差分特征以及交互特征；将所述性能监测数据、根因特征、时分特征、差分特征以及交互特征作为训练数据集训练预设的工作负载模型，得到训练好的工作负载模型；使用训练好的工作负载模型预测Serverless用户工作负载。2.根据权利要求1所述的方法，其特征在于，所述性能监测数据包括队列ID、队列状态、内存使用率、CPU使用率、采集时间、取消任务数和失败任务数。3.根据权利要求2所述的方法，其特征在于，所述根据所述性能监测数据和等待执行的作业数提取根因特征、时分特征、差分特征以及交互特征之前，所述方法还包括：对所述历史数据进行预处理，所述预处理包括：对重复数据进行删除、对缺失数据进行删除、将采集时间转换为时间戳。4.根据权利要求2所述的方法，其特征在于，所述根因特征包括影响CPU使用率的特征；所述时分特征包括小时和分钟的信息；所述差分特征为对等待执行的作业数进行N阶差分后得到的特征，所述N大于或等于1；所述交互特征包括将取消任务数减去失败任务数后得到的实际实际取消任务数。5.根据权利要求1所述的方法，其特征在于，使用五折交叉验证对所述预设的工作负载模型进行训练。6.根据权利要求1所述的方法，其特征在于，所述使用训练好的工作负载模型预测Serverless用户工作负载，具体包括：将待预测的数据输入训练好...

【专利技术属性】
技术研发人员：赵慧，毋涛，卢莹，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：