【技术实现步骤摘要】
基于资源特征的云计算平台计算任务成本预测方法及系统
本专利技术涉及云计算平台的任务调度技术，具体涉及一种基于资源特征的云计算平台计算任务成本预测方法及系统，可为云计算平台的任务调度提供依据。
技术介绍
现有部分云计算平台中，运行的算法任务是以类似黑箱系统的形式存在，云平台系统对算法任务的内部架构和相互关系处于不可视状态。因此，云平台系统对算法任务存在的主要问题是无法确定用户输入的运行命令的具体含义及作用，也无法明确运行命令中所包含的参数的作用和对任务运行所造成的影响，因此不能提供给用户运行任务所需要的时间及成本方面的参考，影响用户体验以及系统分析。现今机器学习已经可以影响云计算的多方面并创造巨大的价值，广泛的应用于系统的可扩展性、成本资源计算以及大数据的处理。通过存储在系统中的大量数据为机器学习提供信息来源，并根据百万级指标的用户使用来为机器学习提供训练的数据来源。因此，如何利用机器学习来实现云计算平台计算任务成本预测，已经成为一项亟待解决的关键技术问题。
技术实现思路
本专利技术要解决的技术问题：针对现有技术的上述问题，提供一种基于资源特征的云计算平台计算任务成本预...
【技术保护点】
1.一种基于资源特征的云计算平台计算任务成本预测方法，其特征在于实施步骤包括：1）解析被预测计算任务的命令得到命令参数；2）从解析得到命令参数中通过主成分分析提取出主要特征参数自变量；3）将主要特征参数自变量输入预先训练好的机器学习模型，得到被预测计算任务的预测成本；所述机器学习模型通过预先训练建立了主要特征参数自变量、被预测计算任务的预测成本两者之间的输入输出映射关系。
【技术特征摘要】
1.一种基于资源特征的云计算平台计算任务成本预测方法，其特征在于实施步骤包括：1）解析被预测计算任务的命令得到命令参数；2）从解析得到命令参数中通过主成分分析提取出主要特征参数自变量；3）将主要特征参数自变量输入预先训练好的机器学习模型，得到被预测计算任务的预测成本；所述机器学习模型通过预先训练建立了主要特征参数自变量、被预测计算任务的预测成本两者之间的输入输出映射关系。2.根据权利要求1所述基于资源特征的云计算平台计算任务成本预测方法，其特征在于，步骤1）的详细步骤包括：1.1）解析被预测计算任务的命令，获取其中包含的命令参数；1.2）对命令参数进行分类，分类为变量参数，文件参数以及常量参数。3.根据权利要求2所述基于资源特征的云计算平台计算任务成本预测方法，其特征在于，步骤3）中被预测计算任务的预测成本包括任务运行时间、生成文件大小、消耗网络流量。4.根据权利要求3所述基于资源特征的云计算平台计算任务成本预测方法，其特征在于，步骤3）中机器学习模型的训练步骤包括：S1）通过自定义改变变量参数、文件参数以及常量参数中的至少一项来生成不同的计算任务的命令并构建训练集以及测试集，初始化主要特征参数自变量为空；S2）从训练集中遍历选择一条命令作为当前命令；S3）模拟运行当前命令，得到当前命令的任务运行时间、生成文件大小、消耗网络流量；S4）解析当前命令得到命令参数，从解析得到命令参数中通过主成分分析提取出主要特征参数自变量及其对应的权重；S5）针对提取出来的主要特征参数自变量及其对应的权重和当前命令的任务运行时间、生成文件大小、消耗网络流量三者使用最小二乘法对训练集进行线性回归计算，分别计算时间参数线性回归拟合曲线、生成文件大小参数线性回归拟合曲线、网络流量参数线性回归拟合曲线，从而建立包含主要特征参数自变量及其和任务运行时间、生成文件大小、消耗网络流量三种被预测计算任务的预测成本之间的输入输出映射关系；S6）判断训练集是否遍历完毕，如果尚未遍历完毕，则跳转执行步骤S2）；否则，跳转执行步骤S7）；S7）模拟运行测试集中的命令并获得命令的执行结果，该执行结果包括任务运行时间、生成文件大小、消耗网络流量，使用测试集及其执行结果对时间参数线性回归拟合曲线、生成文件大小参数线性回归拟合曲线、网络流量参数线性回归拟合曲线进行验证，如果验证通过则判定训练完毕；否则跳转执行步骤S1）继续进行训练。5.一种基于资源特征的云计算平台计算任务成本预测系统，包括计算机设备，其特征在于，所述计算机设备被编程以执行权利要求1～4中任意一项所述基于资源特征的云计算平台计算任务成本预测方法的步骤；或者所述计算机设备的存储介质中存储有被编程以执行权利要求1～4中任意一项所述基于资源特征的云计算平台计算任务成本预测...
【专利技术属性】
技术研发人员：宋卓，李根，唐骏翔，马丑贤，王振国，肖克，朱德龙，宁文飞，张栓，宫晨光，
申请(专利权)人：人和未来生物科技长沙有限公司，
类型：发明
国别省市：湖南,43
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。