【技术实现步骤摘要】
本专利技术涉及云计算，具体涉及一种基于gbdt预测模型的serverless资源分配方法、装置、设备及介质。
技术介绍
1、云计算的概念自提出以来，它的服务形态，发展出了iaas，paas，saas，通过整个服务形态的发展看，将服务器端配置管理与客户应用开发解偶是大势所趋，去服务器化(serverless)的架构思想也应运而生。在serverless架构中，应用程序的主要部分运行在由云提供的短暂无状态容器中，这些容器触发事件会在执行后终止。因此，这种类型的云计算被称为功能即服务(faas)。faas是云计算领域的一项全新突破，它的应用包括amazon提出的aws lambda、google提出的google cloud functions和microsoft提出的microsoftazure。
2、随着serverless占据着越来越重要的地位，对面向serverless的资源管理的研究和优化是十分有必要的。而资源预测对于资源优化管理所起到的作用是不可忽视的，它能够为资源配置的有效实施提供可靠的决策支持。现有的云计算环境中实现资源分配优化的研究中，主要是通过动态调整粗粒度的计算资源的分配来提高性能和资源使用效率。国内外还没有人对面向serverless的细粒度的资源分配优化技术进行研究。现有的云计算环境中实现资源分配优化的研究中，主要是通过动态调整粗粒度的计算资源的分配来提高性能和资源使用效率。并且，他们没有提供充分的细节或示例来支持其方法的可行性和有效性，没有提供足够的实验或实际案例来证明其方法的有效性。此外，他们
3、由于资源预测能够为资源配置的有效实施提供可靠的决策支持，基于机器学习的强大预测能力，本专利对细粒度的资源进行最优预测进而对资源分配进行优化。
技术实现思路
1、为解决上述技术问题，本专利技术提出了基于gbdt预测模型的serverless资源分配方法、装置、设备及介质，本专利技术基于机器学习的强大预测能力，采用梯度提升迭代决策树(gradientboosting decisiontree，gbdt)算法建立预测模型进而实现对资源分配的优化。
2、第一方面，本专利技术提供了一种基于gbdt预测模型的serverless资源分配方法，所述方法包括：
3、获取serverless服务资源的多个预分配参数范围和默认值，以生成基于运行时间的第一约束数据；
4、解析所述第一约束数据以提取出满足第一约束条件的第二约束数据；
5、对所述第二约束数据进行预处理，生成满足第二约束条件的基于gbdt预测模型的训练数据集合测试数据，并根据所述gbdt预测模型进行serverless资源分配；
6、其中，所述第一约束条件为不同serverless服务类型下的多行数据中运行时间最小；所述第二约束条件为预先构建的训练模型gbdt_model.m。
7、在一个实施例中，所述获取serverless服务资源的多个预分配参数范围和默认值，以生成基于运行时间的第一约束数据的步骤包括，获取serverless服务资源的多个预分配参数范围和默认值，通过配置参数产生器为每个配置参数在预设的范围内随机生成一个值以生成配置参数；根据面向多个serverless服务中预先设置的不同大小的测试数据匹配出的运行时间，生成运行成功的基于运行时间的第一约束数据。
8、在一个实施例中，所述解析所述第一约束数据以提取出满足第一约束条件的第二约束数据的步骤包括，解析所述第一约束数据得到面向服务serverless的服务类型、需要处理的数据大小、配置参数和运行时间大小，提取出满足所述第一约束条件的第二约束数据。
9、在一个实施例中，对所述第二约束数据进行预处理的过程包括将由所述第二约束数据构成的数据集进行预配置，将数据集里的表格数据中取值为true的赋值为1，取值为false的赋值为0；spark配置参数spark.io.compression.codec取值范围为“snappy”、“lzf”、“lz4”，其中取值为“snappy”的赋值为1，取值为“lzf”的赋值为2，取值为“lz4”的赋值为3；配置参数spark.serializer取值设置为两种类型的字符，对表格里面所有取值为第一个字符的赋值为1，所有取值为第二个字符的赋值为2。
10、在一个实施例中，生成满足第二约束条件的基于gbdt预测模型的训练数据集合测试数据的步骤还包括使用pandas函数read_csv()读取出保存在数据集中将第二约束数据预处理后的的数据，生成训练集和测试集训练gbdt预测模型。
11、在一个实施例中，所述资源分配方法应用于云操作系统。
12、在一个实施例中，所述服务类型包括设置为数字1-7分别对应sort、wordcount、aggregation、join、scan、kmeans、gbt。
13、第二方面，本专利技术提供了一种基于gbdt预测模型的serverless资源分配装置，所述装置包括：
14、生成模块，用于获取serverless服务资源的多个预分配参数范围和默认值，以生成基于运行时间的第一约束数据；
15、提取模块，用于解析所述第一约束数据以提取出满足第一约束条件的第二约束数据；
16、处理模块，用于对所述第二约束数据进行预处理，生成满足第二约束条件的基于gbdt预测模型的训练数据集合测试数据，并根据所述gbdt预测模型进行serverless资源分配；
17、其中，所述第一约束条件为不同serverless服务类型下的多行数据中运行时间最小；所述第二约束条件为预先构建的训练模型gbdt_model.m。
18、第三方面，本专利技术提供一种电子设备，包括处理器和存储有计算机程序的存储器，其特征在于，所述处理器执行所述计算机程序时实现如第一方面所述的serverless服务资源分配方法的步骤。
19、第四方面，本专利技术提供一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如第一方面所述的serverless服务资源分配方法的步骤。
20、本专利技术是对云计算环境下面向serverless服务资源需求的优化的研究，借助机器学习回归算法的预测能力来对资源配置进行预测是最常用的策略，本文也选择使用机器学习来对资源需求进行预测，进而管理资源配置。获取serverless服务资源的多个预分配参数范围和默认值，以生成基于运行时间的第一约束数据；解析所述第一约束数据以提取出满足第一约束条件的第二约束数据；对所述第二约束数据进行预处理，生成满足第二约束条件的基于gbdt预测模型的训练数据集合测试数据，并根据所述gbdt预测模型进行serverless资源分配，本专利技术通过设计实验获取到数据，并对数据进行分析和处理，然后设计了面向se本文档来自技高网...
【技术保护点】
1.基于GBDT预测模型的Serverless资源分配方法，其特征在于，所述方法包括：
2.根据权利要求1所述的资源分配方法，其特征在于，所述获取Serverless服务资源的多个预分配参数范围和默认值，以生成基于运行时间的第一约束数据的步骤包括，获取Serverless服务资源的多个预分配参数范围和默认值，通过配置参数产生器为每个配置参数在预设的范围内随机生成一个值以生成配置参数；根据面向多个Serverless服务中预先设置的不同大小的测试数据匹配出的运行时间，生成运行成功的基于运行时间的第一约束数据。
3.根据权利要求2所述的资源分配方法，其特征在于，所述解析所述第一约束数据以提取出满足第一约束条件的第二约束数据的步骤包括，解析所述第一约束数据得到面向服务Serverless的服务类型、需要处理的数据大小、配置参数和运行时间大小，提取出满足所述第一约束条件的第二约束数据。
4.根据权利要求3所述的资源分配方法，其特征在于，对所述第二约束数据进行预处理的过程包括将由所述第二约束数据构成的数据集进行预配置，将数据集里的表格数据中取值为True
5.根据权利要求4所述的资源分配方法，其特征在于，生成满足第二约束条件的基于GBDT预测模型的训练数据集合测试数据的步骤还包括使用pandas函数read_csv()读取出保存在数据集中将第二约束数据预处理后的的数据，生成训练集和测试集训练GBDT预测模型。
6.根据权利要求5所述的资源分配方法，其特征在于，所述资源分配方法应用于云操作系统。
7.根据权利要求5所述的资源分配方法，其特征在于，所述服务类型包括设置为数字1-7分别对应sort、wordcount、aggregation、join、scan、kmeans、gbt。
8.基于GBDT预测模型的Serverless资源分配装置，其特征在于，所述装置包括：
9.一种电子设备，包括处理器和存储有计算机程序的存储器，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的Serverless服务资源分配方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的Serverless服务资源分配方法的步骤。
...【技术特征摘要】
1.基于gbdt预测模型的serverless资源分配方法，其特征在于，所述方法包括：
2.根据权利要求1所述的资源分配方法，其特征在于，所述获取serverless服务资源的多个预分配参数范围和默认值，以生成基于运行时间的第一约束数据的步骤包括，获取serverless服务资源的多个预分配参数范围和默认值，通过配置参数产生器为每个配置参数在预设的范围内随机生成一个值以生成配置参数；根据面向多个serverless服务中预先设置的不同大小的测试数据匹配出的运行时间，生成运行成功的基于运行时间的第一约束数据。
3.根据权利要求2所述的资源分配方法，其特征在于，所述解析所述第一约束数据以提取出满足第一约束条件的第二约束数据的步骤包括，解析所述第一约束数据得到面向服务serverless的服务类型、需要处理的数据大小、配置参数和运行时间大小，提取出满足所述第一约束条件的第二约束数据。
4.根据权利要求3所述的资源分配方法，其特征在于，对所述第二约束数据进行预处理的过程包括将由所述第二约束数据构成的数据集进行预配置，将数据集里的表格数据中取值为true的赋值为1，取值为false的赋值为0；spark配置参数spark.io.compression.codec取值范围为“snappy”、“lzf”、“lz4”，其中取值为“snappy”的赋值为1，取值为“lzf”的赋值为...
【专利技术属性】
技术研发人员：马新强，陈雪岩，蒋威，何东旭，吴苶，
申请(专利权)人：华工科技产业股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。