【技术实现步骤摘要】
本专利技术涉及数据处理技术，尤其涉及一种多租户无服务器平台资源管理方法及系统。
技术介绍
1、随着云计算技术的发展，无服务器计算(serverless computing)作为一种新兴的云计算模式，正在受到越来越多的关注。无服务器计算允许用户专注于应用程序的开发，而无需关注底层基础设施的管理和维护。在无服务器平台中，函数即服务(function-as-a-service， faas)是最主要的服务形式，用户以函数为单位编写和部署应用程序，平台根据函数的实际执行情况自动进行资源分配和伸缩。然而，现有的无服务器平台在多租户环境下的资源管理方面仍然存在一些挑战。首先，多个租户共享无服务器平台的计算资源，需要确保不同租户之间的资源隔离，防止互相干扰。同时，要公平合理地分配资源，避免某些租户占用过多资源而影响其他租户的服务质量。其次无服务器平台需要根据函数的实际执行情况，动态调整资源分配。当函数请求增加时，要及时扩容资源以满足性能需求；当函数请求减少时，要及时缩容资源以节约成本。然而，准确预测资源需求并及时调整资源分配仍然是一个挑战。并且无服务器平台通常采用按需启动的方式，在函数首次被调用或闲置一段时间后再次被调用时，需要重新启动运行环境，导致较长的启动延迟，即冷启动问题。如何最小化冷启动对函数执行性能的影响，是当前无服务器平台面临的一个挑战。
2、现有的无服务器平台，如aws lambda、google cloud functions等，虽然在自动伸缩和按需计费方面取得了一定进展，但在多租户环境下的资源隔离与公平性、动态伸缩
技术实现思路
1、本专利技术实施例提供一种多租户无服务器平台资源管理方法及系统，能够解决现有技术中的问题。
2、本专利技术实施例的第一方面，
3、提供一种多租户无服务器平台资源管理方法，包括：
4、根据多租户无服务器平台系统模型，定义函数亲和度概念，通过函数间调用频次和数据传输量构建函数亲和度矩阵，刻画工作流中函数间调用依赖关系，同时利用预先训练的时间预测模型对函数执行时间进行预测，得到函数执行时间的预测结果；
5、基于构建的函数亲和度矩阵和函数执行时间的预测结果构建函数间加权关系图，并对函数间加权关系图进行划分，同时引入均衡因子限制单台服务器上的函数实例数量和资源需求总量，将函数分配到不同服务器，得到第一阶段调度结果；
6、针对第一阶段调度结果，在每个服务器上独立维护函数实例队列，根据函数实例队列自身的性能指标和资源利用情况，动态调整函数实例队列的调度参数，同时引入资源效用度量指标，在满足细粒度资源隔离机制的前提下，利用自适应控制算法动态调整资源分配，得到最优的资源分配方案。
7、在一种可选的实施例中，
8、利用预先训练的时间预测模型对函数执行时间进行预测，得到函数执行时间的预测结果之后还包括：
9、在函数执行过程中，实时记录函数实际执行时间，与函数执行时间的预测结果进行比较，计算预测误差数据；
10、根据预测误差数据进行预测偏差分析，识别出预测误差大、波动频繁的函数类型和执行模式，输出预测偏差分析结果；
11、根据预测偏差分析结果，使用在线学习算法动态调整时间预测模型的参数，针对不同函数类型和执行模式，设计多种预测纠正策略，根据函数特点和系统状态，自适应选择最优纠正策略。
12、在一种可选的实施例中，
13、对函数间加权关系图进行划分包括：
14、将函数间加权关系图的划分过程划分为负载均衡优化阶段、通信优化阶段和关键路径优化阶段；
15、在所述负载均衡优化阶段，构建均衡偏差的二次型目标函数，引入均衡容忍度约束子图规模上限，采用启发式算法求解负载均衡划分方案，得到初步的均衡划分结果；
16、将得到的初步的均衡划分结果作为通信优化阶段的初始解，在所述通信优化阶段，构建基于图割的通信代价目标函数，引入延迟容忍度约束关键路径长度，利用局部搜索算法在保持负载均衡前提下对初始解进行优化，降低通信代价，得到低通信划分结果；
17、基于得到的低通信划分结果，在所述关键路径优化阶段，提取关键路径长度作为优化目标，集合负载均衡和通信代价约束，利用关键路径调度算法对低通信划分结果进行调整，得到关键路径优化划分结果；
18、将关键路径优化划分结果作为下一轮负载均衡优化的输入，重复执行划分结果优化步骤，直至满足预设的收敛条件，输出最终的函数间加权关系图划分结果。
19、在一种可选的实施例中，
20、动态调整函数实例队列的调度参数包括：
21、将函数实例队列的性能指标、资源利用情况以及当前的调度参数值作为强化学习的状态空间，将所有可调节的调度参数的取值范围划分为离散的等级，形成强化学习的动作空间；
22、根据调度参数动态调整的多目标，构建多目标奖励函数，所述多目标奖励函数可以包括降低平均响应时间、提高吞吐量、降低错误率；
23、基于所设计的状态空间、动作空间和奖励函数，采用深度强化学习模型对调度参数的动态调整问题进行建模，并通过策略梯度算法更新深度强化学习模型的参数，利用更新后的深度强化学习模型，输出最终的目标调度参数调整策略，利用目标调度参数调整策略动态调整函数实例队列的调度参数。
24、在一种可选的实施例中，
25、通过策略梯度算法更新深度强化学习模型的参数的计算公式如下：
26、；
27、其中，θ*表示更新后的策略参数，θ表示策略参数，α表示学习率，n表示采样轨迹数，i表示采样轨迹索引，t表示采用轨迹长度，t表示当前时间步，表示对θ的梯度操作，π(·)表示条件概率分布，at表示动作，st表示当前状态，t'表示当前时间步的下一个时间步，γ表示折扣因子，r(·)表示奖励，st'表示在当前时间步的下一个时间步时所处的状态，at'表示在当前时间步的下一个时间步时所处的状态对应的动作。
28、在一种可选的实施例中，
29、利用自适应控制算法动态调整资源分配，得到最优的资源分配方案包括：
30、采集系统的资源利用率数据，所述资源利用率数据包括cpu利用率、内存利用率和磁盘i/o利用率；
31、对采集到的资源利用率数据进行预处理和特征提取，得到标准利用率数据，将标准利用率数据输入至预先训练的资源预测模型中，得到预设时间内资源利用率的预测结果；
32、采用异常检测算法对资源利用率数据进行实时分析，当检测到异常情况时，触发资源分配的动态调整，并根据分析结果与预设的异常阈值进行比较，得到资源分配的异常信息；
33、基于预设时间内资源利用率的预测结果和资源分配的异常信息构建目标函数，通过最本文档来自技高网...
【技术保护点】
1.一种多租户无服务器平台资源管理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，利用预先训练的时间预测模型对函数执行时间进行预测，得到函数执行时间的预测结果之后还包括：
3.根据权利要求1所述的方法，其特征在于，对函数间加权关系图进行划分包括：
4.根据权利要求1所述的方法，其特征在于，动态调整函数实例队列的调度参数包括：
5.根据权利要求4所述的方法，其特征在于，通过策略梯度算法更新深度强化学习模型的参数的计算公式如下：
6.根据权利要求1所述的方法，其特征在于，利用自适应控制算法动态调整资源分配，得到最优的资源分配方案包括：
7.根据权利要求6所述的方法，其特征在于，所述目标函数的计算公式如下：
8.一种多租户无服务器平台资源管理系统，用于实现前述权利要求1-7中任一项所述的方法，其特征在于，包括：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求
...【技术特征摘要】
1.一种多租户无服务器平台资源管理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，利用预先训练的时间预测模型对函数执行时间进行预测，得到函数执行时间的预测结果之后还包括：
3.根据权利要求1所述的方法，其特征在于，对函数间加权关系图进行划分包括：
4.根据权利要求1所述的方法，其特征在于，动态调整函数实例队列的调度参数包括：
5.根据权利要求4所述的方法，其特征在于，通过策略梯度算法更新深度强化学习模型的参数的计算公式如下：
6...
【专利技术属性】
技术研发人员：徐杭，蒙婕，陈钢，任军，
申请(专利权)人：北京蜂窝科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。