基于时延感知的Serverless请求调度装置及系统制造方法及图纸

技术编号:43476114 阅读:17 留言:0更新日期:2024-11-29 16:51
本申请涉及一种基于时延感知的Serverless请求调度装置及系统,该装置包括:第一调度模块将确定出的当前的请求队列队首的用户请求确定为目标用户请求,在确定不存在满足执行条件的执行目标用户请求的目标pod的情况下,向第二调度模块发送pod创建请求;第二调度模块在基于pod创建请求确定新建pod满足节点创建条件的情况下,从多个节点中选择出目标节点并在目标节点中新建pod,以及将新建pod的信息发送至第一调度模块;第一调度模块根据接收到的新建pod的信息纳管新建pod,将新建pod确定为目标pod,并将根据目标用户请求发送至目标pod执行。能够更有效利用节点资源,降低SLO违反比例。

【技术实现步骤摘要】

本申请涉及计算机,尤其涉及一种基于时延感知的serverless请求调度装置及系统。


技术介绍

1、随着近几年云计算产业的发展,越来越多的一线工程师将他们的应用程序部署到serverless平台上,因为serverless可以为业务团队节省大量底层资源的运维开销,开发者可以更加专注业务的代码逻辑,而不需要担心底层资源的复杂配置。

2、伯克利在2019年2月发表的论文中提到,serverless将会是云计算下一个十年的发展方向,近几年越来越多的开源serverless平台开始出现,比如knative,openwhisk等(由于k8s的普及和特性,大部分开源serverless平台都是以k8s(kubernetes)为集群管理底座)。伴随着依附于serverless平台的业务越来越多,这也对serverless平台提出了新的要求和挑战,特别是针对于短时运行的时延敏感型请求(用户请求为同步请求且带有slo目标),相关技术中的serverless平台还不能解决违反slo情况的问题,如何解决这一技术问题,是研究的重中之重。

r/>

技本文档来自技高网...

【技术保护点】

1.一种基于时延感知的Serverless请求调度装置,其特征在于,所述装置包括:第一调度模块和第二调度模块,

2.根据权利要求1所述的装置,其特征在于,所述执行条件为:处理所述目标用户请求的预估时长、网络通信总时长与pod处理完当前任务队列的全部用户请求的总时长之和小于当前距离违反所述目标用户请求的SLO的剩余时长;并且/或者

3.根据权利要求1所述的装置,其特征在于,

4.根据权利要求2所述的装置,其特征在于,

5.根据权利要求4所述的装置,其特征在于,将满足执行条件的pod确定为目标pod,包括:

6.根据权利要求1所述的...

【技术特征摘要】

1.一种基于时延感知的serverless请求调度装置,其特征在于,所述装置包括:第一调度模块和第二调度模块,

2.根据权利要求1所述的装置,其特征在于,所述执行条件为:处理所述目标用户请求的预估时长、网络通信总时长与pod处理完当前任务队列的全部用户请求的总时长之和小于当前距离违反所述目标用户请求的slo的剩余时长;并且/或者

3.根据权利要求1所述的装置,其特征在于,

4.根据权利要求2所述的装置,其特征在于,

5.根据权利要求4所述的装置,其特征在于,将满足执行条件的pod确定为目标pod,包括:

6.根据权利要求1所述的装置,其特征在于,

7.根据权利要求1所述的装置,其特征在于,从多个节点中选择出目标节点并在所述目标节点中新建pod,包括:

8.一种基于时延感知的serverless请求调度系统,其特征在于,包括基于时延感知的serverless请求调度装置和serverless计算资源集群,所述装置包括第一调度模块和第二调度模块,所述serverless计算资源集群包括多个节点,每个节点包括至少一个pod,

9.根据权利要求8所述的系统,其特征在于,所述执行条件为:处理所述目标用户请求的预估时长、网络通信总时长与pod处理完当前任务队列的全部用户请求的总时长之和小于当前距离违反所述目标用户请求的slo的剩余时长;并且/或者

10.根据权利要求8所述的系统,其特征在于,

11.根据权利要求9所述的系统,其特征在于,

12.根据权利要求11所述的系统,其特征在于,将满足执行条件的pod确定为目标pod...

【专利技术属性】
技术研发人员:杨景峰王建峰
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1