资源调度方法、任务处理方法、装置和电子设备制造方法及图纸

技术编号:46513612 阅读:5 留言:0更新日期:2025-09-30 18:43
本申请提出一种资源调度方法、任务处理方法、装置和电子设备,其中,方法包括:获取目标模型服务的创建消息,其中,创建消息携带目标模型服务的创建参数,根据目标模型服务的创建参数,确定对应的资源调度策略,根据资源调度策略,从云边协同系统中的目标边缘云容器集群和至少一个核心云容器集群中确定满足资源需求的目标容器集群,其中,目标容器集群,用于在目标容器集群的资源节点的容器上创建目标模型服务,实现了基于目标模型服务的创建需求,从目标边缘云容器集群和至少一个核心云容器集群中确定满足资源需求的目标容器集群,实现了对云边协同系统下的容器集群资源的调度,提高了模型服务创建所需的资源确定的准确性。

【技术实现步骤摘要】

本申请涉及数据处理,尤其涉及一种资源调度方法、任务处理方法、装置和电子设备


技术介绍

1、随着技术的进步,大模型的发展取得了实质性的进展,由于大模型参数量过大导致的能耗、算力、存储问题限制了大模型在端侧、边缘云落地,从而可将大模型压缩、量化为边缘云可用的小模型,部署在边缘云,而小模型在特定场景下性能相比大模型并不逊色,而且小模型在灵活性和可定制性、能耗和成本等方面的优势更加明显,因此,大模型与相关小模型的协同演进将是未来一段时间内的发展方向。

2、在云边协同系统中,在需要部署模型服务时,如何进行资源的调度以确定部署模型服务的容器集群是需要解决的技术问题。


技术实现思路

1、本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

2、为此,本申请提出一种资源调度方法、任务处理方法、装置和电子设备,实现了对云边协同系统下的容器集群资源的调度,提高了资源调度的准确性。

3、本申请一方面实施例提出了一种资源调度方法,包括:

4、获取目标模型服务的创建消息;其中,所述本文档来自技高网...

【技术保护点】

1.一种资源调度方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,所述创建参数包括资源量和响应时间,所述根据所述目标模型服务的创建参数,确定对应的资源调度策略,包括:

3.如权利要求2所述的方法,其特征在于,所述根据所述资源调度策略,从云边协同系统中的目标边缘云容器集群和至少一个核心云容器集群中确定满足资源需求的目标容器集群,包括:

4.如权利要求3所述的方法,其特征在于,所述方法,还包括:

5.如权利要求1所述的方法,其特征在于,所述创建参数包括资源量和响应时间,所述根据所述目标模型服务的创建参数,确定对应的资源调度策略,...

【技术特征摘要】

1.一种资源调度方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,所述创建参数包括资源量和响应时间,所述根据所述目标模型服务的创建参数,确定对应的资源调度策略,包括:

3.如权利要求2所述的方法,其特征在于,所述根据所述资源调度策略,从云边协同系统中的目标边缘云容器集群和至少一个核心云容器集群中确定满足资源需求的目标容器集群,包括:

4.如权利要求3所述的方法,其特征在于,所述方法,还包括:

5.如权利要求1所述的方法,其特征在于,所述创建参数包括资源量和响应时间,所述根据所述目标模型服务的创建参数,确定对应的资源调度策略,包括:

6.如权利要求5所述的方法,其特征在于,所述方法,还包括:

7.一种任务处理方法,其特征在于,包括:

8.如权利要求7所述的方法,其特征在于,所述根据所述任务转发策略,将所述目标任务处理消息发送至所述目标边缘云容器集群和/或核心云容器集群中对应的模型服务进行处理,包括:

9.如权利要求8所述的方...

【专利技术属性】
技术研发人员:昌易
申请(专利权)人:北京小米移动软件有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1