【技术实现步骤摘要】
本申请涉及资源调度领域,尤其涉及一种资源调度方法及装置。
技术介绍
1、在大模型应用在系统中运行的过程中,其通常会占用系统较多的内存、显存或其他相关的计算资源,当应用该大模型的系统上同时运行了其他应用,则可能出现由于资源分配不合理而导致其他应用运行出现异常或低效的情况。
技术实现思路
1、有鉴于此,本申请提供一种资源调度方法及装置,其具体方案如下:
2、一种资源调度方法,包括:
3、至少根据获取到系统中目标应用的运行动态信息,确定系统对应的调度模式;所述目标应用的运行动态信息至少包括所述目标应用的运行信息以及资源占用信息中的一种,所述调度模式表征目标模型对系统中多种类型资源的占用策略;
4、基于所述调度模式调整系统中运行的至少一个目标模型对系统中至少一种类型资源的占用,以使运行所述目标应用所需的对应类型资源能够调整。
5、进一步的,所述至少根据获取到系统中目标应用的运行动态信息,确定系统对应的调度模式,包括:
6、如果当前处于第一
...【技术保护点】
1.一种资源调度方法,包括:
2.根据权利要求1所述的方法,所述至少根据获取到系统中目标应用的运行动态信息,确定系统对应的调度模式,包括:
3.根据权利要求1所述的方法,所述至少根据获取到系统中目标应用的运行动态信息,确定系统对应的调度模式,包括:
4.根据权利要求1所述的方法,所述至少根据获取到系统中目标应用的运行动态信息,确定系统对应的调度模式,还包括:
5.根据权利要求4所述的方法,所述根据获取到系统中目标应用的运行动态信息以及用户意图,确定系统对应的调度模式,包括:
6.根据权利要求1或5所述的方法,
...【技术特征摘要】
1.一种资源调度方法,包括:
2.根据权利要求1所述的方法,所述至少根据获取到系统中目标应用的运行动态信息,确定系统对应的调度模式,包括:
3.根据权利要求1所述的方法,所述至少根据获取到系统中目标应用的运行动态信息,确定系统对应的调度模式,包括:
4.根据权利要求1所述的方法,所述至少根据获取到系统中目标应用的运行动态信息,确定系统对应的调度模式,还包括:
5.根据权利要求4所述的方法,所述根据获取到系统中目标应用的运行动态信息以及用户意图,确定系统对应的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。