【技术实现步骤摘要】
本申请涉及资源调度领域，尤其涉及一种资源调度方法及装置。
技术介绍
1、在大模型应用在系统中运行的过程中，其通常会占用系统较多的内存、显存或其他相关的计算资源，当应用该大模型的系统上同时运行了其他应用，则可能出现由于资源分配不合理而导致其他应用运行出现异常或低效的情况。
技术实现思路
1、有鉴于此，本申请提供一种资源调度方法及装置，其具体方案如下：
2、一种资源调度方法，包括：
3、至少根据获取到系统中目标应用的运行动态信息，确定系统对应的调度模式；所述目标应用的运行动态信息至少包括所述目标应用的运行信息以及资源占用信息中的一种，所述调度模式表征目标模型对系统中多种类型资源的占用策略；
4、基于所述调度模式调整系统中运行的至少一个目标模型对系统中至少一种类型资源的占用，以使运行所述目标应用所需的对应类型资源能够调整。
5、进一步的，所述至少根据获取到系统中目标应用的运行动态信息，确定系统对应的调度模式，包括：
6、如果当前处于第一调整策略，响应于获取到系统中目标应用的资源占用信息，确定所述目标应用占用的至少一种类型资源是否满足运行需求；
7、如果确定所述目标应用占用的至少一种类型资源不满足所述运行需求，基于所述运行需求确定所述系统对应的调度模式。
8、进一步的，所述至少根据获取到系统中目标应用的运行动态信息，确定系统对应的调度模式，包括：
9、如果当前处于第二调整策略，响应于获取到系统中
10、确定所述历史记录中与所述目标应用对应的调度模式为所述系统对应的调度模式。
11、进一步的，所述至少根据获取到系统中目标应用的运行动态信息，确定系统对应的调度模式，还包括：
12、根据获取到系统中目标应用的运行动态信息以及用户意图，确定系统对应的调度模式；所述用户意图基于用户与所述目标模型的交互信息确定；
13、其中，所述调度模式至少包括：高性能模式、节能模式、对话优先模式、文档优先模式及资源有限模式中的一种，其中，在所述高性能模式下，所述目标模型对系统中至少一种类型资源的占用，大于所述对话优先模式下的占用；在所述对话优先模式下，所述目标模型对系统中至少一种类型资源的占用，大于所述文档优先模式下的占用；在所述文档优先模式下，所述目标模型对系统中至少一种类型资源的占用，大于所述节能模式下的占用；在所述资源有限模式下，所述目标模型对系统中至少一种类型资源的占用取决于限制参数。
14、进一步的，所述根据获取到系统中目标应用的运行动态信息以及用户意图，确定系统对应的调度模式，包括：
15、在所述用户意图为对话意图的情况下，如果确定所述目标应用占用的至少一种类型资源不满足运行需求，至少确定系统对应的调度模式为高性能模式或对话优先模式或资源有限模式；
16、在所述用户意图为文档操作意图的情况下，如果确定所述目标应用占用的至少一种类型资源不满足运行需求，至少确定系统对应的调度模式为文档优先模式或资源有限模式或节能模式；
17、在所述用户意图为无意图的情况下，如果确定所述目标应用占用的至少一种类型资源不满足运行需求，至少确定系统对应的调度模式为节能模式。
18、进一步的，所述基于所述调度模式调整系统中运行的至少一个目标模型对系统中至少一种类型资源的占用，包括：
19、基于所述调度模式确定运行至少一个所述目标模型所需的至少一种类型资源的占用信息，所述占用信息包括是否占用所述至少一种类型资源以及资源占用大小；
20、基于所述占用信息调整所述至少一个目标模型对所述至少一种类型资源的占用。
21、进一步的，所述基于所述占用信息调整所述至少一个目标模型对所述至少一种类型资源的占用，包括：
22、基于所述占用信息，将所述至少一个目标模型的至少一个特定网络层由对系统的第一类型资源占用调整为对系统的第二类型资源占用；
23、或，基于所述占用信息，将所述至少一个目标模型的至少一个特定网络层对系统的第一类型资源占用进行释放。
24、进一步的，还包括：
25、根据获取到系统中所述目标应用的消极运行信息，基于目标调度模式调整系统中运行的至少一个目标模型对系统中至少一种类型资源的占用；
26、其中，所述消极运行信息至少包括所述目标应用停止运行和所述目标应用的优先级降低中的一种。
27、进一步的，所述基于所述调度模式调整系统中运行的至少一个目标模型对系统中至少一种类型资源的占用，包括：
28、基于所述调度模式调整系统中运行的至少一个目标模型对系统中至少一种类型资源的占用；
29、比较调整后的所述至少一个目标模型对系统中至少一种类型资源的占用与所述调度模式对应的资源的占用信息是否匹配；
30、如果确定不匹配，基于所述调度模式对所述调整后的所述至少一个目标模型对系统中至少一种类型资源的占用继续调整，直至确定匹配。
31、一种资源调度装置，包括：
32、监督模块，用于获取系统中目标应用的运行动态信息，所述目标应用的运行动态信息至少包括所述目标应用的运行信息以及资源占用信息的一种；
33、决策模块，用于至少根据获取到系统中目标应用的运行动态信息，确定系统对应的调度模式，所述调度模式表征目标模型对系统中多种类型资源的占用策略；
34、执行模块，用于基于所述调度模式调整系统中运行的至少一个目标模型对系统中至少一种类型资源的占用，以使运行所述目标应用所需的对应类型资源能够调整。
本文档来自技高网...【技术保护点】
1.一种资源调度方法，包括：
2.根据权利要求1所述的方法，所述至少根据获取到系统中目标应用的运行动态信息，确定系统对应的调度模式，包括：
3.根据权利要求1所述的方法，所述至少根据获取到系统中目标应用的运行动态信息，确定系统对应的调度模式，包括：
4.根据权利要求1所述的方法，所述至少根据获取到系统中目标应用的运行动态信息，确定系统对应的调度模式，还包括：
5.根据权利要求4所述的方法，所述根据获取到系统中目标应用的运行动态信息以及用户意图，确定系统对应的调度模式，包括：
6.根据权利要求1或5所述的方法，所述基于所述调度模式调整系统中运行的至少一个目标模型对系统中至少一种类型资源的占用，包括：
7.根据权利要求6所述的方法，所述基于所述占用信息调整所述至少一个目标模型对所述至少一种类型资源的占用，包括：
8.根据权利要求1所述的方法，还包括：
9.根据权利要求1所述的方法，所述基于所述调度模式调整系统中运行的至少一个目标模型对系统中至少一种类型资源的占用，包括：
10.
...【技术特征摘要】
1.一种资源调度方法，包括：
2.根据权利要求1所述的方法，所述至少根据获取到系统中目标应用的运行动态信息，确定系统对应的调度模式，包括：
3.根据权利要求1所述的方法，所述至少根据获取到系统中目标应用的运行动态信息，确定系统对应的调度模式，包括：
4.根据权利要求1所述的方法，所述至少根据获取到系统中目标应用的运行动态信息，确定系统对应的调度模式，还包括：
5.根据权利要求4所述的方法，所述根据获取到系统中目标应用的运行动态信息以及用户意图，确定系统对应的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。