一种资源调度方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及了一种资源调度方法、装置、设备及存储介质，该方法包括：S1：从资源请求队列中获取待调度的第一资源请求，并获取执行第一资源请求对应的第一任务所需的第一资源量；S2：获取用于执行资源请求队列中的任务的节点集合，并获取节点集合中各个节点的资源快照，S3：根据第一资源量和资源快照，确定可最早执行第一任务的第一节点；S4：将第一节点从节点集合中移除；按照S1

【技术实现步骤摘要】
一种资源调度方法、装置、设备及存储介质


[0001]本专利技术涉及计算机
，尤其涉及一种资源调度方法、装置、设备及存储介质。

技术介绍

[0002]云平台上的资源调度中，针对每一个任务的资源需求，考虑整个云平台的资源使用情况，安排具体的运行节点执行任务。
[0003]在实际的业务场景中，不同的任务是有不同优先度的，往往需要优先满足更重要的任务请求。目前，针对拥有不同优先度的任务，有以下两种资源调度方案：第一种，阻塞其他的任务资源请求，只考虑高优先度的任务，直到高优先度的任务资源请求得到满足。第二种，划分不同的资源池，保留部分资源给高优先度的任务。
[0004]这两种方案虽然能优先满足高优先度任务的资源请求，但是会降低整体的资源利用率以及调度效率。

技术实现思路

[0005]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术第一方面提出一种资源调度方法，所述方法包括：
[0006]S1：从资源请求队列中获取待调度的第一资源请求，并获取执行所述第一资源请求对应的第一任务所需的第一资源量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种资源调度方法，其特征在于，所述方法包括：S1：从资源请求队列中获取待调度的第一资源请求，并获取执行所述第一资源请求对应的第一任务所需的第一资源量；所述第一任务为所述资源请求队列中当前优先级最高的任务；S2：获取用于执行所述资源请求队列中的任务的节点集合，并获取所述节点集合中各个节点的资源快照，所述资源快照包括所述节点的可用资源量和所述节点的当前任务的预估运行时间；S3：根据所述第一资源量和所述资源快照，确定可最早执行所述第一任务的第一节点；S4：将所述第一节点从所述节点集合中移除；S5：按照S1
‑
S4的方法处理所述资源请求队列中的下一个资源请求，直到所述资源请求队列为空。2.根据权利要求1所述的方法，其特征在于，步骤S3包括：S31：根据所述第一资源量、所述节点的可用资源量和所述节点的当前任务的预估运行时间，确定可在当前时刻执行所述第一任务的节点，得到第一候选节点集合；S32：若所述第一候选节点集合中包括多个第一候选节点，则按照预设评价参数确定所述多个第一候选节点的评分；S33：选取所述评分最高的节点作为第一节点；S34：若所述第一候选节点集合为空，则确定在所述当前时刻以后可最早执行所述第一任务的节点，并将所述节点作为第一节点。3.根据权利要求2所述的方法，其特征在于，所述预设评价参数包括所述第一候选节点的网络拓扑情况和资源健康情况，以及所述第一候选节点执行所述第一任务后的空闲资源情况。4.根据权利要求2所述的方法，其特征在于，步骤S34包括：S341：对所述节点包括的当前任务按照所述预估运行时间的升序进行排序，得到所述节点对应的目标任务队列；S342：从所述目标任务队列中的第一个任务开始，确定各个任务执行完成后释放的可用资源量；S343：计算所述释放的可用资源量和所述节点的可用资源量的和，得到各个任务执行完成后所述节点的总可用资源量；S344：根据所述各个任务执行完成后对应的可用资源量和所述第一资源量，确定所述节点可最早执行所述第一任务的目标时刻；S345：根据各个节点对应的所述目标时刻，确定可最早执行所述第一任务的节点，得到第一节点。5.根据权利要求1所述的方法，其特征在于，所述步骤S2中的当前任务的预估运行时间通过以下步骤S21
‑
步骤S22得到：S21、获取所述当前任务的特征信息；所述特征信息包括所述当前任务的任务类型、任务名称、所述任务的关联人、所述任务占用资源量、所述任务的执行命令；S22、将所述特征信息输入预先训练的目标预测模型，得到所述当前任务的预估运行时间。
6.根据权利要求5所述的方法，其特征在于，所述步骤S22中的目标预测模型通过以下步骤S221
‑
步骤S223训练得到：S221、获取样本数据，所述样本数据包括执行完毕的历史任务的所述特征信息，以及所述历史任务的真实运行时间；S222、将所述历史任务的特征信息输入初始模型，得到所述初始模型输出的预测运行时间；S223、根据所述预测运行时间和所述真实运行时间之间的差值调整所述初始模型的参数，并继续训练所述初始模型，直到所述差值小于预设阈值时，结束所述训练，得到目标预测模型。7.根据权利要求6所述的方法，其特征在于，当所述步骤S221中的历史任务为深度学习任务时，所述历史任务的特征信息还包括：用于执行所述深度学习任务的模型的特征、所述模型的训练步数、平均每一步耗时。8.一种资源调度装置，其特征在于，所述装置包括：第一获取模块，用于从资源请求队列中获取待调度的第一资源请求，并获取执行所述第一资源请求对应的第一任务所需的第一资源量；所述第一任务为所述资源请求队列中当前优先级最高的任务；第二获取模块，用于获取用于执行所述资源请求队列中...

【专利技术属性】
技术研发人员：黎伟杰，彭绍东，陈飞，韩旭，
申请(专利权)人：广州文远知行科技有限公司，
类型：发明
国别省市：