资源处理方法技术

本申请提供一种资源处理方法

【技术实现步骤摘要】
资源处理方法、装置、服务器及存储介质


[0001]本申请涉及数据处理领域，尤其涉及一种资源处理方法
、
装置
、
服务器及存储介质
。

技术介绍

[0002]目前，随着大数据时代的不断发展，金融科技领域的数据往往呈现出规模数量大
、
约束条件多
、
请求分布不均等特点
。
与此同时，考量到高性能批量计算需求的增加，且高性能计算环境下通常需要处理超大规模并行计算任务，难以平衡作业高峰和低谷的调度资源
。
[0003]现有技术中，大数据服务平台的批量计算能力多以统一调度为主，且统一调度服务中的作业调度策略是基于静态的指标和预设优先级，以完成对排队作业的调度资源分配
。
[0004]但是，高性能计算环境下通常需要处理超大规模并行计算任务，大数据服务平台的应用侧提交的作业数量在不同时段各不相同，某个时间段可能会出现排队的作业数量较多，造成计算资源紧缺而无法满足作业资源分配的需求；某个时段又会出现运行的作业数量较少而造成计算资源闲置，导致难以灵活地在不同时间段为不同作业分配合理的调度资源
。

技术实现思路

[0005]本申请提供一种资源处理方法
、
装置
、
服务器及存储介质，用以解决作业高峰和低谷时资源调度不均的技术问题
。
[0006]第一方面，本申请提供一种资源处理方法，包括：
[0007]获取多个作业请求；其中，每一作业请求对应一个作业标识；并将与每一作业标识对应的作业加入调度资源等待队列；所述调度资源等待队列对应有待调度的集群资源；
[0008]若确定所述待调度的集群资源不满足所述调度资源等待队列中的作业的调度需求，则通过预设的高响应比优先调度算法
HRRN
，对所述调度资源等待队列中的预设数量的作业进行资源计算，确定所述预设数量的作业中每一作业的优先级；并通过预设的
K
最邻近分类算法
KNN
模型，对所述调度资源等待队列中的剩余数量的作业进行资源预测，确定所述剩余数量的作业中每一作业的优先级；其中，所述预设的
K
最邻近分类算法
KNN
模型是根据历史作业数据训练得到的；
[0009]根据所述预设数量的作业中每一作业的优先级
、
所述剩余数量的作业中每一作业的优先级，生成优先级列表；并根据所述优先级列表，依次对所述优先级列表中每一优先级对应的作业进行资源调度
。
[0010]第二方面，本申请提供一种资源处理装置，包括：
[0011]获取模块，用于获取多个作业请求；其中，每一作业请求对应一个作业标识；并将与每一作业标识对应的作业加入调度资源等待队列；所述调度资源等待队列对应有待调度
的集群资源；
[0012]计算模块，用于若确定所述待调度的集群资源不满足所述调度资源等待队列中的作业的调度需求，则通过预设的高响应比优先调度算法
HRRN
，对所述调度资源等待队列中的预设数量的作业进行资源计算，确定所述预设数量的作业中每一作业的优先级；
[0013]预测模块，用于通过预设的
K
最邻近分类算法
KNN
模型，对所述调度资源等待队列中的剩余数量的作业进行资源预测，确定所述剩余数量的作业中每一作业的优先级；其中，所述预设的
K
最邻近分类算法
KNN
模型是根据历史作业数据训练得到的；
[0014]生成模块，用于根据所述预设数量的作业中每一作业的优先级
、
所述剩余数量的作业中每一作业的优先级，生成优先级列表；
[0015]调度模块，用于根据所述优先级列表，依次对所述优先级列表中每一优先级对应的作业进行资源调度
。
[0016]第三方面，本申请提供一种服务器，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面所述的方法
。
[0017]第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面所述的方法
。
[0018]本申请提供的一种资源处理方法
、
装置
、
服务器及存储介质，获取多个作业请求；其中，每一作业请求对应一个作业标识；并将与每一作业标识对应的作业加入调度资源等待队列；调度资源等待队列对应有待调度的集群资源
。
若确定待调度的集群资源不满足调度资源等待队列中的作业的调度需求，则通过预设的高响应比优先调度算法
HRRN
，对调度资源等待队列中的预设数量的作业进行资源计算，确定预设数量的作业中每一作业的优先级；并通过预设的
K
最邻近分类算法
KNN
模型，对调度资源等待队列中的剩余数量的作业进行资源预测，确定剩余数量的作业中每一作业的优先级；其中，预设的
K
最邻近分类算法
KNN
模型是根据历史作业数据训练得到的
。
根据预设数量的作业中每一作业的优先级
、
剩余数量的作业中每一作业的优先级，生成优先级列表；并根据优先级列表，依次对优先级列表中每一优先级对应的作业进行资源调度
。
本方案中，判断待调度的集群资源是否满足调度资源等待队列中的作业的调度需求，若确定待调度的集群资源不满足调度资源等待队列中的作业的调度需求，则首先通过高响应比优先调度算法
HRRN
对调度资源等待队列中的剩余数量的作业进行资源预测，确定剩余数量的作业中每一作业的优先级
。
并通过预设的
K
最邻近分类算法
KNN
模型，对调度资源等待队列中的剩余数量的作业进行资源预测，确定剩余数量的作业中每一作业的优先级
。
根据确定的作业的优先级，动态确定优先级列表，并根据优先级列表依次对作业分配资源
。
因此，通过高响应比优先调度算法
HRRN
确定作业的优先级，并通过利用机器学习算法
(KNN
算法
)
来预测作业的优先级，能够更准确地
、
高效地确定某作业的优先级以实现优先级的动态更新调整，最小化平均等待时间，以达到更优利用
CPU
资源，进而提高系统的响应度和效率的目的，可以在提高系统性能的同时，有效避免作业任务饥饿和调度资源分配不公平的问题，解决了业高峰和低谷时资源调度不均的技术问题
。
附图说明
[0019]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理...

【技术保护点】

【技术特征摘要】
1.
一种资源处理方法，其特征在于，包括：获取多个作业请求；其中，每一作业请求对应一个作业标识；并将与每一作业标识对应的作业加入调度资源等待队列；所述调度资源等待队列对应有待调度的集群资源；若确定所述待调度的集群资源不满足所述调度资源等待队列中的作业的调度需求，则通过预设的高响应比优先调度算法
HRRN
，对所述调度资源等待队列中的预设数量的作业进行资源计算，确定所述预设数量的作业中每一作业的优先级；并通过预设的
K
最邻近分类算法
KNN
模型，对所述调度资源等待队列中的剩余数量的作业进行资源预测，确定所述剩余数量的作业中每一作业的优先级；其中，所述预设的
K
最邻近分类算法
KNN
模型是根据历史作业数据训练得到的；根据所述预设数量的作业中每一作业的优先级
、
所述剩余数量的作业中每一作业的优先级，生成优先级列表；并根据所述优先级列表，依次对所述优先级列表中每一优先级对应的作业进行资源调度
。2.
根据权利要求1所述的方法，其特征在于，所述通过预设的高响应比优先调度算法
HRRN
，对所述调度资源等待队列中的预设数量的作业进行资源计算，确定所述预设数量的作业中每一作业的优先级，包括：通过预设的高响应比优先调度算法
HRRN
，对所述调度资源等待队列中的预设数量的作业进行资源计算，确定所述预设数量的作业中每一作业的响应比；其中，所述响应比包括作业的等待时间和执行时间；根据所述等待时间和执行时间，确定所述作业的优先级
。3.
根据权利要求2所述的方法，其特征在于，所述通过预设的高响应比优先调度算法
HRRN
，对所述调度资源等待队列中的预设数量的作业进行资源计算，确定所述预设数量的作业中每一作业的响应比，包括：通过预设的高响应比优先调度算法
HRRN
中的优先调度算法公式，对所述调度资源等待队列中的预设数量的作业进行资源计算，确定所述预设数量的作业中每一作业的响应比
。4.
根据权利要求3所述的方法，其特征在于，所述根据所述等待时间和执行时间，确定所述作业的优先级，包括：基于预设的双曲正切函数公式
、
所述等待时间和执行时间，确定所述作业的优先级；所述预设的双曲正切函数公式如下：其中，
Priority
i
表示第
i
个作业的优先级，
RR
i
表示作业的响应比，
‑
RR
i
表示所述作业的响应比的倒数
。5.
根据权利要求1所述的方法，其特征在于，所述通过预设的
K
最邻近分类算法
KNN
模型，对所述调度资源等待队列中的剩余数量的作业进行资源预测，确定所述剩余数量的作业中每一作业的优先级，包括：获取所述调度资源等待队列中的剩余数量的作业的特征向量；通过预设的
K
最邻近分类算法
KNN
模型，对所述作业的特征向量进行资源预测，确定所述剩余数量的作业中每一作业的优先级
...

【专利技术属性】
技术研发人员：郝煜佳，姚德亮，严家德，夏麟，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：