集群队列资源的调度方法、装置、设备及存储介质制造方法及图纸

本发明专利技术提供一种集群队列资源的调度方法、装置、设备及存储介质，即通过确定所述集群系统中的各个待处理子任务队列以及所述待处理子任务队列中的各个待处理子任务，并获取所述集群系统的系统资源参数、所述待处理子任务队列的队列相关参数以及所述待处理子任务的任务相关参数；将所述系统资源参数、队列相关参数以及任务相关参数输入至预设线性回归模型，并通过所述线性回归模型获取所述待处理子任务对应的子任务预计时间；将所述子任务预计时间与预设标准时间进行比对，并根据所述子任务预计时间与所述标准时间的比对结果，对所述待处理子任务的队列资源以及系统资源进行调度。本发明专利技术减少了任务完成时间，提高了资源调度效率。

Scheduling methods, devices, devices and storage media of cluster queue resources

【技术实现步骤摘要】
集群队列资源的调度方法、装置、设备及存储介质
本专利技术涉及任务调度
，尤其涉及一种集群队列资源的调度方法、装置、设备及计算机可读存储介质。
技术介绍
在现有的集群系统中，一般为每一个业务用户设置一个队列，并为每个队列预先固定分配相应的处理资源，包括cpu和内存，而某些业务逻辑的任务对于一些计算任务的完成要求较高，但是上述计算任务的进度可能由于一些原因(如集群环境问题，前置作业失败等)会发生延时，不能及时调整队列的处理资源，容易出现任务堆积，从而导致该计算任务无法在规定时间内完成，降低了集群队列资源的调度效率。因此，如何解决现有集群队列资源的调度效率低下，成为了目前亟待解决的技术问题。
技术实现思路
本专利技术的主要目的在于提供一种集群队列资源的调度方法、装置、设备及计算机可读存储介质，旨在解决现有集群队列资源的调度效率低下的技术问题。为实现上述目的，本专利技术提供一种集群队列资源的调度方法，其特征在于，所述集群队列资源的调度方法应用于集群系统，所述集群队列资源的调度方法包括以下步骤：>确定所述集群系统中本文档来自技高网...

【技术保护点】
1.一种集群队列资源的调度方法，其特征在于，所述集群队列资源的调度方法应用于集群系统，所述集群队列资源的调度方法包括以下步骤：/n确定所述集群系统中的各个待处理子任务队列以及所述待处理子任务队列中的各个待处理子任务，并获取所述集群系统的系统资源参数、所述待处理子任务队列的队列相关参数以及所述待处理子任务的任务相关参数；/n将所述系统资源参数、队列相关参数以及任务相关参数输入至预设线性回归模型，并通过所述线性回归模型获取所述待处理子任务对应的子任务预计时间；/n将所述子任务预计时间与预设标准时间进行比对，并根据所述子任务预计时间与所述标准时间的比对结果，对所述待处理子任务的队列资源以及系统资源进...

【技术特征摘要】
1.一种集群队列资源的调度方法，其特征在于，所述集群队列资源的调度方法应用于集群系统，所述集群队列资源的调度方法包括以下步骤：
确定所述集群系统中的各个待处理子任务队列以及所述待处理子任务队列中的各个待处理子任务，并获取所述集群系统的系统资源参数、所述待处理子任务队列的队列相关参数以及所述待处理子任务的任务相关参数；
将所述系统资源参数、队列相关参数以及任务相关参数输入至预设线性回归模型，并通过所述线性回归模型获取所述待处理子任务对应的子任务预计时间；
将所述子任务预计时间与预设标准时间进行比对，并根据所述子任务预计时间与所述标准时间的比对结果，对所述待处理子任务的队列资源以及系统资源进行调度。


2.如权利要求1所述的集群队列资源的调度方法，其特征在于，所述将所述系统资源参数、队列相关参数以及任务相关参数输入至预设线性回归模型，并通过所述线性回归模型获取所述待处理子任务对应的子任务预计时间的步骤之前，还包括：
在预设模型训练数据中确定所述待处理子任务对应的待训练模型以及模型训练数据；
获取所述模型训练数据中的系统资源训练参数、队列相关训练参数以及任务相关训练参数，作为所述待训练模型中的自变量参数；
获取所述模型训练数据中的目标子任务预计时间，作为所述待训练模型中的因变量参数；
根据线性回归公式、所述自变量参数以及所述因变量参数，将所述待训练模型训练生成所述线性回归模型。


3.如权利要求2所述的集群队列资源的调度方法，其特征在于，所述根据线性回归公式、所述自变量参数以及所述因变量参数，将所述待训练模型训练生成所述线性回归模型的步骤具体包括：
将所述自变量参数以及所述因变量参数输入至所述线性回归公式，以得到训练后的初始回归参数，其中，所述线性回归公式为：
y＝b0+b1X1+b2X2+…+bnXn，X1、X2、Xn为自变量参数，y为因变量参数，b0、b1、bn为初始回归参数；
根据最小二乘估计算法，对所述初始回归参数进行调整，生成目标回归参数；
根据所述目标回归参数以及所述待训练模型，生成所述线性回归模型。


4.如权利要求1所述的集群队列资源的调度方法，其特征在于，所述将所述系统资源参数、队列相关参数以及任务相关参数输入至预设线性回归模型，并通过所述线性回归模型获取所述待处理子任务对应的子任务预计时间的步骤具体包括：
获取预设周期内的系统资源参数、队列相关参数以及任务相关参数，并通过所述线性回归模型计算所述预设周期内所述待处理子任务对应的多个子任务预计时间；
所述将所述子任务预计时间与预设标准时间进行比对，并根据所述子任务预计时间与所述标准时间的比对结果，对所述待处理子任务的队列资源以及系统资源进行调度的步骤具体包括：
将所述多个子任务预计时间分别与所述标准时间进行比对；
若超过预设个数的子任务预计时间高于所述标准时间，则增加所述待处理子任务的队列资源以及系统资源...

【专利技术属性】
技术研发人员：张国庆，贺波，万书武，李均，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44