大数据资源处理方法、装置、终端及存储介质制造方法及图纸

一种大数据资源处理方法，包括：初始化多层队列；根据队列的初始资源确定每层队列的性能标识；当接收到客户端输出的任务处理请求时，监听多层队列中每层队列的剩余资源量；采用任务时长消耗模型预测出任务消耗的预计时长；根据任务消耗的预计时长确定任务消耗的预计资源量；将所述多层队列中剩余资源量大于预计资源量的队列确定为待选队列；从待选队列中匹配出性能标识为第一性能标识的目标队列；将任务分配给所述目标队列。本发明专利技术还提供一种大数据资源处理装置、终端及计算机可读存储介质。本发明专利技术通过预测任务消耗的资源量，并结合每层队列的剩余资源量及队列的性能标识来综合确定目标队列，节约整体任务的运行时间，提升集群资源的利用率。

Big data resource processing methods, devices, terminals and storage media

【技术实现步骤摘要】
大数据资源处理方法、装置、终端及存储介质
本专利技术涉及资源分配领域，尤其涉及一种大数据资源处理方法、大数据资源处理装置、终端以及计算机可读存储介质。
技术介绍
目前随着数据爆炸式的增长，大数据平台的使用越来越多，大数据平台的资源投入也越来越多。如何通过有效的资源管理提高大数据平台的计算能力是一个很重要的话题。目前的大数据平台资源管理都是大范围的资源管理，经常会出现一个队列很繁忙而其他队列很空闲、一个大的任务会占用所有资源导致后面任务无法提交的情况。因此，有必要提出一种新的资源调度管理方法，以通过有效的资源管理提高大数据平台的计算能力。
技术实现思路
鉴于以上内容，有必要提出一种大数据资源处理方法、大数据资源处理装置、终端以及计算机可读存储介质，其可以预测任务消耗的资源量，并结合每层队列的剩余资源量及队列的性能标识来综合确定目标队列，确定出的目标队列不仅可以完成任务，还能快速地完成任务。本专利技术实施例第一方面提供一种大数据资源处理方法，应用于大数据平台中，所述大数据资源处理方法包括：r>初始化所述大数据本文档来自技高网...

【技术保护点】
1.一种大数据资源处理方法，应用于大数据平台中，其特征在于，所述大数据资源处理方法包括：/n初始化所述大数据平台中的大数据资源对应的多层队列，得到队列的初始资源；/n根据所述队列的初始资源确定每层队列的性能标识；/n当接收到客户端输出的任务处理请求时，调用预设个数的资源量监听器监听所述多层队列中每层队列的剩余资源量；/n采用预先训练的任务时长消耗模型预测出所述任务消耗的预计时长；/n根据所述任务消耗的预计时长确定所述任务消耗的预计资源量；/n将所述多层队列中剩余资源量大于所述预计资源量的队列确定为待选队列；/n从所述待选队列中匹配出性能标识为第一性能标识的目标队列，其中，所述第一性能标识所对应...

【技术特征摘要】
1.一种大数据资源处理方法，应用于大数据平台中，其特征在于，所述大数据资源处理方法包括：
初始化所述大数据平台中的大数据资源对应的多层队列，得到队列的初始资源；
根据所述队列的初始资源确定每层队列的性能标识；
当接收到客户端输出的任务处理请求时，调用预设个数的资源量监听器监听所述多层队列中每层队列的剩余资源量；
采用预先训练的任务时长消耗模型预测出所述任务消耗的预计时长；
根据所述任务消耗的预计时长确定所述任务消耗的预计资源量；
将所述多层队列中剩余资源量大于所述预计资源量的队列确定为待选队列；
从所述待选队列中匹配出性能标识为第一性能标识的目标队列，其中，所述第一性能标识所对应的队列的初始资源大于其他性能标识所对应的队列的初始资源；
将所述任务分配给所述目标队列。


2.根据权利要求1所述的大数据资源处理方法，其特征在于，所述根据所述队列的初始资源确定每层队列的性能标识的步骤包括：
判断每层队列的所述初始资源是否介于预设第一资源阈值与预设第二资源阈值之间，其中，所述第一资源阈值大于所述第二资源阈值；
当所述初始资源大于所述预设第一资源阈值时，确定与所述初始资源对应的队列的性能标识为第一性能标识；
当所述初始资源小于所述预设第一资源阈值且大于所述预设第二资源阈值时，确定与所述初始资源对应的队列的性能标识为第二性能标识；
当所述初始资源小于所述预设第二资源阈值时，确定与所述初始资源对应的队列的性能标识为第三性能标识。


3.根据权利要求1所述的大数据资源处理方法，其特征在于，当接收到客户端输出的任务处理请求时，所述方法还包括：
调用服务器端的任务调度器获取所述任务的描述文件；
根据所述描述文件识别所述任务的任务名称；
根据所述任务名称判断所述任务是否为首次提交；
当所述任务为首次提交时，选择预定队列运行所述任务；
当所述任务不为首次提交时，从历史运行记录中筛选出与所述任务具有相同属性的历史任务所消耗的历史时长，并根据所述历史时长采用预先训练的任务时长消耗模型预测出所述任务消耗的预计时长。


4.根据权利要求3所述的大数据资源处理方法，其特征在于，所述根据所述任务名称判断所述任务是否为首次提交的步骤包括：
根据所述任务名称遍历资源调度库；
判断所述资源调度库中是否存在与所述任务名称相同的任务名称；
若判断结果为不存在与所述任务名称相同的任务名称，则确定所述任务为首次提交；
若判断结果为存在与所述任务名称相同的任务名称，则确定所述任务不为首次提交。


5.根据权利要求3所述的大数据资源处理方法，其特征在于，所述从历史运行记录中筛选出与所述任务具有相同属性的历史任务所消耗的历史时长的步骤包括：
获取与所述任务具有相同属性的历史任务在预设天数内的历史时长；
根据在所述预设天数内的历史时长计算平均运行时长；
将所述历史时长与所述平均运行时长代入方差计算公式，得到与所述任务具有相同属性的历史任务所消耗的历史时长的方差值；
根据所述历史时长的方差值得到所述任务的历史时长。


6.根据权利要求1至5中任意一项所述的大数据资源处理方法，其特征在于，所述方法还包括：

【专利技术属性】
技术研发人员：许璐，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44