【技术实现步骤摘要】
集群资源调度方法、装置、计算机设备及存储介质
[0001]本申请涉及资源调度
，具体涉及一种集群资源调度方法、装置、计算机设备及存储介质。
技术介绍
[0002]随着科技的迅速发展，越来越多的数据产生，基于Hadoop集群等框架的各种大数据产品越来越受到用户的青睐。如何调度可用的集群资源节省成本、提高计算效率已经成为各大数据平台的重要研究方向。现有技术中，在对集群中的各队列进行资源分配时，是根据用户预先设定好的资源策略为各队列分配空闲资源，这种集群资源固定分配方式会导致资源分配不均。
技术实现思路
[0003]本申请实施例提供一种集群资源调度方法、装置、计算机设备及存储介质，根据集群的历史任务执行信息和队列的实时资源需求信息为各队列动态分配集群资源，提高了集群资源的利用率，能够以尽量少的资源数提高任务执行的效率，减少任务执行的时间。
[0004]一方面，本申请提供一种集群资源调度方法，所述集群资源调度方法包括：
[0005]获取集群的历史任务执行信息，所述集群中包括用于执行任务的多个队列；
[0006]根据所述历史任务执行信息确定所述集群中各队列的初始资源需求信息，所述初始资源需求信息包括所述各队列在预设第一时间段内每一时刻的初始资源值；
[0007]获取所述各队列的实时资源需求信息，根据所述实时资源需求信息和所述初始资源需求信息确定所述各队列在下一时刻的资源修正值；
[0008]根据所述初始资源需求信息和所述资源修正值，对所述各队列进行资源分配。>[0009]在本申请一些实施方案中，所述根据所述历史任务执行信息确定所述集群中各队列的初始资源需求信息，包括：
[0010]根据所述历史任务执行信息，确定所述集群中各队列在预设第一时间段内每一时刻的历史资源需求值；
[0011]根据所述历史资源需求值，确定所述集群中各队列的初始资源需求信息。
[0012]在本申请一些实施方案中，所述根据所述历史任务执行信息，确定所述集群中各队列在预设第一时间段内每一时刻的历史资源需求值，包括：
[0013]根据所述历史任务执行信息，确定所述集群中各队列的任务时间序列及所述各队列中的任务在执行时间内的平均资源需求值；
[0014]根据所述任务时间序列及所述平均资源需求值，确定所述集群中各队列在预设第一时间段内每一时刻的历史资源需求值。
[0015]在本申请一些实施方案中，所述根据所述历史资源需求值，确定所述集群中各队列的初始资源需求信息，包括：
[0016]根据所述历史资源需求值，确定所述各队列在所述第一时间段内每一时刻的初始
资源值；
[0017]根据所述各队列在所述第一时间段内每一时刻的初始资源值，确定所述集群中各队列的初始资源需求信息。
[0018]在本申请一些实施方案中，所述根据所述实时资源需求信息和所述初始资源需求信息确定所述各队列在下一时刻的资源修正值，包括：
[0019]根据所述实时资源需求信息和所述初始资源需求信息，分别确定所述各队列在预设第二时间段内每一时刻的实时资源需求值和初始资源值，所述第二时间段包含于所述第一时间段内；
[0020]根据所述各队列在所述第二时间段内每一时刻的实时资源需求值和初始资源值，确定所述各队列在下一时刻的资源修正值。
[0021]在本申请一些实施方案中，所述根据所述各队列在所述第二时间段内每一时刻的实时资源需求值和初始资源值，确定所述各队列在下一时刻的资源修正值，包括：
[0022]根据所述各队列在所述第二时间段内每一时刻的实时资源需求值和初始资源值，确定所述各队列在所述第二时间段内每一时刻的资源差值；
[0023]根据所述资源差值，确定所述各队列在下一时刻的资源修正值。
[0024]在本申请一些实施方案中，所述根据所述初始资源需求信息和所述资源修正值，对所述各队列进行资源分配，包括：
[0025]根据所述初始资源需求信息和所述资源修正值，确定所述各队列在下一时刻的目标资源需求值；
[0026]根据所述目标资源需求值，对所述各队列进行资源分配。
[0027]在本申请一些实施方案中，所述根据所述初始资源需求信息和所述资源修正值，确定所述各队列在下一时刻的目标资源需求值，包括：
[0028]根据所述初始资源需求信息，确定所述各队列在所述下一时刻的初始资源值；
[0029]根据所述各队列在所述下一时刻的初始资源值和所述资源修正值，确定所述各队列在下一时刻的目标资源需求值。
[0030]另一方面，本申请提供一种集群资源调度装置，所述集群资源调度装置包括：
[0031]信息获取单元，用于获取集群的历史任务执行信息，所述集群中包括用于执行任务的多个队列；
[0032]信息确定单元，用于根据所述历史任务执行信息确定所述集群中各队列的初始资源需求信息，所述初始资源需求信息包括所述各队列在预设第一时间段内每一时刻的初始资源值；
[0033]修正值确定单元，用于获取所述各队列的实时资源需求信息，根据所述实时资源需求信息和所述初始资源需求信息确定所述各队列在下一时刻的资源修正值；
[0034]资源调度单元，用于根据所述初始资源需求信息和所述资源修正值，对所述各队列进行资源分配。
[0035]在本申请一些实施方案中，所述信息确定单元具体用于：
[0036]根据所述历史任务执行信息，确定所述集群中各队列在预设第一时间段内每一时刻的历史资源需求值；
[0037]根据所述历史资源需求值，确定所述集群中各队列的初始资源需求信息。
[0038]在本申请一些实施方案中，所述信息确定单元具体还用于：
[0039]根据所述历史任务执行信息，确定所述集群中各队列的任务时间序列及所述各队列中的任务在执行时间内的平均资源需求值；
[0040]根据所述任务时间序列及所述平均资源需求值，确定所述集群中各队列在预设第一时间段内每一时刻的历史资源需求值。
[0041]在本申请一些实施方案中，所述信息确定单元具体还用于：
[0042]根据所述历史资源需求值，确定所述各队列在所述第一时间段内每一时刻的初始资源值；
[0043]根据所述各队列在所述第一时间段内每一时刻的初始资源值，确定所述集群中各队列的初始资源需求信息。
[0044]在本申请一些实施方案中，所述修正值确定单元具体用于：
[0045]根据所述实时资源需求信息和所述初始资源需求信息，分别确定所述各队列在预设第二时间段内每一时刻的实时资源需求值和初始资源值，所述第二时间段包含于所述第一时间段内；
[0046]根据所述各队列在所述第二时间段内每一时刻的实时资源需求值和初始资源值，确定所述各队列在下一时刻的资源修正值。
[0047]在本申请一些实施方案中，所述修正值确定单元具体还用于：
[0048]根据所述各队列在所述第二时间段内每一时刻的实时资本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种集群资源调度方法，其特征在于，所述集群资源调度方法包括：获取集群的历史任务执行信息，所述集群中包括用于执行任务的多个队列；根据所述历史任务执行信息确定所述集群中各队列的初始资源需求信息，所述初始资源需求信息包括所述各队列在预设第一时间段内每一时刻的初始资源值；获取所述各队列的实时资源需求信息，根据所述实时资源需求信息和所述初始资源需求信息确定所述各队列在下一时刻的资源修正值；根据所述初始资源需求信息和所述资源修正值，对所述各队列进行资源分配。2.根据权利要求1所述的集群资源调度方法，其特征在于，所述根据所述历史任务执行信息确定所述集群中各队列的初始资源需求信息，包括：根据所述历史任务执行信息，确定所述集群中各队列在预设第一时间段内每一时刻的历史资源需求值；根据所述历史资源需求值，确定所述集群中各队列的初始资源需求信息。3.根据权利要求2所述的集群资源调度方法，其特征在于，所述根据所述历史任务执行信息，确定所述集群中各队列在预设第一时间段内每一时刻的历史资源需求值，包括：根据所述历史任务执行信息，确定所述集群中各队列的任务时间序列及所述各队列中的任务在执行时间内的平均资源需求值；根据所述任务时间序列及所述平均资源需求值，确定所述集群中各队列在预设第一时间段内每一时刻的历史资源需求值。4.根据权利要求2所述的集群资源调度方法，其特征在于，所述根据所述历史资源需求值，确定所述集群中各队列的初始资源需求信息，包括：根据所述历史资源需求值，确定所述各队列在所述第一时间段内每一时刻的初始资源值；根据所述各队列在所述第一时间段内每一时刻的初始资源值，确定所述集群中各队列的初始资源需求信息。5.根据权利要求1所述的集群资源调度方法，其特征在于，所述根据所述实时资源需求信息和所述初始资源需求信息确定所述各队列在下一时刻的资源修正值，包括：根据所述实时资源需求信息和所述初始资源需求信息，分别确定所述各队列在预设第二时间段内每一时刻的实时资源需求值和初始资源值，所述第二时间段包含于所述第一时间段内；根据所述各队列在所述第二时间段内每一时刻的实时资源需求值和初始资源值，确定所述各队列在下一时刻的资源修正值。6.根据权利要求5所述的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。