系统资源调度方法、装置及存储介质制造方法及图纸

本发明专利技术实施例涉及数据处理技术领域，公开了一种系统资源调度方法、装置及存储介质，包括：获取待执行任务的当前数据量；确定待执行任务是否存在历史执行记录；若存在历史执行记录，则根据待执行任务的当前数据量及历史执行记录确定系统资源配置参数；根据系统资源配置参数为待执行任务分配系统资源，从而提高了系统资源利用率。

【技术实现步骤摘要】
系统资源调度方法、装置及存储介质
本专利技术实施例涉及数据处理
，特别涉及一种系统资源调度方法、装置及存储介质。
技术介绍
随着公司大数据发展的不断深入，在分布式系统(HadoopDistributedFileSystem，Hadoop)上的项目越来越多，通过调度系统提交的数据仓库工具hive任务也越来越多，但是Hadoop系统资源是有限的。Hadoop系统资源通过队列(queue)控制，同时会给队列预先分配一定比例的系统资源，当调度系统提交任务时，只是将一类用户、以及该类用户下的所有任务提交给系统，系统资源管理器会将这些任务全部分配到预先设定好的队列里面，这样该类用户下的所有任务会在这个队列里面通过竞争的方式来获取系统资源。然而，专利技术人发现现有技术中至少存在如下问题：由于不同时期该类用户下的所有任务的任务数量的不同，可能会导致获取的系统资源不足或浪费，导致系统资源利用率较低。
技术实现思路
本专利技术实施方式的目的在于提供一种系统资源调度方法、装置及存储介质，提高了系统资源利用率。为解决上述技术问题，本专利技术的实施方式提供了一种系统资源调度方法，包括：获取待执行任务的当前数据量；确定所述待执行任务是否存在历史执行记录；若存在所述历史执行记录，则根据所述待执行任务的当前数据量及所述历史执行记录确定系统资源配置参数；根据所述系统资源配置参数为所述待执行任务分配系统资源。本专利技术的实施方式还提供了一种系统资源调度装置，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的系统资源调度方法。本专利技术的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述系统资源调度方法。本专利技术实施方式相对于现有技术而言提供了一种系统资源调度方法，通过调度系统，根据每个待执行任务的当前数据量、以及历史执行记录来共同确定该待执行任务的系统资源配置参数，从而为待执行任务分配系统资源，根据每个待执行任务的当前数据量的不同动态地调整分配的系统资源，从而使得待执行任务分配到的系统资源更加符合该待执行任务的系统资源需求量，大大提高了系统资源的利用率。且随着该待执行任务的执行次数越来越多，该待执行任务的历史执行记录也会越来越丰富，根据待执行任务的当前数据量及历史执行记录所确定的系统资源配置参数更加准确，分配给待执行任务的系统资源会更加符合该待执行任务的系统资源需求量，实现了系统资源调度的自动优化。另外，所述确定所述待执行任务是否存在历史执行记录之后，还包括；若不存在所述历史执行记录，则根据所述待执行任务的当前数据量及预设的第一调节值确定所述系统资源配置参数。另外，所述根据所述待执行任务的当前数据量及所述历史执行记录确定系统资源配置参数之前，还包括：判断所述待执行任务的历史执行记录是否满足预设条件；在所述待执行任务的历史执行记录不满足所述预设条件时，根据所述待执行任务的当前数据量及预设的第一调节值确定系统资源配置参数；所述根据所述待执行任务的当前数据量及所述历史执行记录确定系统资源配置参数，包括：在所述待执行任务的历史执行记录满足所述预设条件时，根据所述待执行任务的当前数据量及所述历史执行记录确定系统资源配置参数。另外，所述系统资源配置参数包括：调整后切片大小；所述历史执行记录包括：所述待执行任务的历史切片大小、与所述历史切片大小对应的历史切片数量；所述根据所述待执行任务的当前数据量及所述历史执行记录确定系统资源配置参数，包括：根据所述历史执行记录确定所述待执行任务的平均历史切片大小以及平均历史切片数量；根据所述平均历史切片大小和所述平均历史切片数量确定所述待执行任务的平均历史数据量；根据所述待执行任务的当前数据量以及所述平均历史切片数量确定第二调节值；根据所述待执行任务的平均历史数据量、所述第二调节值确定所述调整后切片大小。另外，所述历史执行记录还包括：所述待执行任务的历史数据量，每个所述历史数据量对应记录有所述历史切片大小和所述历史切片数量；所述根据所述历史执行记录确定所述待执行任务的平均历史切片大小以及平均历史切片数量，包括：确定所述待执行任务的历史数据量与当前数据量的差值占所述当前数据量的差值百分比；获取多个所述差值百分比在所述第一预设范围内的历史数据量、以及每个所述历史数据量对应的历史切片大小和历史切片数量，得到多个所述历史切片大小及多个所述历史切片数量；根据多个所述历史切片大小确定所述平均历史切片大小、根据多个所述历史切片数量确定所述平均历史切片数量。另外，所述获取待执行任务的当前数据量，包括：获取用户提交的所述待执行任务的第一数据量、以及第一计算类型，并调度系统的所述待执行任务的第二数据量、以及第二计算类型；确定所述第一计算类型与所述第二计算类型是否相同；若所述第一计算类型与所述第二计算类型相同，则确定所述第一数据量与所述第二数据量的差值占所述第二数据量的误差百分比；确定所述误差百分比是否处于第二预设范围；若所述误差百分比处于所述第二预设范围内，则将所述第一数据量确定为所述待执行任务的当前数据量。另外，所述确定所述误差百分比是否处于第二预设范围之后，还包括：若所述误差百分比不处于所述第二预设范围内，则将所述第二数据量确定为所述待执行任务的当前数据量。另外，所述系统资源配置参数包括：调整后切片大小；所述根据所述系统资源配置参数为所述待执行任务分配系统资源，包括：根据所述调整后切片大小确定所述待执行任务的内存大小、及CPU核数；根据所述调整后切片大小、所述内存大小以及所述CPU核数为所述待执行任务分配系统资源。附图说明一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。图1是根据本专利技术第一实施方式的系统资源调度方法中的流程示意图；图2是根据本专利技术第二实施方式的系统资源调度方法中的流程示意图；图3是根据本专利技术第三实施方式的系统资源调度装置中的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本专利技术各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。现有技术方案中系统资源通过队列来控制，虽然队列可以指定使用系统资源占集群百分比的最小值和最大值，但是也不可避免的面对以下场景，会导致获取的系统资源不足或浪费，导致系统资源利用率较低。例如：第一天某一类用户的所有任务的数据量需要使用20％的系统资源，而队列分配的系统资源为5％-20％，所以第一天既没有浪费系统资源，也能准点的完成该类用户的所有任务。但是，若第二天该类用户的所有任务的数据量较少，实际只需要1％的系统资源时，而此时队列最少还是提供5％的系统资源，就会导致本文档来自技高网...

【技术保护点】
1.一种系统资源调度方法，其特征在于，包括：/n获取待执行任务的当前数据量；/n确定所述待执行任务是否存在历史执行记录；/n若存在所述历史执行记录，则根据所述待执行任务的当前数据量及所述历史执行记录确定系统资源配置参数；/n根据所述系统资源配置参数为所述待执行任务分配系统资源。/n

【技术特征摘要】
1.一种系统资源调度方法，其特征在于，包括：
获取待执行任务的当前数据量；
确定所述待执行任务是否存在历史执行记录；
若存在所述历史执行记录，则根据所述待执行任务的当前数据量及所述历史执行记录确定系统资源配置参数；
根据所述系统资源配置参数为所述待执行任务分配系统资源。


2.根据权利要求1所述的系统资源调度方法，其特征在于，所述确定所述待执行任务是否存在历史执行记录之后，还包括；
若不存在所述历史执行记录，则根据所述待执行任务的当前数据量及预设的第一调节值确定所述系统资源配置参数。


3.根据权利要求1所述的系统资源调度方法，其特征在于，所述根据所述待执行任务的当前数据量及所述历史执行记录确定系统资源配置参数之前，还包括：
判断所述待执行任务的历史执行记录是否满足预设条件；
在所述待执行任务的历史执行记录不满足所述预设条件时，根据所述待执行任务的当前数据量及预设的第一调节值确定系统资源配置参数；
所述根据所述待执行任务的当前数据量及所述历史执行记录确定系统资源配置参数，包括：
在所述待执行任务的历史执行记录满足所述预设条件时，根据所述待执行任务的当前数据量及所述历史执行记录确定系统资源配置参数。


4.根据权利要求3所述的系统资源调度方法，其特征在于，所述系统资源配置参数包括：调整后切片大小；所述历史执行记录包括：所述待执行任务的历史切片大小、与所述历史切片大小对应的历史切片数量；
所述根据所述待执行任务的当前数据量及所述历史执行记录确定系统资源配置参数，包括：
根据所述历史执行记录确定所述待执行任务的平均历史切片大小以及平均历史切片数量；
根据所述平均历史切片大小和所述平均历史切片数量确定所述待执行任务的平均历史数据量；
根据所述待执行任务的当前数据量以及所述平均历史切片数量确定第二调节值；
根据所述待执行任务的平均历史数据量、所述第二调节值确定所述调整后切片大小。


5.根据权利要求4所述的系统资源调度方法，其特征在于，所述历史执行记录还包括：所述待执行任务的历史数据量，每个所述历史数据量对应记录有所述历史切片大小和所述历史切片数量；
所述根据所述历史执行记录确定所述待执行任务的平均历史切片大小以及平均历史...

【专利技术属性】
技术研发人员：杨以通，
申请(专利权)人：咪咕文化科技有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：北京;11