【技术实现步骤摘要】
本申请涉及集群计算，尤其涉及一种任务的资源分配方法及相关装置。
技术介绍
1、随着科技的发展，社会中的各个领域每时每刻都在产生大量的数据，例如电商领域下的交易数据、流媒体领域下的多媒体数据、医疗领域下的医患数据等数据。在大部分领域下，用户通常会期望对数据库中所维护的大量数据进行分析处理。目前，为了实现大规模数据的分析处理，计算集群应运而生。典型的计算集群spark，是一个强大的分布式计算框架，能够处理大规模的数据集，以实现各种任务的处理。
2、在相关技术中，基于计算集群spark来执行任务时，通常会采用资源动态分配方案为任务自动分配资源。在资源动态分配方案中，为了能够更快的完成队列中的任务，调度机制会为队列中的任务分配尽可能多的资源，从而容易出现资源浪费的现象。
3、总的来说，业界现有的资源动态分配方案存在资源分配不合理的现象，容易出现任务等待时间长和集群计算资源紧缺的情况，最终导致任务运行失败率高居不下。因此，目前亟需一套更优的资源分配方案，以解决计算集群中计算资源分配不合理的问题。
【技术保护点】
1.一种任务的资源分配方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述目标数据量，预测所述第一任务执行时所需的目标资源量，包括：
4.根据权利要求3所述的方法，其特征在于，所述历史任务处理数据对应的任务处理效率满足预设条件，所述任务处理效率与任务的数据量、任务所分配的资源量以及任务的执行时间相关。
5.根据权利要求1-4任意一项所述的方法，其特征在于，所述计算集群中包括用于处理任务的多个任务队列，所述任务处理请求还用于指定处理所述...
【技术特征摘要】
1.一种任务的资源分配方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述目标数据量，预测所述第一任务执行时所需的目标资源量，包括：
4.根据权利要求3所述的方法，其特征在于，所述历史任务处理数据对应的任务处理效率满足预设条件，所述任务处理效率与任务的数据量、任务所分配的资源量以及任务的执行时间相关。
5.根据权利要求1-4任意一项所述的方法，其特征在于，所述计算集群中包括用于处理任务的多个任务队列，所述任务处理请求还用于指定处理所述第一任务的目标队列，所述目标队列为所述多个任务队列中的一个任务队列。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
7.根据权利要求5或6所述的方法，其特征在于，所述任务处理请求还用于指示所述第一任务的处理优先级，所述处理优先级是基于所述目标资源量确定的。
8.根据权利要求7所述的方法，其特征在于，所述处理优先级还与所述第一任务的预期运行时间相关，所述预期运行时间是基于所述目标数据量和所述目标资源量确定的。
9.根据权利要求1-8任意一项所述的方法，其特征在于，所述第一任务为在所述计算集群中周期性执行的任务。
10.根据权利要求1-9任意一项所述的方法，其特征在于，所述第一任务为基于结构化查询语言sql的数据查询任务，所述数据筛选条件包括自定义的数据选择条件、数据统计字段、数据统计维度以及数据筛选时间段中的一个或多个。
11.一种任务的资源分配装置，其特征在于，包括：
12.根据权利要求11所述的装置，其特征在于，所述处理模块，还用于：
13.根据权利要求12所述的装置，其特征在于，所述处理模块，还用于：
14.根据权利要求13所述的装置，其特征在于，所述历史任务处理数据对应...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。