一种大数据集群压力控制方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种大数据集群压力控制方法、装置、设备及存储介质，其中，所述方法包括：响应于客户端提交的计算需求，确定分布式计算引擎待执行任务队列中的任务类型；基于所述任务类型确定所述大数据集群的压力判断策略；执行所述压力判断策略，以确定所述大数据集群的计算能力超出阈值；控制所述大数据集群的计算需求。需求。需求。

【技术实现步骤摘要】
一种大数据集群压力控制方法、装置、设备及存储介质


[0001]本申请实施例涉及数据处理领域，涉及但不限于一种大数据集群压力控制方法、装置、设备及存储介质。

技术介绍

[0002]Spark是一个高效的分布式计算引擎，目前支持处理面向传统多迭代计算的MapReduce计算模型，以及面向深度学习的MPI计算模型。在Spark架构中，驱动器Spark Driver负责接收计算请求，生成可执行的计算任务，并根据不同的计算模型，选择合适的执行器Executor执行任务。由于Spark Driver为单进程服务，如果不对任务进行一定的压力控制，当任务量超出一定的阈值时，会导致Spark Driver的异常直至完全崩溃，从而整个计算集群停止对外服务。

技术实现思路

[0003]有鉴于此，本申请实施例提供一种大数据集群压力控制方法、装置、设备及存储介质。
[0004]本申请实施例的技术方案是这样实现的：
[0005]第一方面，本申请实施例提供一种大数据集群压力控制方法，所述方法包括：响应于客户端提交的计算需求，确定分布式计算引擎待执行任务队列中的任务类型；基于所述任务类型确定所述大数据集群的压力判断策略；执行所述压力判断策略，以确定所述大数据集群的计算能力超出阈值；控制所述大数据集群的计算需求。
[0006]第二方面，本申请实施例提供一种大数据集群压力控制装置，所述装置包括：第一确定模块，用于响应于客户端提交的计算需求，确定分布式计算引擎待执行任务队列中的任务类型；第二确定模块，用于基于所述任务类型确定所述大数据集群的压力判断策略；执行模块，用于执行所述压力判断策略，以确定所述大数据集群的计算能力超出阈值；控制模块，用于控制所述大数据集群的计算需求。
[0007]第三方面，本申请实施例提供一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
[0008]第四方面，本申请实施例提供一种存储介质，存储有可执行指令，用于处理器执行时，实现上述方法。
[0009]本申请实施例中，首先响应于客户端提交的计算需求，确定分布式计算引擎待执行任务队列中的任务类型；然后基于所述任务类型确定所述大数据集群的压力判断策略；最后执行所述压力判断策略，以确定所述大数据集群的计算能力超出阈值；控制所述大数据集群的计算需求。这样，针对不同的大数据集群中的任务类型，通过压力评估策略，提供了一种对大数据集群计算压力的有效判别方案，有效避免过大的计算压力对集群整体计算稳定性的影响，确保集群计算能力与可靠性。
附图说明
[0010]图1为本申请实施例提供的一种大数据集群压力控制方法的实现流程示意图；
[0011]图2A为本申请实施例提供的执行第一类型任务对应压力判断策略的流程示意图；
[0012]图2B为本申请实施例提供的执行第一类型任务对应压力判断策略的流程示意图；
[0013]图2C为本申请实施例提供的执行第一类型任务对应压力判断策略的流程示意图；
[0014]图3A为本申请实施例提供的执行第二类型任务对应压力判断策略的流程示意图；
[0015]图3B为本申请实施例提供的执行第二类型任务对应压力判断策略的流程示意图；
[0016]图4A为本申请实施例提供的执行第三类型任务对应压力判断策略的流程示意图；
[0017]图4B为本申请实施例提供的执行第三类型任务对应压力判断策略的流程示意图；
[0018]图5为本申请实施例提供的一种大数据集群压力控制方法的流程示意图；
[0019]图6为本申请实施例提供的一种大数据集群压力控制装置的组成结构示意图；
[0020]图7为本申请实施例提供的电子设备的一种硬件实体示意图。
具体实施方式
[0021]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对申请实施例的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
[0022]在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
[0023]在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
[0024]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
[0025]对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
[0026]Spark是一个高效的分布式计算引擎，可以用于完成各种各样的运算，包括结构化查询语言数据库(Structured Query Language，SQL)查询、文本处理、机器学习等。
[0027]MapReduce，简称MR是一种编程模型，是一种编程方法。输入一个大文件，通过分割(split)之后，将其分为多个分片；每个文件分片由单独的机器去处理，即map方法；将各个机器计算的结果进行汇总并得到最终的结果，即reduce方法。
[0028]MPI计算模型是一种分布式计算模型，基于消息传递的并行编程技术，定义了一种具有可移植行的编程接口。利用MPI计算模型，可以编写基于消息通信的应用程序，应用程序能够在不同的节点上启动并协调工作。
[0029]本申请实施例提供一种大数据集群压力控制方法，如图1所示，该方法包括：
[0030]步骤S110、响应于客户端提交的计算需求，确定分布式计算引擎待执行任务队列
中的任务类型；
[0031]这里，集群是一组相互独立的、通过高速计算机网络互联的计算机，可以构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服务器。大数据集群是用于处理大数据的集群。举例来说，Spark是一种开源集群计算环境，专为大规模数据处理而设计。
[0032]在实施过程中，大数据集群通过客户端获取计算需求。大数据集群可以通过判断当前正在执行的计算任务，确定是否可以接受该计算需求。
[0033]这里，大数据集群可以执行多种类型的任务。举例来说，Spark分布式计算引擎，目前支持处理面向传统多迭代计算的MapReduce计算模型，以及面向深度学习的MPI计算模型。待执行任务队列中的任务类型可以仅包括MapReduce计算模型，还可以仅包括MPI计算模型，也可以仅包括MapReduce计算模型又包括MPI计算模型。
[0034]在Spark中所有计算任本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据集群压力控制方法，所述方法包括：响应于客户端提交的计算需求，确定分布式计算引擎待执行任务队列中的任务类型；基于所述任务类型确定所述大数据集群的压力判断策略；执行所述压力判断策略，以确定所述大数据集群的计算能力超出阈值；控制所述大数据集群的计算需求。2.如权利要求1所述的方法，所述任务类型包括第一任务类型，其中，所述第一任务类型对应的任务为独立执行任务；所述确定分布式计算引擎待执行任务队列中的任务类型，包括：确定所述分布式计算引擎待执行任务队列中仅存在所述第一任务类型；对应地，所述执行所述压力判断策略，以确定所述大数据集群的计算能力超过阈值，包括：获取所述待执行任务队列中独立执行任务的任务数量；确定所述任务数量大于预设任务数量阈值。3.如权利要求2所述的方法，所述方法还包括：获取所述大数据集群的执行器总数；确定所述任务数量大于所述执行器总数的预设倍数。4.如权利要求2或3所述的方法，所述方法还包括：获取所述任务数量在预设单位时间内的数量变化信息；基于所述数量变化信息确定所述任务数量持续增加。5.权利要求1所述的方法，所述任务类型还包括第二任务类型，其中，所述第二任务类型的任务为并发执行任务；所述确定分布式计算引擎待执行任务队列中的任务类型，包括：确定所述分布式计算引擎待执行任务队列中仅存在所述第二任务类型；对应地，所述执行所述压力判断策略，以确定所述大数据集群的计算能力超过阈值，包括：确定所述待执行队列中并发执行任务的执行器需求总数；确定所述执行器需求总数大于预设执行器阈值。6.如权利要求5所述的方法，所述方法还包括：确定所述执行器需求总数在预设单位时间内的资源变化信息；基于所述资源变化信息确定所述待执行任务队列中的总执行器需求持续增加。7.如权利要求1所述的方法，所述任务类型包括第三任务类型，...

【专利技术属性】
技术研发人员：李栋，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：