任务处理方法、装置、存储介质以及电子设备制造方法及图纸

本发明专利技术公开了一种任务处理方法、装置、存储介质以及电子设备。该方法包括：在大数据集群接收到待处理的目标任务的情况下，获取大数据集群的可用资源量；在可用资源量不足以处理目标任务的情况下，在容器集群内创建目标容器实例，以通过运行目标容器实例来协助大数据集群处理目标任务；在目标任务处理完成后，控制容器集群删除创建的目标容器实例。本发明专利技术解决了大数据集群与容器集群的资源混用时，资源浪费的技术问题。费的技术问题。费的技术问题。

【技术实现步骤摘要】
任务处理方法、装置、存储介质以及电子设备


[0001]本专利技术涉及集群领域，具体而言，涉及一种任务处理方法、装置、存储介质以及电子设备。

技术介绍

[0002]现有技术中，当大数据集群接收到待处理的任务时，如果集群中的资源不足以处理任务，则任务会一直处于等待状态，直到集群中的剩余资源足够处理任务时，任务才会被处理。
[0003]为了解决该问题，现有技术中提出了大数据集群与容器集群混用的方案，该方案将容器集群的一部分资源提供给大数据集群使用。
[0004]然而，大数据集群的可用资源量是实时变化的。如果将容器集群的资源提供给大数据集群使用，也许大数据集群本身的资源就已经够用，因此会造成资源的浪费。

技术实现思路

[0005]本专利技术实施例提供了一种任务处理方法、装置、存储介质以及电子设备，以至少解决大数据集群与容器集群的资源混用时，资源浪费的技术问题。
[0006]根据本专利技术实施例的一个方面，提供了一种任务处理方法，包括：在大数据集群接收到待处理的目标任务的情况下，获取上述大数据集群的可用资源量；在上述可用资源量不足以处理上述目标任务的情况下，在容器集群内创建目标容器实例，以通过运行上述目标容器实例来协助上述大数据集群处理上述目标任务；在上述目标任务处理完成后，控制上述容器集群删除创建的上述目标容器实例。
[0007]根据本专利技术实施例的另一方面，提供了一种任务处理装置，包括：获取模块，用于在大数据集群接收到待处理的目标任务的情况下，获取上述大数据集群的可用资源量；创建模块，用于在上述可用资源量不足以处理上述目标任务的情况下，在容器集群内创建目标容器实例，以通过运行上述目标容器实例来协助上述大数据集群处理上述目标任务；第一控制模块，用于在上述目标任务处理完成后，控制上述容器集群删除创建的上述目标容器实例。
[0008]作为一种可选的示例，上述获取模块包括：获取单元，用于在上述大数据集群接收到待处理的第一任务的情况下，获取上述第一任务的任务标签；确定单元，用于在上述任务标签为第一标签的情况下，将上述第一任务确定为上述目标任务，其中，上述第一标签用于指示上述第一任务被允许由上述容器集群处理。
[0009]作为一种可选的示例，上述创建模块包括：发送单元，用于将上述目标任务的所需资源量发送给上述容器集群，由上述容器集群根据上述所需资源量创建上述目标容器实例，其中，上述目标容器实例内置有大数据集群计算进程。
[0010]作为一种可选的示例，上述容器集群在创建上述目标容器实例时，根据上述所需资源量确定上述目标容器实例能够使用的资源上限和资源下限；按照上述资源上限和上述
资源下限创建上述目标容器实例。
[0011]作为一种可选的示例，上述装置还包括：第二控制模块，用于在上述容器集群接收到待处理的第二任务的情况下，在上述容器集群的可用资源量不足以处理上述第二任务的情况下，控制上述容器集群降低上述目标容器实例的上述资源上限，以释放资源处理上述第二任务，其中，上述第二任务为优先级高于上述目标任务的任务。
[0012]作为一种可选的示例，上述装置还包括：置入模块，用于在创建上述目标容器实例时，在上述目标容器实例中，置入第三方服务进程，其中，上述第三方服务进程用于控制上述目标容器实例与第三方服务器之间的上述目标任务的下发、交互与上述目标任务的上报。
[0013]作为一种可选的示例，上述创建模块包括：分配单元，用于将上述目标任务的每一个子任务分配给上述目标容器实例，由上述目标容器实例对上述目标任务进行处理；或者将上述目标任务中的一部分子任务分配给上述目标容器实例，由上述目标容器实例进行处理，将剩余的子任务分配给上述大数据集群，由上述大数据集群进行处理。
[0014]根据本专利技术实施例的又一方面，还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被处理器运行时执行上述任务处理方法。
[0015]根据本专利技术实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过上述计算机程序执行上述的任务处理方法。
[0016]在本专利技术实施例中，采用了在大数据集群接收到待处理的目标任务的情况下，获取上述大数据集群的可用资源量；在上述可用资源量不足以处理上述目标任务的情况下，在容器集群内创建目标容器实例，以通过运行上述目标容器实例来协助上述大数据集群处理上述目标任务；在上述目标任务处理完成后，控制上述容器集群删除创建的上述目标容器实例的方法，由于在上述方法中，在大数据集群处理目标任务时，如果自身的可用资源量不够，则会由容器集群创建目标容器实例，帮助大数据集群处理目标任务，从而实现了大数据集群的资源与容器集群的资源混用，且不会浪费资源的目的，进而解决了大数据集群与容器集群的资源混用时，资源浪费的技术问题。
附图说明
[0017]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0018]图1是根据本专利技术实施例的一种可选的任务处理方法的流程图；
[0019]图2是根据本专利技术实施例的一种可选的任务处理方法的大数据计算集群借用容器集群的资源的示意图；
[0020]图3是根据本专利技术实施例的一种可选的任务处理方法的yarn的架构图；
[0021]图4是根据本专利技术实施例的一种可选的任务处理方法的系统架构图；
[0022]图5是根据本专利技术实施例的一种可选的任务处理方法的系统流程图；
[0023]图6是根据本专利技术实施例的一种可选的任务处理装置的结构示意图；
[0024]图7是根据本专利技术实施例的一种可选的电子设备的示意图。
具体实施方式
[0025]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0026]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0027]根据本专利技术实施例的第一方面，提供了一种任务处理方法，可选地，如图1所示，上述方法包括：
[0028]S102，在大数据集群接收到待处理的目标任务本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务处理方法，其特征在于，包括：在大数据集群接收到待处理的目标任务的情况下，获取所述大数据集群的可用资源量；在所述可用资源量不足以处理所述目标任务的情况下，在容器集群内创建目标容器实例，以通过运行所述目标容器实例来协助所述大数据集群处理所述目标任务；在所述目标任务处理完成后，控制所述容器集群删除创建的所述目标容器实例。2.根据权利要求1所述的方法，其特征在于，大数据集群接收到待处理的目标任务包括：在所述大数据集群接收到待处理的第一任务的情况下，获取所述第一任务的任务标签；在所述任务标签为第一标签的情况下，将所述第一任务确定为所述目标任务，其中，所述第一标签用于指示所述第一任务被允许由所述容器集群处理。3.根据权利要求1所述的方法，其特征在于，所述在所述可用资源量不足以处理所述目标任务的情况下，在容器集群内创建目标容器实例包括：将所述目标任务的所需资源量发送给所述容器集群，由所述容器集群根据所述所需资源量创建所述目标容器实例，其中，所述目标容器实例内置有大数据集群计算进程。4.根据权利要求3所述的方法，其特征在于，所述将所述目标任务的所需资源量发送给所述容器集群，由所述容器集群根据所述所需资源量创建所述目标容器实例包括：所述容器集群在创建所述目标容器实例时，根据所述所需资源量确定所述目标容器实例能够使用的资源上限和资源下限；按照所述资源上限和所述资源下限创建所述目标容器实例。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：在所述容器集群接收到待处理的第二任务的情况下，在所述容器集群的可用资源量不足以处理所述第二任务的情况下，控制所述容器集群降低所述目标容器实例的所述...

【专利技术属性】
技术研发人员：赵宇，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：