处理任务的方法、装置及终端设备制造方法及图纸

本申请适用于云监控技术领域，提供了处理任务的方法、装置、终端设备及存储介质，其中，一种处理任务的方法，包括：在检测到关于待处理的任务的指令之后，通过至少两个执行器中的活跃执行器处理任务，并且在处理任务的过程中，实时获取至少两个执行器上报的心跳数据；根据心跳数据，检测至少两个执行器的状态，状态包括可用状态和不可用状态；若检测到活跃执行器的状态为不可用状态，则将活跃执行器切换为备用执行器，并将目标备用执行器切换为活跃执行器，目标备用执行器对应的状态为可用状态；基于切换前的活跃执行器针对任务的处理信息，通过切换后的活跃执行器处理任务。通过切换后的活跃执行器处理任务。通过切换后的活跃执行器处理任务。

【技术实现步骤摘要】
处理任务的方法、装置及终端设备


[0001]本申请涉及云监控
，尤其涉及处理任务的方法、装置、终端设备及计算机可读存储介质。

技术介绍

[0002]随着大数据的发展，大数据处理在各个应用领域均有广泛的应用。在实际应用过程中，通常是通过服务器集群对大数据进行处理，以执行相应的任务。而目前，在通过服务器集群处理任务的过程中，若出现异常，通常会导致任务直接失败。可见，目前，通过服务器集群处理任务时容易受到任务执行过程中的异常的影响，可靠性较低。

技术实现思路

[0003]有鉴于此，本申请实施例提供了处理任务的方法、处理任务的装置、终端设备及计算机可读存储介质，以解决目前通过服务器集群处理任务时容易受到任务执行过程中的异常的影响，可靠性较低的问题。
[0004]第一方面，本申请实施例提供了一种处理任务的方法，包括：
[0005]在检测到关于待处理的任务的指令之后，通过至少两个执行器中的活跃执行器处理任务，并且在处理任务的过程中，实时获取至少两个执行器上报的心跳数据，服务器集群部署有至少两个执行器，至少两个执行器包括一个活跃执行器和至少一个备用执行器；
[0006]根据心跳数据，检测至少两个执行器的状态，状态包括可用状态和不可用状态；
[0007]若检测到活跃执行器的状态为不可用状态，则将活跃执行器切换为备用执行器，并将目标备用执行器切换为活跃执行器，目标备用执行器对应的状态为可用状态；
[0008]基于切换前的活跃执行器针对任务的处理信息，通过切换后的活跃执行器处理任务。
[0009]第二方面，本申请实施例提供了一种处理任务的装置，包括：
[0010]第一处理模块，用于在检测到关于待处理的任务的指令之后，通过至少两个执行器中的活跃执行器处理任务，并且在处理任务的过程中，实时获取至少两个执行器上报的心跳数据，服务器集群部署有至少两个执行器，至少两个执行器包括一个活跃执行器和至少一个备用执行器；
[0011]检测模块，用于根据心跳数据，检测至少两个执行器的状态，状态包括可用状态和不可用状态；
[0012]切换模块，用于若检测到活跃执行器的状态为不可用状态，则将活跃执行器切换为备用执行器，并将目标备用执行器切换为活跃执行器，目标备用执行器对应的状态为可用状态；
[0013]第二处理模块，用于基于切换前的活跃执行器针对任务的处理信息，通过切换后的活跃执行器处理任务。
[0014]第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器、显示器以及
存储在存储器中并可在处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现如第一方面的处理任务的方法。
[0015]第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如第一方面的处理任务的方法。
[0016]实施本申请实施例提供的处理任务的方法具有以下有益效果：通过本申请实施例，在检测到关于待处理的任务的指令之后，通过至少两个执行器中的活跃执行器处理任务，并且在处理任务的过程中，实时获取至少两个执行器上报的心跳数据，服务器集群部署有至少两个执行器，至少两个执行器包括一个活跃执行器和至少一个备用执行器；然后，根据心跳数据，检测至少两个执行器的状态，状态包括可用状态和不可用状态；若检测到活跃执行器的状态为不可用状态，则将活跃执行器切换为备用执行器，并将目标备用执行器切换为活跃执行器，再基于切换前的活跃执行器针对任务的处理信息，通过切换后的活跃执行器处理任务。此时，在处理任务的过程中，可以通过实时上传的心跳数据检测服务器集群中的各个执行器的状态，从而对执行器进行探活，以及时发现活跃执行器不可用等异常情况，并在发现异常情况之后，能够基于目标备用执行器及时进行活跃执行器的切换，从而使得任务可以继续执行，而无需重新查找资源并重头开始处理任务，提升了服务器集群处理任务的处理速度和可靠性。
附图说明
[0017]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0018]图1是本申请一实施例提供的一种处理任务的方法的流程示意图；
[0019]图2是本申请一实施例提供的一种系统架构示意图；
[0020]图3是本申请一实施例提供的服务器集群配置信息的一种示意图；
[0021]图4是本申请一实施例提供的一种信息交互示意图；
[0022]图5是本申请一实施例提供的一种处理任务的装置的结构示意图；
[0023]图6是本申请一实施例提供的终端设备的结构示意图。
具体实施方式
[0024]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0025]本申请实施例提供的处理任务的方法可以应用于服务器、台式电脑、手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra
‑
mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。
[0026]如图1所示，为本申请实施例的一种示例性的系统架构示意图。
[0027]其中，在一种具体示例中，终端设备可以包括控制模块，该控制模块可以部署于系统后端。
[0028]控制模块可以与服务器集群的执行器进行信息交互，以实现任务在执行器中的分配和管理。
[0029]此外，控制模块还可以从包含元数据的数据库中获取当前元数据，并管理元数据。该当前元数据包括：当前要执行的作业(Job)的元数据、Job状态信息、心跳数据以及当前的集群信息等等。控制模块还可以从指定存储空间(如第三方存储空间)中获取对应任务的执行数据等信息，以用于诸如执行器重启等操作。
[0030]执行器可以从控制模块获取相关任务的配置文件、元数据等信息，以处理任务，并通过回调函数实现处理任务时产生的特定事件(如任务执行完成事件)和状态(如异常状态)的回调。此外，执行器还可以向控制模块上报心跳数据。
[0031]执行器处理任务时的相关数据可以由对应的服务器集群采集之后上报至分布式日志系统，并可以在分布式日志系统中通过搜索引擎进行信息检索，以快速地定位异常问题，再将定位到的异常问题上报给终端设备中的控制模块。
[0032]此外，服务器集群还可以通过时序数据库实现对服务器集群中的运行指标等数据的统计，并上报至实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种处理任务的方法，其特征在于，包括：在检测到关于待处理的任务的指令之后，通过至少两个执行器中的活跃执行器处理所述任务，并且在处理所述任务的过程中，实时获取所述至少两个执行器上报的心跳数据，服务器集群部署有所述至少两个执行器，所述至少两个执行器包括一个活跃执行器和至少一个备用执行器；根据所述心跳数据，检测所述至少两个执行器的状态，所述状态包括可用状态和不可用状态；若检测到所述活跃执行器的状态为不可用状态，则将活跃执行器切换为备用执行器，并将目标备用执行器切换为活跃执行器，所述目标备用执行器对应的状态为可用状态；基于切换前的活跃执行器针对所述任务的处理信息，通过切换后的活跃执行器处理所述任务。2.如权利要求1所述的方法，其特征在于，还包括：若在处理所述任务的过程中，检测到所述服务器集群中的活跃服务器的切换次数大于预设次数阈值，则基于第一策略执行重启操作，所述第一策略指示对所述活跃执行器进行重启；若基于第一策略执行重启操作成功，则通过重启后的活跃服务器处理所述任务。3.如权利要求2所述的方法，其特征在于，在基于第一策略执行重启操作之后，还包括：若基于第一策略执行重启操作失败，则基于第二策略执行重启操作，所述第二策略指示对所述服务器集群中的备用执行器执行重启操作，基于第一策略执行重启操作失败的条件为：连续N次尝试对活跃执行器执行重启操作失败，或者，在指定时间段内，目标比值大于预设比值阈值，所述目标比值为指定时间段内，对活跃执行器执行重启操作失败的次数与对活跃执行器执行重启操作的总次数的比值，N为大于1的整数；若基于第二策略执行重启操作成功，则通过重启后的备用服务器处理所述任务。4.如权利要求3所述的方法，其特征在于，在基于第二策略执行重启操作之后，还包括：若基于第二策略执行重启操作失败，则基于第三策略执行重启操作，所述第三策略指示对所述服务器集群之外的其他服务器集群进行任务重启操作；若基于第三策略执行重启操作成功，则通过重启后的其他服务器集群处理所述任务。5.如权利要求4所述的方法，其特征在于，所述若基于第三策略执行重启操作成功，则通过重启后的其他服务器集群处理所述任务，包括：若基于第三策略执行重启操...

【专利技术属性】
技术研发人员：翟永青，
申请(专利权)人：未鲲上海科技服务有限公司，
类型：发明
国别省市：