流式计算任务管理方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术的实施例提供了一种流式计算任务管理方法、装置、电子设备以及存储介质，涉及数据处理技术领域。该流式计算任务管理方法包括：接收对目标任务的执行请求；根据所述执行请求，从多个计算引擎中确定与所述目标任务相对应的计算引擎；基于确定的计算引擎执行所述目标任务。本发明专利技术实施例的技术方案实现了基于一套系统来管理多个计算引擎的目的，满足了多种应用场景下的任务管理需求，同时能够提高任务处理效率。

【技术实现步骤摘要】
流式计算任务管理方法、装置、电子设备及存储介质
本专利技术涉及数据处理
，具体而言，涉及一种流式计算任务管理方法、流式计算任务管理装置、电子设备以及计算机可读存储介质。
技术介绍
随着互联网技术的发展，数据量呈爆炸式增长。流式计算是处理大数据的一种重要计算模式，已成为大数据的研究热点。任务是流式计算系统中数据处理逻辑执行的基本单元，也是流式计算系统资源调度的基本单位，任务管理是流式计算系统的核心功能之一。目前，流式计算的任务管理都是在单一的流式计算引擎下进行。这种流式计算任务管理仅基于单一计算引擎，支持的业务场景过于单一。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本专利技术背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本专利技术的目的在于提供一种流式计算任务管理方法、流式计算任务管理装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。根据本专利技术实施例的第一方面，提供了一种流式计算任务管理方法，包括：接收对目标任务的执行请求；根据所述执行请求，从多个计算引擎中确定与所述目标任务相对应的计算引擎；基于确定的计算引擎执行所述目标任务。在本专利技术的一些实施例中，基于前述方案，所述流式计算任务管理方法还包括：在接收对目标任务的执行请求之前，创建所述目标任务，具体包括：创建所述目标任务对应的业务项目组；若所述业务项目组存在剩余资源，则根据所述目标任务的配置参数确定与所述目标任务对应的计算引擎及计算逻辑；根据所述剩余资源、所述计算引擎及所述计算逻辑，创建所述目标任务。在本专利技术的一些实施例中，基于前述方案，根据所述目标任务的配置参数确定与所述目标任务对应的计算引擎及计算逻辑，包括：根据所述目标任务的配置参数中包含的计算引擎参数确定与所述目标任务对应的计算引擎；根据所述目标任务的配置参数中包含的程序包参数判断是否存在与所述目标任务对应的程序包；在判定存在与所述目标任务对应的程序包时，解析所述程序包，以得到所述计算逻辑。在本专利技术的一些实施例中，基于前述方案，在判定不存在与所述目标任务对应的程序包时，所述流式计算任务管理方法还包括：提示用户上传所述程序包；或获取用户提交的SQL脚本，根据所述SQL脚本获取所述计算逻辑。在本专利技术的一些实施例中，基于前述方案，创建所述目标任务，还包括：确定请求创建所述目标任务的用户的业务等级；根据所述业务等级判断与所述目标任务对应的业务项目组是否存在剩余资源。在本专利技术的一些实施例中，基于前述方案，所述流式计算任务管理方法还包括：在创建所述目标任务时，记录所述目标任务的版本信息；在每次修改所述目标任务后，生成新的版本信息，并记录所述新的版本信息。在本专利技术的一些实施例中，基于前述方案，所述流式计算任务管理方法还包括：通过图形用户界面对所述目标任务进行管理，其中，所述图形用户界面上呈现的操作控件与所述目标任务所处的状态相关联。在本专利技术的一些实施例中，基于前述方案，所述流式计算任务管理方法还包括：监控并呈现处理成功的任务数、处理失败的任务数以及延迟积压的任务数。在本专利技术的一些实施例中，基于前述方案，所述流式计算任务管理方法还包括：在所述目标任务的执行过程中，若监测到任一异常指标的值到达预定阈值时，则发出报警信息。根据本专利技术实施例的第二方面，提供了一种流式计算任务管理装置，包括：接收单元，用于接收对目标任务的执行请求；引擎确定单元，用于根据所述执行请求，从多个计算引擎中确定与所述目标任务相对应的计算引擎；执行单元，用于基于确定的计算引擎执行所述目标任务。根据本专利技术实施例的第三方面，提供了一种电子设备，包括：处理器；以及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如上述第一方面所述的流式计算任务管理方法。根据本专利技术实施例的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的流式计算任务管理方法。在本专利技术的一些实施例所提供的技术方案中，根据对目标任务的执行请求从多个计算引擎中确定对应的计算引擎，基于确定的计算引擎执行目标任务。一方面，根据对目标任务的执行请求从多个计算引擎中确定对应的计算引擎，与现有技术相比，能够从多个计算引擎中选取与目标任务相匹配的计算引擎，实现了基于一套系统来管理多个计算引擎的目的；另一方面，基于确定的计算引擎执行目标任务，由于计算引擎与目标任务的处理需求相匹配，不仅能够满足多种应用场景下的任务管理需求，还能够提高任务处理效率。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1示出了根据本专利技术的一个示例性实施例的流式计算任务管理方法的流程示意图；图2示出了根据本专利技术的示例性实施例的流式计算任务管理的操作控件与任务状态的对应关系示意图；图3示出了根据本专利技术的示例性实施例的创建流式计算任务的流程示意图；图4示出了根据本专利技术的示例实施例的基于不同计算引擎的流式计算平台的架构示意图；图5示出了根据本专利技术的示例性实施例的流式计算任务信息查看模块的结构示意图；图6示出了根据本专利技术的一个示例性实施例的流式计算任务管理装置的示意框图；图7示出了适于用来实现本专利技术实施例的电子设备的计算机系统的结构示意图。具体实施方式现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本专利技术将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本专利技术的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本专利技术的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本专利技术的各方面。附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。首先，图1示出了根据本专利技术的第一个示例实施例的流式计算任务管理方法。参照图1所示，该流式计算任务管理方法可以包括以下步骤：步骤S110，接收对目标任务的执行请求；步骤S120，根据所述执行请求，从多个计算引擎中确定与所述目标任务相本文档来自技高网...

【技术保护点】
1.一种流式计算任务管理方法，其特征在于，包括：接收对目标任务的执行请求；根据所述执行请求，从多个计算引擎中确定与所述目标任务相对应的计算引擎；基于确定的计算引擎执行所述目标任务。

【技术特征摘要】
1.一种流式计算任务管理方法，其特征在于，包括：接收对目标任务的执行请求；根据所述执行请求，从多个计算引擎中确定与所述目标任务相对应的计算引擎；基于确定的计算引擎执行所述目标任务。2.根据权利要求1所述的流式计算任务管理方法，其特征在于，所述流式计算任务管理方法还包括：在接收对目标任务的执行请求之前，创建所述目标任务，具体包括：创建所述目标任务对应的业务项目组；若所述业务项目组存在剩余资源，则根据所述目标任务的配置参数确定与所述目标任务对应的计算引擎及计算逻辑；根据所述剩余资源、所述计算引擎及所述计算逻辑，创建所述目标任务。3.根据权利要求2所述的流式计算任务管理方法，其特征在于，根据所述目标任务的配置参数确定与所述目标任务对应的计算引擎及计算逻辑，包括：根据所述目标任务的配置参数中包含的计算引擎参数确定与所述目标任务对应的计算引擎；根据所述目标任务的配置参数中包含的程序包参数判断是否存在与所述目标任务对应的程序包；在判定存在与所述目标任务对应的程序包时，解析所述程序包，以得到所述计算逻辑。4.根据权利要求3所述的流式计算任务管理方法，其特征在于，在判定不存在与所述目标任务对应的程序包时，所述流式计算任务管理方法还包括：提示用户上传所述程序包；或获取用户提交的SQL脚本，根据所述SQL脚本获取所述计算逻辑。5.根据权利要求2所述的流式计算任务管理方法，其特征在于，创建所述目标任务，还包括：确定请求创建所述目标任务的用户的业务等级；根据所述业务等级判断与所述目标任务对应的业务项目组是否存在...

【专利技术属性】
技术研发人员：马跃，曹东阳，孙爱林，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京,11