流式计算任务管理方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术的实施例提供了一种流式计算任务管理方法、装置、电子设备以及存储介质，涉及数据处理技术领域。该流式计算任务管理方法包括：接收对目标任务的执行请求；根据所述执行请求，从多个计算引擎中确定与所述目标任务相对应的计算引擎；基于确定的计算引擎执行所述目标任务。本发明专利技术实施例的技术方案实现了基于一套系统来管理多个计算引擎的目的，满足了多种应用场景下的任务管理需求，同时能够提高任务处理效率。

【技术实现步骤摘要】
流式计算任务管理方法、装置、电子设备及存储介质
本专利技术涉及数据处理
，具体而言，涉及一种流式计算任务管理方法、流式计算任务管理装置、电子设备以及计算机可读存储介质。
技术介绍
随着互联网技术的发展，数据量呈爆炸式增长。流式计算是处理大数据的一种重要计算模式，已成为大数据的研究热点。任务是流式计算系统中数据处理逻辑执行的基本单元，也是流式计算系统资源调度的基本单位，任务管理是流式计算系统的核心功能之一。目前，流式计算的任务管理都是在单一的流式计算引擎下进行。这种流式计算任务管理仅基于单一计算引擎，支持的业务场景过于单一。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本专利技术背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本专利技术的目的在于提供一种流式计算任务管理方法、流式计算任务管理装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。根据本专利技术实施例的第一方面，提供了一种流式计算任务管理方法，包括：接收对目标任务的执行请求；根据所述执行请求，从多个计算引擎中确定与所本文档来自技高网...

【技术保护点】
1.一种流式计算任务管理方法，其特征在于，包括：接收对目标任务的执行请求；根据所述执行请求，从多个计算引擎中确定与所述目标任务相对应的计算引擎；基于确定的计算引擎执行所述目标任务。

【技术特征摘要】
1.一种流式计算任务管理方法，其特征在于，包括：接收对目标任务的执行请求；根据所述执行请求，从多个计算引擎中确定与所述目标任务相对应的计算引擎；基于确定的计算引擎执行所述目标任务。2.根据权利要求1所述的流式计算任务管理方法，其特征在于，所述流式计算任务管理方法还包括：在接收对目标任务的执行请求之前，创建所述目标任务，具体包括：创建所述目标任务对应的业务项目组；若所述业务项目组存在剩余资源，则根据所述目标任务的配置参数确定与所述目标任务对应的计算引擎及计算逻辑；根据所述剩余资源、所述计算引擎及所述计算逻辑，创建所述目标任务。3.根据权利要求2所述的流式计算任务管理方法，其特征在于，根据所述目标任务的配置参数确定与所述目标任务对应的计算引擎及计算逻辑，包括：根据所述目标任务的配置参数中包含的计算引擎参数确定与所述目标任务对应的计算引擎；根据所述目标任务的配置参数中包含的程序包参数判断是否存在与所述目标任务对应的程序包；在判定存在与所述目标任务对应的程序包时，解析所述程序包，以得到所述计算逻辑。4.根据权利要求3所述的流式计算任务管理方法，其特征在于，在判定不存在与所述目标任务对应的程序包时，所述流式计算任务管理方法还包括：提示用户上传所述程序包；或获取用户提交的SQL脚本，根据所述SQL脚本获取所述计算逻辑。5.根据权利要求2所述的流式计算任务管理方法，其特征在于，创建所述目标任务，还包括：确定请求创建所述目标任务的用户的业务等级；根据所述业务等级判断与所述目标任务对应的业务项目组是否存在...

【专利技术属性】
技术研发人员：马跃，曹东阳，孙爱林，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京,11