作业请求方法、装置、电子设备及存储介质制造方法及图纸

技术编号:20745307 阅读:31 留言:0更新日期:2019-04-03 10:25
本申请提供一种作业请求方法、装置、电子设备及存储介质,资源调度平台由至少一个资源队列构成,每个资源队列对应一个租户,不同资源队列对应的租户不同,每个资源队列其仅用于处理与其对应的租户发送的作业请求;相应的,应用管理平台在接收到目标租户发送的作业请求后,可以确定资源调度平台中与该目标租户唯一对应的目标资源队列,进而由该目标资源队列处理该目标租户发送的该作业请求,得到该作业请求的请求结果并返回给该目标租户。基于此,应用管理平台可以将不同租户的作业请求发送到资源调度平台中不同的资源队列进行处理,实现了对不同租户之间计算资源的隔离。

【技术实现步骤摘要】
作业请求方法、装置、电子设备及存储介质
本专利技术属于大数据领域,涉及计算机软件技术,更具体地说,涉及一种作业请求方法、装置、电子设备及存储介质。
技术介绍
大数据时代,随着海量数据的产生,各种大数据处理框架应运而生,ApacheSpark即是其中的佼佼者。ApacheSpark提供多种运行模式,底层兼容不同资源调度平台。在SparkonYARN模式下对接ApacheHadoopYARN资源调度平台,通过向ApacheHadoopYARN资源调度平台请求计算资源,解决了单台服务器计算资源的限制。然而,虽然基于ApacheSpark开发的应用的运行选择SparkonYARN模式可以解决单台服务器计算资源的限制,但是,仍然存在应用逐渐被应用于各类政府和企业的数据系统时,不能满足多租户需求的问题。例如基于ApacheSpark开发的应用的运行选择SparkonYARN模式时,共用一个ApacheHadoopYARN资源调度平台,企业不同部门间无法做到计算资源的隔离。
技术实现思路
有鉴于此,本专利技术提供一种作业请求方法、装置、电子设备及存储介质,以实现不同租户之间计算资源的隔离。技术方案如下:一种作业请求方法,包括:应用管理平台接收目标租户发送的作业请求;所述应用管理平台确定资源调度平台中仅用于处理所述目标租户发送的作业请求的目标资源队列,所述资源调度平台由至少一个资源队列构成,不同资源队列对应不同租户,每个所述资源队列仅用于处理与其对应的租户发送的作业请求;所述应用管理平台向所述资源调度平台发送指示所述目标资源队列的所述作业请求,接收所述目标资源队列返回的所述作业请求的请求结果,并将所述请求结果返回给所述目标租户。优选的,所述应用管理平台包括分别与每个所述租户对应的多个应用实例,所述应用管理平台接收目标租户发送的作业请求,包括:应用管理平台中的目标应用实例接收目标租户发送的作业请求,所述目标应用实例为与所述目标租户对应的用于处理所述作业请求的应用实例。优选的,所述应用管理平台包括分别与每个租户对应的多个应用实例管理单元,每个所述应用实例管理单元中包括一个应用实例,所述应用管理平台中的目标应用实例接收目标租户发送的作业请求,包括:所述应用管理平台中的目标应用实例管理单元接收目标租户发送的作业请求,访问所述目标应用实例管理单元中的目标应用实例,以便所述目标应用实例接收所述作业请求。优选的,所述应用管理平台中的目标应用实例管理单元接收目标租户发送的作业请求,访问所述目标应用实例管理单元中的目标应用实例,包括:所述应用管理平台接收目标租户发送的作业请求;所述应用管理平台从本地存储的所述目标租户的各个应用实例管理单元的地址中,获取用于处理所述作业请求的目标应用实例管理单元的地址;所述应用管理平台中的目标应用实例管理单元接收所述应用管理平台基于所获取的地址发送的所述作业请求,访问所述目标应用实例管理单元中的目标应用实例。优选的,所述应用管理平台确定资源调度平台中仅用于处理所述目标租户发送的作业请求的目标资源队列,包括:所述应用管理平台中的目标应用实例确定预先设置的与其关联的资源队列,所确定的资源队列为所述资源调度平台中仅用于处理所述目标租户发送的作业请求的目标资源队列。优选的,所述应用管理平台中的目标应用实例确定预先设置的与其关联的资源队列,包括:所述应用管理平台中的目标应用实例获取其所属的容器中挂载的配置文件;所述目标应用实例将所述配置文件指示的资源队列确定为预先设置的与其关联的资源队列。优选的,还包括:所述应用管理平台监控所述应用管理平台中各个应用实例的状态信息;所述应用管理平台根据各个所述应用实例的状态信息以及每个所述应用实例对应的租户,得到分别与每个租户对应的各个应用实例的状态信息。优选的,该方法还包括:所述应用管理平台获取当前的集群资源分配信息,所述应用管理平台和所述资源调度平台运行于包括多个节点的集群,所述集群资源分配信息指示所述应用管理平台和所述资源调度平台对所述集群资源的分配情况;基于当前的集群资源分配信息,对所述应用管理平台和所述资源调度平台对所述集群资源的分配情况进行平衡管理。一种作业请求装置,包括:作业请求接收单元,用于接收目标租户发送的作业请求;目标资源队列确定单元,用于确定资源调度平台中仅用于处理所述目标租户发送的作业请求的目标资源队列,所述资源调度平台由至少一个资源队列构成,不同资源队列对应不同租户,每个所述资源队列仅用于处理与其对应的租户发送的作业请求;作业请求单元,用于向所述资源调度平台发送指示所述目标资源队列的所述作业请求,接收所述目标资源队列返回的所述作业请求的请求结果,并将所述请求结果返回给所述目标租户。一种电子设备,存储器以及处理器,所述存储器,用于存储程序,所述程序用于实现所述作业请求方法;所述处理器,用于调用并执行所述存储器中存储的程序。一种存储介质,所述存储介质中存储有计算机可执行指令,所述计算机可执行指令用于执行所述作业请求方法。本申请提供一种作业请求方法、装置、电子设备及存储介质,资源调度平台由至少一个资源队列构成,每个资源队列对应一个租户,不同资源队列对应的租户不同,每个资源队列其仅用于处理与其对应的租户发送的作业请求;相应的,应用管理平台在接收到目标租户发送的作业请求后,可以确定资源调度平台中与该目标租户唯一对应的目标资源队列,进而由该目标资源队列处理该目标租户发送的该作业请求,得到该作业请求的请求结果并返回给该目标租户。基于此,应用管理平台可以将不同租户的作业请求发送到资源调度平台中不同的资源队列进行处理,实现了对不同租户之间计算资源的隔离。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。图1为本申请实施例提供的一种作业请求系统的结构示意图;图2为本申请实施例提供的一种作业请求方法流程图;图3为本申请实施例提供的一种作业请求方法流程示意图;图4为本申请实施例提供的一种应用管理平台中的目标应用实例管理单元接收目标租户发送的作业请求,访问目标应用实例管理单元中的目标应用实例的方法流程图;图5为本申请实施例提供的一种作业请求装置的结构示意图;图6为本申请实施例提供的一种作业请求接收单元的详细结构示意图。具体实施方式下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本专利技术的一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。实施例:图1为本申请实施例提供的一种作业请求系统的结构示意图。如图1所示,该系统包括:应用管理平台1,以及用于与应用管理平台通信连接的资源调度平台2;资源调度平台中包括至少一个资源队列21,每个资源队列21对应一个租户,并且不同的资源队列21的租户不同,资源队列21仅用于处理与其对应的租户发送的作业请求。在如图1所示的作业请求系统的基础上,本申请实施例还提供一种作业请求方法,请参见图2和本文档来自技高网...

【技术保护点】
1.一种作业请求方法,特征在于,包括:应用管理平台接收目标租户发送的作业请求;所述应用管理平台确定资源调度平台中仅用于处理所述目标租户发送的作业请求的目标资源队列,所述资源调度平台由至少一个资源队列构成,不同资源队列对应不同租户,每个所述资源队列仅用于处理与其对应的租户发送的作业请求;所述应用管理平台向所述资源调度平台发送指示所述目标资源队列的所述作业请求,接收所述目标资源队列返回的所述作业请求的请求结果,并将所述请求结果返回给所述目标租户。

【技术特征摘要】
1.一种作业请求方法,特征在于,包括:应用管理平台接收目标租户发送的作业请求;所述应用管理平台确定资源调度平台中仅用于处理所述目标租户发送的作业请求的目标资源队列,所述资源调度平台由至少一个资源队列构成,不同资源队列对应不同租户,每个所述资源队列仅用于处理与其对应的租户发送的作业请求;所述应用管理平台向所述资源调度平台发送指示所述目标资源队列的所述作业请求,接收所述目标资源队列返回的所述作业请求的请求结果,并将所述请求结果返回给所述目标租户。2.根据权利要求1所述的方法,其特征在于,所述应用管理平台包括分别与每个所述租户对应的多个应用实例,所述应用管理平台接收目标租户发送的作业请求,包括:应用管理平台中的目标应用实例接收目标租户发送的作业请求,所述目标应用实例为与所述目标租户对应的用于处理所述作业请求的应用实例。3.根据权利要求2所述的方法,其特征在于,所述应用管理平台包括分别与每个租户对应的多个应用实例管理单元,每个所述应用实例管理单元中包括一个应用实例,所述应用管理平台中的目标应用实例接收目标租户发送的作业请求,包括:所述应用管理平台中的目标应用实例管理单元接收目标租户发送的作业请求,访问所述目标应用实例管理单元中的目标应用实例,以便所述目标应用实例接收所述作业请求。4.根据权利要求3所述方法,其特征在于,所述应用管理平台中的目标应用实例管理单元接收目标租户发送的作业请求,访问所述目标应用实例管理单元中的目标应用实例,包括:所述应用管理平台接收目标租户发送的作业请求;所述应用管理平台从本地存储的所述目标租户的各个应用实例管理单元的地址中,获取用于处理所述作业请求的目标应用实例管理单元的地址;所述应用管理平台中的目标应用实例管理单元接收所述应用管理平台基于所获取的地址发送的所述作业请求,访问所述目标应用实例管理单元中的目标应用实例。5.根据权利要求2所述的方法,其特征在于,所述应用管理平台确定资源调度平台中仅用于处理所述目标租户发送的作业请求的目标资源队列,包括:所述应用管理平台中的目标应用实例确定预先设置的与其关联的资...

【专利技术属性】
技术研发人员:庞少强章海怒周一帆
申请(专利权)人:杭州数梦工场科技有限公司
类型:发明
国别省市:浙江,33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1