【技术实现步骤摘要】
本申请涉及大数据，尤其涉及一种yarn队列任务调度处理方法、装置、及电子设备。
技术介绍
1、hadoop yarn(hadoop yet another resource negotiator)作为一种资源管理器，可进行集群资源管理和任务调度，资源调度器是进行集群资源管理的核心组件，常用的资源调度器包括先进先出(fifo)调度器、容量(capacity)调度器、公平(fair)调度器。容量调度器通常以队列为单位划分资源，队列以分层方式组织资源，例如，通过为每个组织或用户分配专门的队列，再为每个队列分配一定的资源，从而实现多个用户或组织对集群资源的共享。
2、通过容量调度器以队列为单位的方式划分资源，会为每个队列提前配置对应的资源，即使该队列中没有作业，该队列对应的资源也不会被其它队列利用。一些情况下，服务于小作业任务的队列需要周期性服务大作业任务，但相较于小作业任务，队列服务大作业任务需要更多的资源，而如果为满足大作业任务的运行需求为队列增加额外的资源，会造成非大作业任务期间资源的闲置，从而导致集群资源的使用率较低，造成资源浪费。
技术实现思路
1、为了提高集群资源的利用率，避免资源浪费，本申请提供了一种yarn队列任务调度处理方法、装置、电子设备及存储介质。
2、第一方面，本申请提供了一种yarn队列任务调度处理方法，包括：
3、接收目标作业的yarn队列调度请求，所述yarn队列调度请求携带请求参数，所述请求参数包括：目标作业的用户信息、y
4、若所述yarn队列信息指示的目标队列为共享队列，则基于第一预设鉴权策略对所述请求参数进行鉴权，所述第一预设鉴权策略包括：用户权限、时间周期表达式、至少一个时间窗口、以及所述共享队列的队列名称，所述时间周期表达式用于指示共享队列在一个调度周期内的起始调度时间；
5、若基于所述第一预设鉴权策略对所述请求参数鉴权通过，则将所述目标作业提交至所述共享队列，以通过调度所述共享队列对应的已配置资源执行所述目标作业。
6、作为本申请实施例一种可选的实施方式，所述yarn队列信息包括：yarn队列名称；
7、所述基于第一预设鉴权策略对所述请求参数进行鉴权，包括：
8、确定所述yarn队列名称与所述共享队列的队列名称是否匹配；
9、若匹配，则根据所述用户权限确定所述用户信息所指示的用户是否具有向所述共享队列提交作业的权限；
10、若确定所述用户信息所指示的用户具有向所述共享队列提交作业的权限，则根据所述时间周期表达式和所述至少一个时间窗口确定所述目标作业的提交时间是否合法；
11、若确定所述目标作业的提交时间合法，则所述请求参数鉴权通过。
12、作为本申请实施例一种可选的实施方式，所述根据所述时间周期表达式和所述至少一个时间窗口确定所述目标作业的提交时间是否合法，包括：
13、确定所述目标作业的提交时间是否位于以所述时间周期表达式所指示的时间为起始时间的所述至少一个时间窗口内；
14、若确定所述目标作业的提交时间位于所述至少一个时间窗口中的任意一个时间窗口内，则所述目标作业的提交时间合法。
15、作为本申请实施例一种可选的实施方式，所述方法还包括：
16、在确定所述yarn队列名称与所述共享队列的队列名称是否匹配之后，所述方法还包括：
17、根据所述第一预设鉴权策略的有效区间，确定所述目标作业的提交时间是否在所述有效区间内。
18、作为本申请实施例一种可选的实施方式，所述方法还包括：
19、若确定所述目标作业的提交时间早于所述有效区间的最小值，则拒绝将所述目标作业提交至所述共享队列；或，
20、若确定所述目标作业的提交时间晚于所述有效区间的最大值，则拒绝将所述目标作业提交至所述共享队列。
21、作为本申请实施例一种可选的实施方式，在确定所述yarn队列名称与所述共享队列的队列名称是否匹配之前，所述方法还包括：
22、判断所述用户信息所指示的用户是否合法；
23、若合法，则确定所述yarn队列名称与所述共享队列的队列名称是否匹配。
24、作为本申请实施例一种可选的实施方式，所述方法还包括：
25、若所述yarn队列信息指示的目标队列为独享队列，则基于第二预设鉴权策略对所述请求参数进行鉴权，所述第二预设鉴权策略包括：用户权限和所述独享队列的队列名称；
26、若基于所述第二预设鉴权策略对所述请求参数鉴权通过，则将所述目标作业提交至目标独享队列，以通过调度所述目标独享队列对应的已配置资源执行所述目标作业。
27、作为本申请实施例一种可选的实施方式，所述基于第二预设鉴权策略对所述请求参数进行鉴权，包括：
28、确定所述yarn队列名称与目标独享队列的队列名称是否匹配；
29、若匹配，则根据所述用户权限确定所述用户信息所指示的用户是否具有向所述目标独享队列提交作业的权限；
30、若确定所述用户信息所指示的用户具有向所述目标独享队列提交作业的权限，则所述请求参数鉴权通过。
31、第二方面，本申请提供一种yarn队列任务调度处理装置，包括：
32、接收模块，用于接收目标作业的yarn队列调度请求，所述yarn队列调度请求携带请求参数，所述请求参数包括：目标作业的用户信息、yarn队列信息、以及所述目标作业的提交时间；
33、鉴权模块，若所述yarn队列信息指示的目标队列为共享队列，则用于基于第一预设鉴权策略对所述请求参数进行鉴权，所述第一预设鉴权策略包括：用户权限、时间周期表达式、至少一个时间窗口、以及所述共享队列的队列名称，所述时间周期表达式用于指示共享队列在一个调度周期内的起始调度时间；
34、提交模块，若基于所述第一预设鉴权策略对所述请求参数鉴权通过，则用于将所述目标作业提交至所述共享队列，以通过调度所述共享队列对应的已配置资源执行所述目标作业。
35、作为本申请实施例一种可选的实施方式，所述yarn队列信息包括：yarn队列名称；
36、所述鉴权模块，具体用于确定所述yarn队列名称与所述共享队列的队列名称是否匹配；
37、若匹配，则根据所述用户权限确定所述用户信息所指示的用户是否具有向所述共享队列提交作业的权限；
38、若确定所述用户信息所指示的用户具有向所述共享队列提交作业的权限，则根据所述时间周期表达式和所述至少一个时间窗口确定所述目标作业的提交时间是否合法；
39、若确定所述目标作业的提交时间合法，则所述请求参数鉴权通过。
40、作为本申请实施例一种可选的实施方式，所述鉴权模块，具体用于确定所述目标作业的提交时间是否位于以所述时间周期表达式所指示的时间为起始时间的所本文档来自技高网...
【技术保护点】
1.一种YARN队列任务调度处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述YARN队列信息包括：YARN队列名称；
3.根据权利要求2所述的方法，其特征在于，所述根据所述时间周期表达式和所述至少一个时间窗口确定所述目标作业的提交时间是否合法，包括：
4.根据权利要求2所述的方法，其特征在于，在确定所述YARN队列名称与所述共享队列的队列名称是否匹配之后，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
6.根据权利要求2所述的方法，其特征在于，在确定所述YARN队列名称与所述共享队列的队列名称是否匹配之前，所述方法还包括：
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
8.根据权利要求7所述的方法，其特征在于，所述基于第二预设鉴权策略对所述请求参数进行鉴权，包括：
9.一种YARN队列任务调度处理装置，其特征在于，包括：
10.一种电子设备，包括：存储器和处理器，所述存储器存储有计算机程序，其特征在于，
...【技术特征摘要】
1.一种yarn队列任务调度处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述yarn队列信息包括：yarn队列名称；
3.根据权利要求2所述的方法，其特征在于，所述根据所述时间周期表达式和所述至少一个时间窗口确定所述目标作业的提交时间是否合法，包括：
4.根据权利要求2所述的方法，其特征在于，在确定所述yarn队列名称与所述共享队列的队列名称是否匹配之后，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
6.根据权利要求2所...
【专利技术属性】
技术研发人员：李金鑫，袁东东，华迪，孙璐，
申请(专利权)人：中电云计算技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。