【技术实现步骤摘要】
本公开的实施方式涉及大数据，更具体地，本公开的实施方式涉及一种基于大数据的物理计算资源配置系统、方法、介质及设备。
技术介绍
1、本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
2、在大数据
中，存在很多计算引擎，例如hive、spark、impala等，每种计算引擎可以支持一种或者多种物理计算资源，例如yarn集群中的yarn队列，k8s集群中的namespace(命名空间)，impala集群中的impala队列等。此外，同一种物理计算资源还可能有不同的版本，例如yarn队列有2.x、3.x等版本。
3、相关技术中，用户指定执行计算任务所需的物理计算资源，直接将计算任务与对应的物理计算资源进行绑定。但通常用户会需要执行很多个计算任务，如果用户想要统一更换计算任务绑定的物理计算资源的种类或者版本，则需要用户逐一修改每个计算任务与物理计算资源的绑定关系，操作繁琐，效率低下，用户体验差。
技术实现思路
1、有鉴于此，本公开提供一种基于大数据的物理计算资源配置系统、方法、介质及设备，以解决相关技术中的不足。
2、在本公开实施方式的第一方面中，提供了一种基于大数据的物理计算资源配置系统，包括资源管理组件、权限管理组件以及若干ui组件；
3、所述资源管理组件，用于生成若干逻辑计算资源，所述逻辑计算资源预先基于若干配置项的配置值与若干物理计算资源关联；
4、所述权
5、所述ui组件，用于响应于用户针对指定逻辑计算资源的触发操作，以使所述系统基于所述配置项的配置值，利用所述指定逻辑计算资源关联的若干物理计算资源执行当前计算任务；
6、其中，所述指定逻辑计算资源为与所述用户的用户权限匹配的逻辑计算资源。
7、可选的，所述系统还包括：
8、资源分配组件，用于基于用户的触发操作为当前计算任务分配与所述指定逻辑计算资源关联的若干物理计算资源；
9、任务管理组件，用于基于用户的触发操作为当前计算任务分配匹配的若干计算引擎，以使所述计算引擎利用所述分配的物理计算资源执行所述当前计算任务，所述计算引擎为所分配的物理计算资源适配的计算引擎。
10、可选的，所述逻辑计算资源的配置项包括所述逻辑计算资源适用的至少一种计算任务类型；
11、其中，所述计算任务类型至少包括以下任意一种：
12、离线调度任务、实时调度任务、即席查询任务和补数据任务。
13、可选的，所述逻辑计算资源的配置项包括生效时间，所述生效时间用于指定逻辑计算资源所关联的物理计算资源的生效时间段；
14、所分配的物理计算资源关联的生效时间包含执行所述当前任务的时间。
15、可选的，所述逻辑计算资源的配置项包括生效模式，所述生效模式包括开发模式和线上模式；
16、所分配的物理计算资源与关联的所述配置项的生效模式适配。
17、可选的，所述逻辑计算资源的配置项包括所述逻辑计算资源可用的若干计算引擎。
18、可选的，所述逻辑计算资源的配置项包括并发度和优先级策略，所述并发度用于表征所述逻辑计算资源能并行执行的最大计算任务量；所述资源管理组件还用于将超出所述并发度的任务放入处理队列；
19、所述优先级策略，用于规定所述处理队列中的计算任务的执行顺序。
20、可选的，所述逻辑计算资源的配置项包括均衡策略，用于确定所关联的若干物理计算资源的分配顺序。
21、在本公开实施方式的第二方面中，提供了一种基于大数据的物理计算资源配置方法，包括：
22、生成若干逻辑计算资源，所述逻辑计算资源预先基于若干配置项的配置值与若干物理计算资源关联；
23、生成若干用户权限，每种用户权限绑定有与所述用户权限对应的若干逻辑计算资源；
24、响应于用户针对指定逻辑计算资源的触发操作，基于所述配置项的配置值，利用所述指定逻辑计算资源关联的若干物理计算资源执行当前计算任务；
25、其中，所述指定逻辑计算资源为与所述用户的用户权限匹配的逻辑计算资源。
26、可选的，所述方法还包括：
27、基于用户的触发操作为当前计算任务分配与所述指定逻辑计算资源关联的若干物理计算资源；
28、基于用户的触发操作为当前任务分配匹配的若干计算引擎，以使所述计算引擎利用所述分配的物理计算资源执行所述当前计算任务，所述计算引擎为所分配的物理计算资源适配的计算引擎
29、可选的，所述逻辑计算资源的配置项包括以下任意一种：
30、所述逻辑计算资源适用的至少一种计算任务类型；其中，所述计算任务类型至少包括以下任意一种：离线调度任务、实时调度任务、即席查询任务和补数据任务；
31、生效时间，所述生效时间用于指定逻辑计算资源所关联的物理计算资源的生效时间段；所分配的物理计算资源关联的生效时间包含执行所述当前任务的时间；
32、生效模式，所述生效模式包括开发模式和线上模式；所分配的物理计算资源与关联的所述配置项的生效模式适配；
33、所述逻辑计算资源可用的若干计算引擎；
34、均衡策略，用于确定所关联的若干物理计算资源的分配顺序；
35、并发度，用于表征所述逻辑计算资源能并行执行的最大计算任务量；
36、优先级策略，用于规定处理队列中的计算任务的执行顺序；
37、所述方法还包括将超出所述并发度的任务放入处理队列。
38、在本公开实施方式的第三方面中，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第二方面所述的方法。
39、在本公开实施方式的第四方面中，提供了一种计算设备，包括：
40、处理器；
41、用于存储处理器可执行程序的存储器；
42、其中，所述处理器通过运行所述可执行程序以实现如上述第二方面所述的方法。
43、根据本公开实施方式，通过资源管理组件可以生成预先与若干物理计算资源关联的逻辑计算资源，用户可以通过ui组件指定与计算任务关联的逻辑计算资源，以使系统可以利用逻辑计算资源所关联的物理计算资源执行计算任务，用户可以为多个计算任务指定同一逻辑计算资源，可以通过修改该逻辑计算资源与物理计算资源的绑定关系，来统一更换执行计算任务所需的物理计算资源的种类或者版本，无需用户逐一修改每个计算任务与物理计算资源的绑定关系，操作简便，提升了效率和用户的使用体验。
本文档来自技高网...【技术保护点】
1.一种基于大数据的物理计算资源配置系统，其特征在于，包括资源管理组件、权限管理组件以及若干UI组件；
2.根据权利要求1所述的系统，其特征在于，所述系统还包括：
3.根据权利要求1所述的系统，其特征在于，所述逻辑计算资源的配置项包括所述逻辑计算资源适用的至少一种计算任务类型；
4.根据权利要求2所述的系统，其特征在于，所述逻辑计算资源的配置项包括生效时间，所述生效时间用于指定逻辑计算资源所关联的物理计算资源的生效时间段；
5.根据权利要求2所述的系统，其特征在于，所述逻辑计算资源的配置项包括生效模式，所述生效模式包括开发模式和线上模式；
6.根据权利要求2所述的系统，其特征在于，所述逻辑计算资源的配置项包括所述逻辑计算资源可用的若干计算引擎。
7.根据权利要求1所述的系统，其特征在于，所述逻辑计算资源的配置项包括并发度和优先级策略，所述并发度用于表征所述逻辑计算资源能并行执行的最大计算任务量；所述资源管理组件还用于将超出所述并发度的任务放入处理队列；
8.一种基于大数据的物理计算资源配置方法，其
9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求8所述的方法。
10.一种计算设备，其特征在于，包括：
...【技术特征摘要】
1.一种基于大数据的物理计算资源配置系统，其特征在于，包括资源管理组件、权限管理组件以及若干ui组件；
2.根据权利要求1所述的系统，其特征在于，所述系统还包括：
3.根据权利要求1所述的系统，其特征在于，所述逻辑计算资源的配置项包括所述逻辑计算资源适用的至少一种计算任务类型；
4.根据权利要求2所述的系统，其特征在于，所述逻辑计算资源的配置项包括生效时间，所述生效时间用于指定逻辑计算资源所关联的物理计算资源的生效时间段；
5.根据权利要求2所述的系统，其特征在于，所述逻辑计算资源的配置项包括生效模式，所述生效模式包括开发模式和线上模式；
【专利技术属性】
技术研发人员：郭忆，李卓豪，王金杰，徐华，余利华，
申请(专利权)人：杭州网易数之帆科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。