【技术实现步骤摘要】
本申请实施例涉及计算机领域，尤其涉及一种计算资源的管理方法以及装置。
技术介绍
1、随着云原生技术的发展，越来越多的用户已经将应用已经迁移到kubernetes集群上。但是，在一些客户的应用场景中，例如大数据处理场景，为了保证数据的安全性，用户仍使用构建在物理机上的hadoop集群中的资源进行任务处理。因此，如何协同kubernetes集群与hadoop集群的资源，使得资源利用率最大化，成为各企业亟待解决的问题。
2、目前的kubernetes集群与hadoop集群的统一管理平台在管理过程中，统一管理平台直接在kubernetes集群的容器上创建hadoop集群的镜像文件，利用kubernetes集群的计算资源执行任务，计算资源的管理也在kubernetes集群的管理平台上进行。
3、由于目前kubernetes集群的计算资源无法支持多个hadoop集群等大数据平台共用，同时单个任务无法进行跨kubernetes集群和hadoop集群的调度，从而导致统一管理平台对kubernetes集群与hadoop集群的跨不同计算资源集群的计算资源管理效果差。
技术实现思路
1、本申请实施例提供了一种计算资源的管理方法以及装置，用于提升跨不同计算资源集群的计算资源管理效果。
2、本申请实施例第一方面提供了一种计算资源的管理方法，该方法应用于计算资源系统的一级管理平台，一级管理平台用于管理不同类型的计算资源集群，不同类型的集群包括以下至少两种：容器集群、虚拟机集
3、本申请实施例中计算设备集群通过两级计算资源系统对不同类型的计算资源集群进行管理，其中一级管理平台用于对不同类型的计算资源集群进行伸缩管理，二级管理平台用于对计算资源集群内计算资源进行管理，由于一级管理平台能够同时对多个计算资源集群进行管理，从而能够实现多个第一集群共用第二集群的计算资源，提升了跨不同计算资源集群的计算资源管理效果。
4、一种可能的实施方式中，计算资源集群包括海杜普hadoop集群和容器编排引擎kubernetes集群。二级管理平台包括hadoop集群的管理平台和kubernetes集群的管理平台。
5、本申请实施例中提供的两级计算资源系统能够实现多个hadoop集群共用kubernetes集群的计算资源，提升了跨hadoop集群和kubernetes集群的计算资源管理效果。
6、一种可能的实施方式中，一级管理平台获取第二集群的剩余计算资源容量，一级管理平台根据扩容请求、资源伸缩策略和剩余计算资源脑容量确定扩容响应，扩容响应用于指示第一集群向第二集群请求计算资源。一级管理平台向第一集群的二级管理平台发送扩容响应。
7、本申请实施例中一级管理平台能够根据第一集群的二级管理平台发送的扩容请求，向第一集群发送扩容响应，从而指示第一集群向第二集群扩展计算资源，从而扩展了第一集群的计算资源，提升了第二集群的计算资源利用率。
8、一种可能的实施方式中，一级管理平台接收第一集群的二级管理平台发送的缩容请求。一级管理平台根据计算资源请求和资源伸缩策略向第一集群的二级管平台发送计算资源响应的过程中，一级管理平台根据缩容请求和资源伸缩策略确定缩容响应，缩容响应用于第一集群向第二集群请求释放计算资源。一级管理平台向第一集群的二级管理平台发送缩容响应。
9、本申请实施例中一级管理平台能够根据第一集群的二级管理平台发送缩容请求，向第一集群发送缩容响应，从而指示第一集群向第二集群请求释放计算资源，从而及时释放扩展的第二集群的计算资源，提升了第二集群的计算资源利用效率。
10、一种可能的实施方式中，当计算资源集群已经创建完成时，一级管理平台接收计算资源集群的二级管理平台的纳管请求。或者，当计算资源集群还未创建时，一级管理平台创建二级管理平台对应的计算资源集群。
11、本申请实施例中一级管理平台能够创建一个或多个计算资源集群进行统一管理，也可以接收已经创建完成的计算资源集群发送的纳管请求，从而提升不同计算资源集群的管理效果。
12、一种可能的实施方式中，一级管理平台接收二级管理平台发送的负载监控信息，负载监控信息包括以下一项或多项：中央处理器利用率、内存利用率和磁盘利用率。一级管理平台根据二级管理平台发送的负载监控信息确定各个计算资源集群的剩余计算资源容量。
13、本申请实施例中一级管理平台能够接收不同计算资源集群的二级管理平台上报负载监控信息，并基于负载监控信息确定各个计算资源集群的剩余计算资源容量，从而提升了一级管理平台对不同计算资源集群的计算资源调度效果。
14、一种可能的实施方式中，计算资源系统还包括临时数据交换服务单元，二级管理平台对应的计算资源集群将执行计算任务产生的临时数据存储至临时数据交换服务单元。具体的，临时数据交换服务单元能够存储hadoop集群和kubernetes集群的产生的临时数据，从而避免了kubernetes集群对本地盘的依赖。
15、本申请实施例中计算资源系统通过临时数据交换服务单元存储不同计算资源集群产生临时数据，避免了本身不含本地盘的计算资源集群(例如，kubernetes集群)对于本地盘的依赖，从而降低了计算资源集群的成本。
16、本申请实施例第二方面提供了一种计算资源的管理方法，该方法应用于计算资源系统的二级管理平台，二级管理平台用于管理计算资源集群内的计算资源，计算资源系统还包括一级管理平台，一级管理平台用于管理不同类型的计算资源集群，不同类型的集群包括以下至少两种：容器集群、虚拟机集群和物理机集群，第二方面提供的方法包括：第一集群的二级管理平台向一级管理平台发送扩容请求，扩容请求用于请求增加执行第一计算任务所需的计算资源。第一集群的二级管平台接收一级管理平台发送的扩容响应，扩容响应用于指示第一集群向第二集群请求增加计算资源，第一集群和第二集群为不同类型的计算资源集群。
17、本申请实施例中第一集群的二级管理平台能够基于一级管理平台发送的扩容响应向第二集群请求就资源，从而使得第一集群能够利用第二集群的计算资源，同时，一级管理平台能够同时对多个计算资源集群进行管理，从而使得多个第一集群共用第二集群的计算资源，提升了跨不同计算资源集群的计算资源管理效果。
18、一种可能的实施方式中，第一集群的二级管理平台接收第二集群的计算节点发送的节点监控信息，节点本文档来自技高网...
【技术保护点】
1.一种计算资源的管理方法，其特征在于，应用于计算资源的管理系统中的一级管理平台，所述计算资源用于执行大数据计算任务，所述计算资源中包括多个计算资源集群，所述一级管理平台用于管理所述多个计算资源集群，所述多个计算资源集群包含多种类型的集群，所述多种类型的集群包括以下至少两种：容器集群、虚拟机集群和物理机集群，所述管理系统还包括二级管理平台，所述二级管理平台用于管理每个计算资源集群内的计算资源，所述多个计算资源集群包括第一集群和第二集群，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述计算资源集群包括海杜普Hadoop集群和容器编排引擎Kubernetes集群。
3.根据权利要求1或2所述的方法，其特征在于，所述一级管理平台根据所述扩容请求为所述第一计算任务分配所述第二集群中的计算资源，并向所述第一集群的二级管平台发送扩容响应包括：
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：
6.根据权利要求1至5中任一项所述
7.一种计算资源的管理方法，其特征在于，应用于计算资源的管理系统中的二级管理平台，所述计算资源中包括多个计算资源集群，所述二级管理平台用于管理每个计算资源集群内的计算资源，所述多个计算资源集群包含多种类型的集群，所述多种类型的集群包括以下至少两种：容器集群、虚拟机集群和物理机集群，所述管理系统还包括一级管理平台，所述一级管理平台用于管理所述多个计算资源集群，所述多个计算资源集群包括第一集群和第二集群，所述方法包括：
8.根据权利要求7所述的方法，其特征在于，所述计算资源的系统还包括临时数据交换服务单元，所述方法还包括：
9.根据权利要求7或8所述的方法，其特征在于，所述方法还包括：
10.根据权利要求7至9中任一项所述的方法，其特征在于，所述方法包括：
11.一种计算资源的管理装置，其特征在于，应用于计算资源的管理系统中的一级管理平台，所述计算资源用于执行大数据计算任务，所述计算资源中包括多个计算资源集群，所述一级管理平台用于管理所述多个计算资源集群，所述多个计算资源集群包含多种类型的集群，所述多种类型的集群包括以下至少两种：容器集群、虚拟机集群和物理机集群，所述管理系统还包括二级管理平台，所述二级管理平台用于管理每个计算资源集群内的计算资源，所述多个计算资源集群包括第一集群和第二集群，所述管理装置包括：
12.根据权利要求11所述的装置，其特征在于，所述计算资源集群包括海杜普Hadoop集群和容器编排引擎Kubernetes集群。
13.根据权利要求11或12所述的装置，其特征在于，所述处理单元具体用于：
14.根据权利要求11至13中任一项所述的装置，其特征在于，所述收发单元还用于：
15.根据权利要求11至14中任一项所述的装置，其特征在于，所述收发单元还用于：
16.根据权利要求11至15中任一项所述的装置，其特征在于，所述方法还包括：
17.一种计算资源的管理装置，其特征在于，应用于计算资源的管理系统中的二级管理平台，所述计算资源中包括多个计算资源集群，所述二级管理平台用于管理每个计算资源集群内的计算资源，所述多个计算资源集群包含多种类型的集群，所述多种类型的集群包括以下至少两种：容器集群、虚拟机集群和物理机集群，所述管理系统还包括一级管理平台，所述一级管理平台用于管理所述多个计算资源集群，所述多个计算资源集群包括第一集群和第二集群，所述管理装置包括：
18.根据权利要求17所述的装置，其特征在于，所述计算资源的系统还包括临时数据交换服务单元，所述收发单元还用于：
19.根据权利要求17或18所述的装置，其特征在于，所述收发单元还用于：
20.根据权利要求17至19中任一项所述的装置，其特征在于，所述管理装置还包括处理单元，所述处理单元用于：
21.一种计算设备集群，其特征在于，包括处理器，所述处理器与存储器耦合，所述处理器用于存储指令，当所述指令被所述处理器执行时，以使得所述计算设备集群执行权利要求1至6中任一项所述的方法，或者，以使得所述计算设备集群执行权利要求7至10中任一项所述的方法。
22.一种计算机可读存储介质，其上存储有指令，其特征在于，所述指令被执行时，以使得计算机执行权利要求1至6中任一项所述的方法，或者，以使得计算机执行权利要求7至10中任一项所述的方法。
23.一种计算机程序产...
【技术特征摘要】
1.一种计算资源的管理方法，其特征在于，应用于计算资源的管理系统中的一级管理平台，所述计算资源用于执行大数据计算任务，所述计算资源中包括多个计算资源集群，所述一级管理平台用于管理所述多个计算资源集群，所述多个计算资源集群包含多种类型的集群，所述多种类型的集群包括以下至少两种：容器集群、虚拟机集群和物理机集群，所述管理系统还包括二级管理平台，所述二级管理平台用于管理每个计算资源集群内的计算资源，所述多个计算资源集群包括第一集群和第二集群，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述计算资源集群包括海杜普hadoop集群和容器编排引擎kubernetes集群。
3.根据权利要求1或2所述的方法，其特征在于，所述一级管理平台根据所述扩容请求为所述第一计算任务分配所述第二集群中的计算资源，并向所述第一集群的二级管平台发送扩容响应包括：
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：
7.一种计算资源的管理方法，其特征在于，应用于计算资源的管理系统中的二级管理平台，所述计算资源中包括多个计算资源集群，所述二级管理平台用于管理每个计算资源集群内的计算资源，所述多个计算资源集群包含多种类型的集群，所述多种类型的集群包括以下至少两种：容器集群、虚拟机集群和物理机集群，所述管理系统还包括一级管理平台，所述一级管理平台用于管理所述多个计算资源集群，所述多个计算资源集群包括第一集群和第二集群，所述方法包括：
8.根据权利要求7所述的方法，其特征在于，所述计算资源的系统还包括临时数据交换服务单元，所述方法还包括：
9.根据权利要求7或8所述的方法，其特征在于，所述方法还包括：
10.根据权利要求7至9中任一项所述的方法，其特征在于，所述方法包括：
11.一种计算资源的管理装置，其特征在于，应用于计算资源的管理系统中的一级管理平台，所述计算资源用于执行大数据计算任务，所述计算资源中包括多个计算资源集群，所述一级管理平台用于管理所述多个计算资源集群，所述多个计算资源集群包含多种类型的集群，所述多种类型的集群包括以下至少两种：容器集群、虚拟机集群和物理机集群，所述管理系统还包括...
【专利技术属性】
技术研发人员：赵东，马喜刚，王柯伦，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。