集群资源处理方法和系统、资源处理集群技术方案

本发明专利技术涉及一种集群资源处理方法和系统、资源处理集群，包括：监控节点计算资源信息，根据所述节点计算资源信息得到集群当前空闲计算资源；接收携带资源配置信息的作业请求，所述资源配置信息包括节点标签；根据所述节点标签获取对应的节点队列，根据所述资源配置信息在所述节点队列中的节点的当前空闲计算资源中为所述作业分配目标计算资源；在所述目标计算资源对应的节点启动用户模式Linux UML资源隔离容器，在用户空间执行作业，能提高集群利用率，提高集群内作业的吞吐量。

Cluster resource processing method and system, resource processing cluster

The invention relates to a method and system for processing cluster resources, resource processing cluster, including computing resource information monitoring node according to the node computing resources information cluster current idle computing resources; receiving carry resource allocation information operation request, the resource allocation information includes node labels; according to the corresponding node queue for the node according to the current label, idle nodes and the resource allocation information in the node in the queue for the computing resources assignment target computing resources; computing node resources corresponding to the start user mode Linux UML resource isolation in the target vessel, perform operations in the user space, can improve the cluster utilization, improve cluster job throughput.

【技术实现步骤摘要】
集群资源处理方法和系统、资源处理集群
本专利技术涉及计算机
，特别是涉及一种集群资源处理方法和系统、资源处理集群。
技术介绍
集群是一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。集群中的服务器协同工作，向用户提供网络应用服务，对于用户来说集群就像是一个单一系统。如企业采购或租用专用的计算机，使用linux类操作系统，为用户群提供访问服务。传统的集群资源处理方法，对容器资源进行管理时，往往需要更新内核或申请操作系统的管理员权限，更新内核会影响企业现有部署的服务，或者需要向运维人员申请管理员权限，不利于添加服务器节点进行相关部署，导致集群服务器不能灵活部署，且平均利用率不高。
技术实现思路
基于此，有必要针对上述技术问题，提供一种集群资源处理方法和系统、资源处理集群，提高集群利用率，提高集群内作业的吞吐量。一种集群资源处理方法，所述方法包括：监控节点计算资源信息，根据所述节点计算资源信息得到集群当前空闲计算资源；接收携带资源配置信息的作业请求，所述资源配置信息包括节点标签；根据所述节点标签获取对应的节点队列，根据所述资源配置信息在所述节点队列中的节点的当前空闲计算资源中为所述作业分配目标计算资源；在所述目标计算资源对应的节点启动用户模式LinuxUML资源隔离容器，在用户空间执行作业。一种集群资源处理系统，所述系统包括：计算资源监控管理模块，用于监控节点计算资源信息，根据所述节点计算资源信息得到集群当前空闲计算资源；计算资源分配模块，用于接收携带资源配置信息的作业请求，所述资源配置信息包括节点标签，根据所述节点标签获取对应的节点队列，根据所述资源配置信息在所述节点队列中的节点的当前空闲计算资源中为所述作业分配目标计算资源；作业执行模块，用于在所述目标计算资源对应的节点启动用户模式LinuxUML资源隔离容器，在用户空间执行作业。上述集群资源处理方法和系统，通过监控节点计算资源信息，根据所述节点计算资源信息得到集群当前空闲计算资源，接收携带资源配置信息的作业请求，资源配置信息包括节点标签，根据节点标签获取对应的节点队列，根据资源配置信息在节点队列中的节点的当前空闲计算资源中为作业分配目标计算资源，在目标计算资源对应的节点启动用户模式LinuxUML资源隔离容器，在用户空间执行作业，根据实时监控得到的节点计算资源信息获取实时变化的空闲计算资源，使得资源的分配灵活高效，且通过UML资源隔离容器在用户空间执行作业，在保证良好隔离的前提下，不需要管理员权限，能灵活部署集群节点，将作业分配至有空闲计算资源的节点，通过引入零散的服务节点，相当于在现有的机器上部署了一个新的计算集群，能提高服务器资源的利用率，从而提高集群内作业的吞吐量。一种资源处理集群，所述集群包括：计算节点，所述计算节点为空闲计算资源满足预设条件的节点，所述计算节点的数量根据所述集群中的节点的外部负载占用计算资源量更新；资源管理服务器，用于监控节点计算资源信息，根据所述节点计算资源信息得到集群当前空闲计算资源，接收携带资源配置信息的作业请求，所述资源配置信息包括节点标签，根据所述节点标签获取对应的计算节点队列，根据所述资源配置信息在所述计算节点队列中的目标计算节点的当前空闲计算资源中为所述作业分配目标计算资源；所述目标计算节点用于启动用户模式LinuxUML资源隔离容器，在用户空间执行作业。上述资源处理集群，根据节点的外部负载占用计算资源量更新集群中计算节点的数量，根据实时监控得到的节点计算资源信息获取实时变化的空闲计算资源，使得资源的分配灵活高效；且通过UML资源隔离容器在用户空间执行作业，在保证良好隔离的前提下，不需要管理员权限，能灵活部署集群节点，将作业分配至有空闲计算资源的节点，通过引入零散的服务节点组成集群，相当于在现有的机器上部署了一个新的计算集群，能提高服务器资源的利用率，从而提高集群内作业的吞吐量。附图说明图1为一个实施例中集群资源处理方法运行的应用环境图；图2为一个实施例中集群资源处理方法的流程图；图3为一个实施例中集群一周内cpu占用率示意图；图4为一个具体的实施例中集群资源处理方法的流程图；图5为一个实施例中资源处理集群的结构框图；图6为另一个实施例中资源处理集群的结构框图；图7为一个实施例中集群资源处理系统的结构框图；图8为另一个实施例中集群资源处理系统的结构框图；图9为再一个实施例中集群资源处理系统的结构框图；图10为又一个实施例中集群资源处理系统的结构框图；图11为再一个实施例中集群资源处理系统的结构框图；图12为一个实施例中作业执行模块的结构框图；图13为又一个实施例中集群资源处理系统的结构框图；图14为另一个实施例中集群资源处理系统的结构框图。具体实施方式图1为一个实施例中集群资源处理方法运行的应用环境图。如图1所示，该应用环境包括作业提交端110、资源管理服务器120、计算节点130和专用节点140，其中计算节点130包括多个节点，包括节点131、……节点13n、专用节点140可为一个或多个，其中作业提交端110、资源管理服务器120、计算节点130和专用节点140组成集群，可以通过网络进行通信，可为Hadoop集群或Spark集群。作业提交端110可为笔记本电脑、台式计算机等，但并不局限于此。计算节点130的数量根据节点的外部负载占用计算资源更新，每个集群节点都具备监控模块，用于实时监控节点计算资源信息，得到集群当前空闲计算资源，资源管理服务器120根据作业请求中携带的资源配置信息为作业分配目标节点，并在目标节点启动用户模式LinuxUML资源隔离容器，在用户空间执行作业。专用节点140上可部署作业管理器，监测作业的进度。在一个实施例中，如图2所示，提供了一种集群资源处理方法，以应用于上述应用环境中来举例说明，包括如下步骤：步骤S210，监控节点计算资源信息，根据节点计算资源信息得到集群当前空闲计算资源。具体的，计算资源信息包括cpu占用率、可用内存、磁盘剩余空间等用于计算的资源相关信息，其中根据cpu占用率可进行转换得到占用cpu核数，进而得到可用cpu核数，如当前cpu占用率60％，cpu总核数为8，可用cpu核数为8*(1-0.6)，约为3。空闲的可用内存是通过节点的总内存Memtotal减去外部服务占用的内存Memexternal得到的，即Memtotal－Memexternal。每个节点的当前空闲计算资源的具体计算方法可自定义，如当磁盘剩余空间小于预设阈值时，将节点加入黑名单。每个部署节点通过节点管理器对本节点的空闲计算资源进行定时监控收集，汇集到资源管理器，得到整个集群的总体可用资源量，保证所有作业的资源请求都是从空闲计算资源中划分出去。其中节点管理器是运行在计算节点的一个服务进程，管理、分配、上报、回收该计算节点的计算资源。资源管理器是运行在资源管理服务器的一个服务进程，管理、分配、回收所有计算节点的计算资源。在一个实施例中，节点的当前空闲计算资源为剩余磁盘空间大于磁盘空间预设阈值的节点的可用cpu核数、可用内存的总和。具体的，如果节点的剩余磁盘空间小于磁盘空间预设阈值，则此节点不执行计算任务，可保证计算任务和外部服务的数据存储。在一个实施例中，采用本文档来自技高网...

【技术保护点】
一种集群资源处理方法，所述方法包括：监控节点计算资源信息，根据所述节点计算资源信息得到集群当前空闲计算资源；接收携带资源配置信息的作业请求，所述资源配置信息包括节点标签；根据所述节点标签获取对应的节点队列，根据所述资源配置信息在所述节点队列中的节点的当前空闲计算资源中为所述作业分配目标计算资源；在所述目标计算资源对应的节点启动用户模式Linux UML资源隔离容器，在用户空间执行作业。

【技术特征摘要】
1.一种集群资源处理方法，所述方法包括：监控节点计算资源信息，根据所述节点计算资源信息得到集群当前空闲计算资源；接收携带资源配置信息的作业请求，所述资源配置信息包括节点标签；根据所述节点标签获取对应的节点队列，根据所述资源配置信息在所述节点队列中的节点的当前空闲计算资源中为所述作业分配目标计算资源；在所述目标计算资源对应的节点启动用户模式LinuxUML资源隔离容器，在用户空间执行作业。2.根据权利要求1所述的方法，其特征在于，所述在用户空间执行作业的步骤之后，还包括：如果外部负载增长占用的资源超过第一预设阈值或作业子任务占用的资源超过第二预设阈值，则清理所述UML资源隔离容器并转移作业子任务至所述节点队列中的其它节点。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取关键服务节点，判断当前时间是否在预设时间段，如果是，则设置所述关键服务节点的当前空闲计算资源为0，如果当前时间不在预设时间段，则所述关键服务节点的当前空闲计算资源为实际监控得到的节点计算资源。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：如果第一节点的当前空闲计算资源小于资源预设阈值，则将所述第一节点暂时脱离集群。5.根据权利要求1所述的方法，其特征在于，所述接收携带资源配置信息的作业请求的步骤之前，还包括：根据节点的物理属性信息与负载状态信息，为节点设置标签。6.根据权利要求1所述的方法，其特征在于，所述当前空闲计算资源是剩余磁盘空间大于磁盘空间预设阈值的节点的可用cpu核数、可用内存的总和。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：为负载状态满足稳定节点条件的节点设置静态static标签，在所述static标签的节点启动作业管理器，所述static标签的节点为专有节点，保持集群状态。8.根据权利要求1所述的方法，其特征在于，所述在所述目标计算资源对应的节点启动用户模式LinuxUML资源隔离容器的步骤包括：在执行脚本设置所述作业依赖的环境变量，并将作业需要的文件资源挂载至容器中，以普通用户身份创建启动UML资源隔离容器。9.根据权利要求1所述的方法，其特征在于，所述在所述目标计算资源对应的节点启动用户模式LinuxUML资源隔离容器的步骤包括：新建文件目录，如果新建成功，则获取锁，启动第一用户模式LinuxUML资源隔离容器，为所述第一UML资源隔离容器分配IP地址；所述第一UML资源隔离容器启动成功，则删除所述文件目录，释放锁。10.根据权利要求1所述的方法，其特征在于，所述方法还包括：在用户空间执行作业时，通过采用用户模式网络slirp网络模拟器以普通用户身份启动虚拟网络设备与物理网卡桥接，实现网络通信。11.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取所述作业对应的节点黑名单，如果所述节点黑名单中第一标签对应的节点个数与集群中第一标签对应的所有节点个数的比例超过标签阈值，则将所述节点黑名单中第一标签对应的节点移除所述节点黑名单。12.根据权利要求1所述的方法，其特征在于，所述在用户空间执行作业的步骤之后，还包括：所述作业执行结束，释放所述作业执行时占用的计算资源。13.一种集群资源处理系统，其特征在于，所述系统包括：计算资源监控管理模块，用于监控节点计算资源信息，根据所述节点计算资源信息得到集群当前空闲计算资源；计算资源分配模块，用于接收携带资源配置信息的作业请求，所述资源配置信息包括节点标签，根据所述节点标签获取对应的节点队列，根据所述资源配置信息在所述节点队列中的节点的当前空闲计算资源中为所述作业分配目标计算资源；作业执行模块，用于在所述目标计算资源对应的节点启动用户模式LinuxUML资源隔离容器，在用户空间执行作业。14.根据权利要求13所述的系统，其特征在于，所述系统还包括：第一资源限制模块，用于如果外部负载增长占用的资源...

【专利技术属性】
技术研发人员：唐祥豪，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44