基于抢占式调度的资源共享使用方法、系统及设备技术方案

本发明专利技术实施例公开了基于抢占式调度的资源共享使用方法、系统及设备，其中，该方法包括：API服务器创建任务；当调度器处理当前任务时，基于优先级筛选出最符合预设筛选条件的目标物理节点，将当前任务与目标物理节点绑定信息发送到API服务器；当物理节点处理任务队列中待运行的目标任务时，获取物理节点上正在运行的任务列表；若物理节点检测其剩余资源没有满足目标任务运行所需的资源；将任务列表中的优先级低于目标任务的任务，按照优先级从低到高的顺序移入待移除队列，直至物理节点执行任务列表中的任务所得到的剩余资源满足目标任务运行所需的资源，抢占待移除队列中的任务。本发明专利技术实施例可以提高资源的利用率。

【技术实现步骤摘要】
基于抢占式调度的资源共享使用方法、系统及设备
本专利技术涉及计算机
，尤其涉及一种基于抢占式调度的资源共享使用方法系统及设备。
技术介绍
在资源共享的分布式系统中，各租户共享使用资源；同时租户使用的资源又需要有一定的限制，以保证每个租户都能够有资源使用，不出现租户资源“饿死”。分布式系统中的调度器是通过有效地调度各个租户的作业或任务，从而保证租户的作业或任务得到稳定而又快速地执行，同时分布式系统内的资源得到充分利用。现有技术中的分布式管理系统，提供了多个调度策略保证租户的任务可以在分布式系统中均衡分配到物理节点，再由物理节点运行分配的任务。但是现有技术中任务的处理方式存在资源没有充分利用的现象。
技术实现思路
本专利技术实施例提供一种基于抢占式调度的资源共享使用方法系统及设备，可以提高资源的利用率。第一方面，本专利技术实施例提供了一种任务创建方法，包括：API服务器获取任务的创建请求；当API服务器检测到所述任务所属租户的配额里包含与所述任务的优先级匹配的资源，且匹配资源满足所述任务的创建条件，根据所述创建请求创建所述任务。第二方面，本专利技术实施例还提供了一种任务调度方法，包括：调度器从任务调度队列获取待调度的当前任务，并获取各个物理节点上大于等于所述当前任务指定优先级的任务，形成节点-任务映射表；所述调度器根据所述映射表以及预设筛选条件确定最符合所述预设筛选条件的目标物理节点；所述调度器将所述当前任务与所述目标物理节点绑定，并将绑定的信息发送到API服务器。第三方面，本专利技术实施例还提供了一种任务抢占方法，包括：当物理节点处理待运行的目标任务时，获取所述物理节点上正在运行的任务列表；所述物理节点检测其剩余资源是否满足所述目标任务运行所需的资源；若否，所述物理节点将所述任务列表中的优先级低于所述目标任务的任务，按照优先级从低到高的顺序移入待移除队列，直至所述物理节点执行所述任务列表中的任务所得到的剩余资源满足所述目标任务运行所需的资源，并采用所述目标任务抢占所述待移除队列中的任务；所述物理节点调用执行环境，运行所述目标任务。第四方面，本专利技术实施例还提供了一种基于抢占式调度的资源共享使用方法，包括：API服务器获取任务的创建请求；当所述API服务器检测到所述任务所属租户的配额里包含与所述任务的优先级匹配的资源，且匹配资源满足所述任务的创建条件，根据所述创建请求创建所述任务；调度器获取所述API服务器创建的任务，并形成任务调度队列；所述调度器从所述任务调度队列获取待调度的当前任务，并获取各个物理节点上大于等于所述当前任务指定优先级的任务，形成节点-任务映射表；所述调度器根据所述映射表以及预设筛选条件确定最符合所述预设筛选条件的目标物理节点；所述调度器将所述当前任务与所述目标物理节点绑定，并将绑定的信息发送到API服务器；物理节点监听所述API服务器中任务与物理节点的绑定信息，基于监听到的所述绑定信息获取对应的任务，并形成任务队列；当所述物理节点处理所述任务队列中待运行的目标任务时，获取所述物理节点上正在运行的任务列表；所述物理节点检测其剩余资源是否满足所述目标任务运行所需的资源；若否，所述物理节点将所述任务列表中的优先级低于所述目标任务的任务，按照优先级从低到高的顺序移入待移除队列，直至所述物理节点执行所述任务列表中的任务所得到的剩余资源满足所述目标任务运行所需的资源，并采用目标任务抢占所述待移除队列中的任务；所述物理节点调用执行环境，运行所述目标任务。第五方面，本专利技术实施例还提供了一种API服务器，包括：请求获取模块，用于获取任务的创建请求；任务创建模块，用于当检测到所述任务所属租户的配额里包含与所述任务的优先级匹配的资源，且匹配资源满足所述任务的创建条件，根据所述创建请求创建所述任务。第六方面，本专利技术实施例还提供了一种调度器，包括：映射表形成模块，用于从任务调度队列中获取待调度的当前任务，并获取各个物理节点上大于等于所述当前任务指定优先级的任务，形成节点-任务映射表；筛选模块，用于根据所述映射表以及预设筛选条件确定最符合所述预设筛选条件的目标物理节点；绑定模块，用于将所述当前任务与所述目标物理节点绑定，并将绑定的信息发送到API服务器。第七方面，本专利技术实施例还提供了一种任务抢占装置，包括：任务列表获取模块，用于当处理待运行的目标任务时，获取所述物理节点上正在运行的任务列表；检测模块，用于检测物理节点上的剩余资源是否满足所述目标任务运行所需的资源；抢占模块，用于若否，所述物理节点将所述任务列表中的优先级低于所述目标任务的任务，按照优先级从低到高的顺序移入待移除队列，直至所述物理节点执行所述任务列表中的任务所得到的剩余资源满足所述目标任务运行所需的资源，并采用所述目标任务抢占所述待移除队列中的任务；任务执行模块，用于调用执行环境，运行所述目标任务。第八方面，本专利技术实施例还提供了一种基于抢占式调度的资源共享使用系统，包括本专利技术实施例提供的API服务器、本专利技术实施例提供的调度器以及本专利技术实施例提供的任务抢占装置。第九方面，本专利技术实施例提供了一种设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术实施例提供的任务创建方法，或者实现本专利技术实施例提供的任务调度方法，或者实现本专利技术实施例提供的任务抢占方法。第十方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本专利技术实施例提供的任务创建方法，或者实现本专利技术实施例提供的任务调度方法，或者实现本专利技术实施例提供的任务抢占方法。本专利技术实施例提供的技术方案，通过对租户的资源配额进行优先级的设置，并通过将任务的优先级与所属租户下各优先级的资源进行匹配，从而确定是否创建任务，可以让租户在资源紧张时优先使用资源，防止租户滥用高优先级的资源，导致低优先级的任务持续获取不了资源出现的“饿死”现象；调度器通过任务的优先级以及预设筛选条件对物理节点进行筛选，筛选出最合适的物理节点，将待调度的当前任务调度到最合适的物理节点，当资源紧张时，只进行逻辑上的资源抢占，并没有立即抢占资源，这种延后抢占的调度方法，可以在逻辑上为高优先级的任务腾出资源，在资源没有被充分利用时，继续运行被抢占的任务，可以提高资源的利用率；当物理节点处理待运行的目标任务时，若物理节点的剩余资源不满足目标任务运行的所需的条件，基于将低优先级的任务进行抢占，可以使物理节点优先处理重要任务，可以提高资源的利用率。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1是本专利技术实施例提供的一种任务创建方法流程图；图2是本专利技术实施例提供的一种任务调度方法流程图；图3是本专利技术实施例提供的一种任务调度方法流程图；图4是本专利技术实施例提供的一种任务抢占方法流程图；图5是本专利技术实施例提供的一种任务抢占方法流程图；图6是本专利技术实施例提供的一种基于抢占式调度的资源共享使用方法流程图；图7是本专利技术实施例提供的一种API服务器的结构框图；图8a是本专利技术实施例提供的一种调度器的结构框图；图8b是本专利技术实施例提供的一种调度系统的结构示意图；图9是本专利技术实施例提供的本文档来自技高网...

【技术保护点】
1.一种任务创建方法，其特征在于，包括：API服务器获取任务的创建请求；当API服务器检测到所述任务所属租户的配额里包含与所述任务的优先级匹配的资源，且匹配资源满足所述任务的创建条件，根据所述创建请求创建所述任务。

【技术特征摘要】
1.一种任务创建方法，其特征在于，包括：API服务器获取任务的创建请求；当API服务器检测到所述任务所属租户的配额里包含与所述任务的优先级匹配的资源，且匹配资源满足所述任务的创建条件，根据所述创建请求创建所述任务。2.根据权利要求1所述的方法，其特征在于，所述服务器获取任务的创建请求包括：API服务器获取pod的创建请求；相应的，当API服务器检测到所述任务所属租户的配额里包含与所述任务的优先级匹配的资源，且匹配资源满足所述任务的创建条件，根据所述创建请求创建所述任务，包括：当所述API服务器检测到所述pod所属的namespace的quota里包含与所述pod匹配的优先级，且优先级匹配的quota值满足所述pod的创建条件，根据所述创建请求创建pod。3.一种任务调度方法，其特征在于，包括：调度器从任务调度队列中获取待调度的当前任务，并获取各个物理节点上大于等于所述当前任务指定优先级的任务，形成节点-任务映射表；所述调度器根据所述映射表以及预设筛选条件确定最符合所述预设筛选条件的目标物理节点；所述调度器将所述当前任务与所述目标物理节点绑定，并将绑定的信息发送到API服务器。4.根据权利要求3所述的方法，其特征在于，所述调度器根据所述映射表以及预设筛选条件确定最符合所述预设筛选条件的目标物理节点，包括：所述调度器从所述映射表筛选出符合第一阶段筛选条件的物理节点，形成节点组；根据所述映射表以及第二阶段优选条件，对所述节点组的物理节点进行评分，并筛选出分数最高的物理节点作为目标物理节点。5.根据权利要求3或4所述的方法，其特征在于，所述调度器从任务调度队列中获取待调度的当前任务，并获取各个物理节点上大于等于所述当前任务指定优先级的任务，形成节点-任务映射表，包括：所述调度器从pod调度队列中获取待调度的当前pod，并获取各个物理节点上大于等于所述当前pod指定优先级的pod，形成节点-pod映射表；相应的，所述调度器将所述当前任务与所述目标物理节点绑定，并将绑定的信息发送到API服务器，包括：所述调度器将所述当前pod与所述目标物理节点绑定，并将绑定的信息发送到API服务器。6.一种任务抢占方法，其特征在于，包括：当物理节点处理待运行的目标任务时，获取所述物理节点上正在运行的任务列表；所述物理节点检测其剩余资源是否满足所述目标任务运行所需的资源；若否，所述物理节点将所述任务列表中的优先级低于所述目标任务的任务，按照优先级从低到高的顺序移入待移除队列，直至所述物理节点执行所述任务列表中的任务所得到的剩余资源满足所述目标任务运行所需的资源，并采用所述目标任务抢占所述待移除队列中的任务；所述物理节点调用执行环境，运行所述目标任务。7.根据权利要求6所述的方法，其特征在于，还包括：所述物理节点每间隔设定时间获取资源使用信息；所述物理节点若确定所述资源使用信息达到预设限制条件，将所述任务列表中的任务按照优先级由低到高的顺序移入到所述待移除队列，直至所述物理节点执行所述任务列表中的任务时所确定的资源使用信息没有达到预设限制条件，并停止所述待移除队列中的任务。8.根据权利要求6或者7所述的方法，其特征在于，所述目标任务为目标pod，所述任务列表为pod列表，所述任务列表中的任务为所述物理节点上正在运行的pod。9.一种基于抢占式调度的资源共享使用方法，其特征在于，包括：API服务器获取任务的创建...

【专利技术属性】
技术研发人员：孙宏健，
申请(专利权)人：星环信息科技上海有限公司，
类型：发明
国别省市：上海,31