共享物理主机上混合集中分布式调度的系统和方法技术方案

用于在云计算系统中共享物理资源的多个调度器实例的混合集中分布式调度和冲突解决的系统和系统。所述云计算系统包括多个调度器实例、用于所述调度器实例的高级资源管理和冲突解决的全局资源管理器(global resource manager，GRM)以及多个物理主机。每个物理主机都具有相应本地资源管理器(local resource manager，LRM)。所述调度器实例负责对资源请求的调度和资源分配进行初始处理，并且向所述GRM建议用于所述资源请求的候选物理主机(以及相应资源分配)。所述GRM负责通过其过滤、排序和计数的通用冲突解决器解决冲突。所述GRM在解决所述调度器实例之间的冲突之后，决定所述候选物理主机中的哪些物理主机将运行所述资源请求的运行时实例。资源请求的运行时实例。资源请求的运行时实例。

【技术实现步骤摘要】
【国外来华专利技术】共享物理主机上混合集中分布式调度的系统和方法


[0001]示例实施例涉及云计算，并且特别涉及在云计算环境中共享物理资源。

技术介绍

[0002]云计算是一种基于网络的计算形式，它允许访问可配置计算资源和更高级别的服务的共享池，这些服务可以以最小的管理工作量快速调配，通常可供客户端通过互联网使用。云计算涉及作为服务实现的基于客户端
‑
服务器的计算。云计算服务提供商通常通过按需创建虚拟机和容器供客户端使用来提供三种主要类型的服务(以下称为云计算服务)，即基础设施即服务(infrastructure as a service，IaaS)、平台即服务(platform as a service，PaaS)和软件即服务(software as a service，SaaS)。IaaS提供了可供客户端租用和使用的计算基础设施。所述计算基础设施包括物理计算资源(例如处理器、存储器、存储装置、服务器、联网组件等)，这些资源在客户端之间进行虚拟化和共享。PaaS提供了平台，所述平台允许客户端开发、运行和管理软件应用，而无需构建和维护计算基础设施和中间件。SaaS以订阅为基础，通过互联网按需提供在计算基础设施上运行的软件应用。
[0003]资源请求通常由客户端、应用或其它云服务提交到中心调度器实例。资源分配由中心调度器实例向例如物理主机之类的共享物理计算资源进行。当不同的调度器实例为相同的物理资源向同一物理主机进行多次分配，并且物理主机的容量不足时，可能会产生冲突。当物理主机资源不足或由于调度冲突而需要拒绝某些分配时，可能会出现低效率，之后某些调度器实例可能会等待并重试或对不同的物理主机进行分配。
[0004]在一些现有的云系统中，可用资源一次提供给一个中心调度器实例，这可能会导致调度器实例之间的不公平，当有空闲资源时，调度性能可能会很慢。在其它一些现有的云系统中，调度器实例之间只使用和遵循预定义的资源共享策略，而没有协调，这可能导致可用资源利用率不足。其它一些现有的云系统依赖于请求和拒绝过程，在此过程中，资源请求一次尝试在一台主机上重新调度，这对于不同类型的运行时实例效率不高，也无法解决过滤或排序冲突。
[0005]希望使用其它设备上的负责协调高级和分布式调度过程的主资源管理器提供混合集中分布式调度。
[0006]希望提供由调度器实例和每个物理主机上的本地资源管理器执行的额外调度处理。

技术实现思路

[0007]示例实施例涉及用于在云计算系统中共享物理资源的并发异构调度器实例的混合集中分布式调度的方法和系统。
[0008]示例实施例是云计算系统，所述云计算系统包括多个调度器实例、用于为资源请求或工作负载分配资源的调度器实例的高级资源管理的全局资源管理器(global resource manager，GRM)以及多个物理主机，以提供资源来执行所述资源请求的运行时实
例。在示例实施例中，GRM负责高级调度和冲突解决。
[0009]应当理解，由于中心调度器实例和GRM已经确定了物理主机之间的高级资源分配，因此减少了本地物理主机级别的调度冲突的发生。所述中心调度器实例在与所述物理主机交互时不需要依赖请求和拒绝迭代模型。
[0010]在示例中，所述调度器实例负责对资源请求的调度和资源分配进行初始处理，并且向所述GRM建议用于所述资源请求的候选物理主机(以及相应资源分配)。GRM解决此调度器实例与其它调度器实例之间的冲突，决定候选物理主机中的哪些物理主机将运行资源请求的运行时实例，并且将决策返回到调度器实例。GRM负责在解决这些资源请求的调度器实例提出的候选物理主机之间的调度冲突之后，选择适当的候选物理主机来执行资源请求的运行时实例。
[0011]在示例中，GRM可用于确定候选(合格)物理主机，并且过滤出不合格物理主机。在一些示例中，GRM执行的过滤只能由GRM执行。在其它示例中，GRM执行的过滤可以通过调度器实例补充初始建议的候选物理主机。
[0012]在示例中，每个物理主机都具有相应本地资源管理器(local resource manager，LRM)，用于管理用于在相应物理主机上执行运行时实例的本地资源分配安排细节。每个物理主机上的LRM按照中心调度器实例的指示负责本地安排调度和运行时实例执行。每个调度器实例都可以向物理主机的LRM发送资源分配和运行时细节。LRM用于从各种调度器实例接收资源分配，并且运行分配及其运行时细节中指定的适用运行时实例。LRM可用于连续向GRM报告相应物理主机的容量(资源总容量)、可用性(可用资源)和使用情况。
[0013]应当理解，每个主机的LRM负责管理相应物理主机的本地资源分配安排细节，因此GRM不需要负责运行时调度的所有方面。
[0014]在示例中，调度器实例用于确定每个候选物理主机的评分或排序信息，并向GRM发送所述评分或排序信息。在一些示例中，评分信息可以包括权重或其它适用性标准。GRM可以使用接收到的评分或排序信息来确定每个调度器实例调度的资源请求最适合的物理主机(同时仍在解决调度冲突)。在一些示例中，GRM用于在为调度器实例调度的资源请求选择物理主机时优化或改善资源分配或回收成本。
[0015]在示例中，存在不同类型的调度器实例(称为异构)，它们为不同类型的运行时代理执行的不同类型的运行时实例的资源请求分配资源，并且GRM接收和处理来自不同类型的调度器实例的资源分配。GRM可以在不同类型的调度器实例之间做出高级资源管理的决策，例如，解决不同类型的调度器实例为其调度资源请求建议的候选物理主机之间的冲突。
[0016]应当理解，GRM可以解决异构调度器实例及其异构运行时代理之间的冲突，并且不限于单一类型的调度器实例或运行时代理。
[0017]应当理解，可以连续向GRM和LRM告知相关物理主机的容量、资源信息(例如，可用性和使用信息)，这些信息共同有助于GRM与LRM之间的运行时实例和调度器实例的协调。
[0018]示例实施例是一种用于调度和冲突解决的方法，所述方法由全局资源管理器执行，包括：从多个物理主机中的每一个上的本地资源管理器接收所述物理主机的资源信息；从各自具有相应资源请求的多个调度器实例中的每一个接收相应候选物理主机，所述相应候选物理主机能够独立于其它调度器实例适应所述调度器实例的资源分配；基于所述调度器实例和所述资源信息，为所述调度器实例中的至少一个从所述相应候选物理主机中选择
解决所述多个调度器实例的所述相应资源请求的调度冲突的相应物理主机；以及向所述调度器实例中的所述至少一个发送要运行所述调度器实例调度的所述相应资源请求的至少一个运行时实例的选择的相应物理主机的标识。
[0019]在上述任一项的示例实施例中，所述调度器实例中的第一至少一个用于第一类型的运行时实例，并且所述调度器实例中的第二至少一个用于与所述第一类型的运行时实例相比为相同类型的第二类型的运行时实例。
[0020]在上述任一项的示例实施例中，所述调度器实例中的第一至少一个本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于调度和冲突解决的方法，其特征在于，所述方法由全局资源管理器执行，包括：从多个物理主机中的每一个上的本地资源管理器接收所述物理主机的资源信息；从各自具有相应资源请求的多个调度器实例中的每一个接收相应候选物理主机，所述相应候选物理主机能够独立于其它调度器实例适应所述调度器实例的资源分配；基于所述调度器实例和所述资源信息，为所述调度器实例中的至少一个从所述相应候选物理主机中选择解决所述多个调度器实例的所述相应资源请求的调度冲突的相应物理主机；以及向所述调度器实例中的所述至少一个发送要运行所述调度器实例调度的所述相应资源请求的至少一个运行时实例的选择的相应物理主机的标识。2.根据权利要求1所述的方法，其特征在于，所述调度器实例中的第一至少一个用于第一类型的运行时实例，并且所述调度器实例中的第二至少一个用于与所述第一类型的运行时实例相比为相同类型的第二类型的运行时实例。3.根据权利要求1所述的方法，其特征在于，所述调度器实例中的第一至少一个用于第一类型的运行时实例，并且所述调度器实例中的第二至少一个用于与所述第一类型的运行时实例相比为不同类型的第二类型的运行时实例。4.根据权利要求1所述的方法，其特征在于，所述选择还包括为所述调度器实例中的第一至少一个和所述调度器实例中的第二至少一个选择相同的物理主机。5.根据权利要求3所述的方法，其特征在于，所述选择还包括为所述调度器实例中的所述第一至少一个选择所述物理主机中的第一至少一个，以及为所述调度器实例中的所述第二至少一个选择所述物理主机中的第二至少一个，其中所述物理主机中的所述第一至少一个不同于所述物理主机中的所述第二至少一个。6.根据权利要求3所述的方法，其特征在于，还包括针对所述第一类型运行时实例的资源请求在第一资源池中的所述物理主机中的所述第一至少一个上保留资源，以及针对所述第二类型运行时实例的资源请求在第二资源池中的所述物理主机中的所述第二至少一个上保留资源。7.根据权利要求6所述的方法，其特征在于，还包括当不再需要所述相应物理主机上的保留资源时，释放所述相应资源池中的所述物理主机中的所述第一至少一个或所述物理主机中的所述第二至少一个上的所述保留资源。8.根据权利要求6所述的方法，其特征在于，还包括将工作负载从所述物理主机中的所述第一至少一个迁移到所述物理主机中的另一至少一个，以使得所述物理主机中的所述第一至少一个具有更多的资源空闲，以便所述相应物理主机的所述资源能够保留在所述相应资源池中。9.根据权利要求3至8中任一项所述的方法，其特征在于，所述第一类型的运行时实例是虚拟机、容器、Pod或节点中的一种类型；并且所述第二类型的运行时实例是所述虚拟机、所述容器、所述Pod或所述节点中的不同类型。10.根据权利要求1至9中任一项所述的方法，其特征在于，每个调度器实例用于切断不合格物理主机，以便将合格物理主机确定为所述相应候选物理主机。11.根据权利要求10所述的方法，其特征在于，所述不合格物理主机是比被确定为所述
合格物理主机的另一种类型物理主机更昂贵的一种类型物理主机。12.根据权利要求1至11中任一项所述的方法，其特征在于，对所述相应物理主机的所述选择是针对所述调度器实例中的至少两个进行的，并且其中对所述选择的相应物理主机的所述标识的所述发送是针对所述调度器实例中的至少两个进行的。13.根据权利要求1至12中任一项所述的方法，其特征在于，还包括在所述接收到所述资源信息之后，向所述调度器实例发送所述资源信息。14.根据权利要求1至13中任一项所述的方法，其特征在于，还包括重复所述资源信息的所述接收以监控所述至少一个运行时实例。15.根据权利要求1至14中任一项所述的方法，其特征在于，所述资源分配包括从所述物理主机中的一个回收资源。16.根据权利要求1至15中任一项所述的方法，其特征在于，所述资源信息包括所述相应物理主机的实时实际资源使用信息或调度资源分配信息。17.根据权利要求1至16中任一项所述的方法，其特征在于，所述向所述调度器实例中的至少一个发送包括发送用于所述选择的相应物理主机的所述资源分配的调度数量，并且无需发送所述选择的相应物理主机上的所述至少一个运行时实例的本地资源分配安排细节。18.根据权利要求1至17中任一项所述的方法，其特征在于，每个相应本地资源管理器从所述物理主机上的所述全局资源管理器和运行时代理接收信息，并且用于在没有接收到本地资源分配安排细节的情况下对所述物理主机执行本地资源分配安排。19.根据权利要求18所述的方法，其特征在于，所述本地资源分配安排细节包括本地调度、本地冲突解决和本地优化。20.根据权利要求18所述的方法，其特征在于，所述本地资源分配安排细节包括本地资源上的详细放置、本地资源共享、隔离、绑定、放置、替换或迁移。21.根据权利要求18所述的方法，其特征在于，至少一个物理主机配置有多个非均匀存储器接入节点，其中所述至少一个物理主机的所述本地资源分配安排细节包括将本地资源分配从第一非均匀存储器接入节点迁移到第二非均匀存储器接入节点。22.根据权利要求1至21中任一项所述的方法，其特征在于，还包括从所述多个调度器实例中的每一个接收用于所述调度器实例的所述相应候选物理主机的评分或排序信息，其中所述为所述调度器实例选择所述相应物理主机还基于接收到的评分或排序信息。23.根据权利要求22所述的方法，其特征在于，所述评分或排序信息由所述相应调度器实例基于以下各项生成：扩展、堆叠、应用接近、碎片减少、干扰减少或扩展弹性，或这些的组合或子组合。24.根据权利要求23所述的方法，其特征在于，所述评分信息包括用于根据所述扩展、所述堆叠、所述应用接近、所述碎片减少、所述干扰减少或所述扩展弹性中的一个或多个对所述相应候选物理主机进行排序的权重。25.根据权利要求22所述的方法，其特征在于，还包括在从相应候选物理主机中选择所述相应物理主机之前，所述全局资源管理器根据接收到的所述候选物理主机之间的评分或排序信息解决评分或排序冲突。26.根据权利要求25所述的方法，其特征在于，所述解决评分或排序冲突是基于所述多
个物理主机中的每一个的成本。27.根据权利要求1至26中任一项所述的方法，其特征在于，还包括在从所述相应候选物理主机中选择所述相应物理主机之前，所述全局资源管理器过滤出接收到的所述相应候选物理主机中的至少一个作为不合格物理主机。28.根据权利要求1至27中任一项所述的方法，其特征在于，所述从用于所述调度器实例的所述相应候选物理主机中选择所述相应物理主机还基于优化所有所述调度器实例的所述资源分配或回收成本。29.根据权利要求28所述的方法，其特征在于，所述优化...

【专利技术属性】
技术研发人员：胡振华，郭雷，王军，罗锐，王烽，李程，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：