基于学习的资源管理数据中心云架构制造技术

提供了一种用于在所述云中分配资源的移动设备、计算机可读介质和方法。所述方法包括以下步骤：接收与一个或多个任务关联的指标数据；根据所述指标数据训练一个或多个模型，以预测使用特定数量的资源单元执行的任务的分数；接收为处理数据集指定第一任务的请求；根据第一模型输出的预测分数确定待分配到所述第一任务的最佳数量的资源单元；以及将所述最佳数量的资源单元分配到所述云中的资源代理，以管理所述第一任务的执行。所述指标数据由多个认知代理收集，并通过认知引擎服务与部署在所述云中的多个认知代理进行通信来接收。

Resource Management Data Center Cloud Architecture Based on Learning

【技术实现步骤摘要】
【国外来华专利技术】基于学习的资源管理数据中心云架构相关申请案交叉申请本申请要求于2017年3月2日递交的专利技术名称为“基于学习的资源管理”的第15/448,451号美国非临时专利申请案以及于2018年2月22日递交的专利技术名称为“基于学习的资源管理数据中心云架构”的第PCT/CN2018/076978号国际专利申请案的在先申请优先权和权益，该在先申请的内容以引入的方式并入本文。
本专利技术涉及用于管理数据中心资源的云架构，更具体地说，涉及在所述云架构中实现的基于学习的资源管理。
技术介绍
“云”是一种抽象概念，其涉及网络上的资源管理，更具体地说，涉及一种数据中心架构，它提供一种可以通过网络交付服务的平台。例如，所述云可以指通过互联网交付的各种服务，例如基于网络的存储服务或计算服务。典型的云架构部署包括一种分层的层次结构，其中包括网络硬件的物理层，以及一个或多个软件层，所述软件层使用户能够访问所述网络硬件。例如，一种常见的云架构部署包括网络资源的物理层(例如服务器、存储设备阵列、网络交换机等)，同时还有一个多层式分层软件框架，其中包括实现基础设施即服务(InfrastructureasaService，简称IaaS)的第一层、实施平台即服务(PlatformasaService，简称PaaS)的第二层和实施软件即服务(SoftwareasaService，简称SaaS)的第三层。通常，虽然可能存在例外情况，但第三层的资源依赖于第二层的资源，第二层的资源依赖于第一层的资源，第一层的资源依赖于物理层的资源。在传统云架构中，物理层的资源可以分配给在第一层实现的服务(即，IaaS服务)。例如，第一层的资源管理器可用于将物理层中的资源分配给第一层中运行的不同IaaS服务。IaaS服务的示例包括ElasticComputeCloud(EC2)平台和SimpleStorageService(S3)存储平台。在ElasticComputeCloud(EC2)平台上，客户端能够在所述云的物理层保留一个或多个节点以执行某些计算或运行应用；SimpleStorageService(S3)存储平台在一个或多个数据中心中提供基于云的存储。IaaS服务的每个实例也可以包括资源管理器，该资源管理器从第一层的资源管理器请求资源来实现该服务并管理该服务中分配的资源。反之，第一层中的资源(即，IaaS服务)也可以分配给第二层中实现的服务(即，PaaS服务)。例如，第二层的资源管理器可用于将第一层中的资源分配给第二层中运行的不同PaaS服务。PaaS服务的示例包括AzureAppService平台和Heroku平台。在AzureAppService平台上，客户端能够构建在Microsoft云基础设施上运行的应用；在Heroku平台上，客户端能够构建在IaaS服务上运行的应用。PaaS服务通常提供管理基础设施资源的容器，以使所述云中运行的应用可以轻松扩展，而无需开发者管理这些资源。同样，还可以在PaaS层同时运行多个PaaS服务，每个PaaS服务都包括独立且不同的资源管理器，该资源管理器依赖于所述PaaS层的资源管理器，其用于请求运行所述PaaS服务的资源。第二层中的资源(即，PaaS服务)可以分配给第三层中实现的服务(即，SaaS服务)。例如，第三层的资源管理器可用于将第二层的资源分配给第三层中运行的不同SaaS服务。SaaS服务的示例包括Salesforce(即，客户关系软件)、MicrosoftOffice365、GoogleApps、Dropbox等。第三层中的每个SaaS服务可以从第二层中的PaaS服务请求资源以运行所述应用。反之，所述PaaS服务也可以从第一层中的IaaS服务请求资源来运行所述应用所依赖的平台，并且所述IaaS服务可以请求将所述云的一个或多个数据中心中的物理层中的特定资源子集分配为运行所述平台的基础设施。如前所述，所述云架构的每个分层都依赖于其下面的分层来分配资源。所述云中的资源在先到先服务的基础上垂直划分，其中每个资源管理器只将分配给该资源管理器的资源分配给与该资源管理器对应的依赖服务。此外，所述云的资源池可以水平划分为不同的集群，例如，将所述云的物理层中的总资源划分为按数据中心或可用性区域划分的单个集群。因此，在特定集群中实现的每个服务只能访问分配给该集群的资源，这可能是所述云中包含的资源的子集。因此，在此类架构中分配资源的效率通常不高。例如，对于一个集群中的特定应用(即SaaS)，当许多用户使用所述特定应用时，其资源利用率很高，速度会减慢，因为该应用只能在分配给该集群的资源上运行，但是对于另一个集群中的另一个应用，当只有少数用户使用所述特定应用时，其资源利用率很低。将物理层中的资源分配给所述两个不同集群的第一层中的资源管理器可能无法查看每个集群上运行的不同应用的资源利用率，因此，物理层的资源的使用效率可能很低。此外，每项服务可以针对特定平台或基于云的基础设施进行设计。例如，一个SaaS服务的资源管理器可以设计为利用所述Heroku平台，而另一个SaaS服务的资源管理器可以针对所述AzureAppService平台设计。将所述服务从一个平台迁移到另一个平台可能需要大量的工作，因为程序员需要开发兼容的资源管理器才能使所述服务在不同的平台上运行。此外，某些云架构可具有不同的层，例如CaaS/SaaS云架构或甚至无服务器架构(例如，AWSLambda)。一般来说，很难将为特定云架构构建的服务迁移到另一个云架构，因为为一个架构设计的服务可能依赖于从其它服务接收分配的资源，而这些资源在其它架构中可能不可用。此外，资源管理通常仅限于从具有特定资源池访问权限的“父”资源管理器请求分配给所述服务的资源。这种类型的资源管理可能导致所述云中可用资源的分配效率低下。
技术实现思路
提供了一种用于在所述云中分配资源的移动设备、计算机可读介质和方法。所述方法包括以下步骤：接收与一个或多个任务关联的指标数据；根据所述指标数据训练一个或多个模型，以预测使用特定数量的资源单元执行的任务的分数；接收为处理数据集指定第一任务的请求；根据第一模型输出的预测分数确定待分配到所述第一任务的最佳数量的资源单元；以及将所述最佳数量的资源单元分配到所述云中的资源代理，以管理所述第一任务的执行。所述指标数据由多个认知代理收集，并通过认知引擎服务与部署在所述云中的多个认知代理进行通信来接收。在第一实施例中，所述一个或多个模型中的每个模型实现机器学习算法。在第二实施例中(可以与所述第一实施例结合，也可以不结合)，所述机器学习算法是回归算法。在第三实施例中(可以与所述第一和/或第二实施例结合，也可以不结合)，所述模板包括客户标识和任务标识。所述模板用于从所述一个或多个型号中选择所述第一型号。在第四实施例中(可以与所述第一、第二和/或第三实施例结合，也可以不结合)，所述指标数据包括处理器利用率指标、存储器利用率指标、网络带宽利用率指标和执行所述任务所用时间中的至少一个。所述认知引擎服务用于基于所述指标数据计算与所述一个或多个任务中的每个任务对应的分数。在第五实施例中(可以与所述第一、第二、第三和/或第四实施例结合，也可以不结合)，所述方法还包括以下步骤：将为所述一个或多个任务计算的分本文档来自技高网...

【技术保护点】
1.一种用于在所述云中分配资源的计算机实现方法，其特征在于，包括：在与部署在所述云中的多个认知代理通信的认知引擎服务中，接收与一个或多个任务关联的指标数据，其中，所述指标数据由所述多个认知代理收集；根据所述指标数据训练一个或多个模型，以预测使用特定数量的资源单元执行的任务的分数；接收为处理数据集指定第一任务的请求；根据第一模型输出的预测分数确定待分配到所述第一任务的最佳数量的资源单元；将所述最佳数量的资源单元分配到所述云中的资源代理，以管理所述第一任务的执行。

【技术特征摘要】
【国外来华专利技术】2017.03.02 US 15/448,4511.一种用于在所述云中分配资源的计算机实现方法，其特征在于，包括：在与部署在所述云中的多个认知代理通信的认知引擎服务中，接收与一个或多个任务关联的指标数据，其中，所述指标数据由所述多个认知代理收集；根据所述指标数据训练一个或多个模型，以预测使用特定数量的资源单元执行的任务的分数；接收为处理数据集指定第一任务的请求；根据第一模型输出的预测分数确定待分配到所述第一任务的最佳数量的资源单元；将所述最佳数量的资源单元分配到所述云中的资源代理，以管理所述第一任务的执行。2.根据权利要求1所述的方法，其特征在于，所述一个或多个模型中的每个模型实现机器学习算法。3.根据权利要求2所述的方法，其特征在于，所述机器学习算法是回归算法。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述模板包括客户标识和任务标识，并且所述模板用于从所述一个或多个型号中选择所述第一型号。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述指标数据包括处理器利用率指标、存储器利用率指标、网络带宽利用率指标和执行所述任务所用时间中的至少一个，并且所述认知引擎服务用于基于所述指标数据计算与所述一个或多个任务中的每个任务对应的分数。6.根据权利要求5所述的方法，其特征在于，还包括将为所述一个或多个任务计算的分数与相应的模板相关联。7.根据权利要求1至6中任一项所述的方法，其特征在于，所述云包括一个或多个数据中心中的多个节点，所述多个节点中的每个节点通过一个或多个网络与所述多个节点中的至少一个其它节点通信。8.根据权利要求7所述的方法，其特征在于，所述多个节点中的每个节点包括存储在存储器中并由所述节点的一个或多个处理器执行的认知代理。9.一种用于在云中分配资源的系统，其特征在于，包括：非瞬时性存储器，包含指令；一个或多个处理器，与所述存储器通信，其中所述一个或多个处理器执行以下指令：在与部署在所述云中的多个认知代理通信的认知引擎服务中，接收与一个或多个任务关联的指标数据，其中，所述指标数据由所述多个认知代理收集；根据所述指标数据训练一个或多个模型，以预测使用特定数量的资源单元执行的任务的分数；接收为处理数据集指定第一任务的请求；根据第一模型输出的预测分数确定待分配到所述第一任务的最佳数量的资源单元；将所述最佳数量的资源单元分配到所述云中的资源代理，以管理所述第一任务的执行。10...

【专利技术属性】
技术研发人员：胡卢慧，臧慧，胡子昂，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44