分布式计算系统中的自适应资源管理技术方案

本发明专利技术提供了一种用于在分布式系统中执行的应用的自适应资源处理的框架，以确保有效的资源利用。本发明专利技术提供了一种框架，使得客户端能够使用标签唯一地参与识别应用，使得资源适配更为有效；针对各种参数收集并存储应用任务的资源统计；基于收集的历史统计进行资源监控；基于历史确定的资源使用限制进行资源管理，如果未找到记录的精确匹配，则基于置信度评分来确定限制，且使得每个资源管理器(resource manager，简称RM)代理能够接收在存在应用(硬限制)和历史统计(软限制)这两个限制的情况下待启动的工作器。

Adaptive Resource Management in Distributed Computing Systems

The invention provides a framework for adaptive resource processing for applications executed in distributed systems to ensure effective resource utilization. The invention provides a framework that enables clients to uniquely participate in identifying applications using tags to make resource adaptation more effective; collects and stores resource statistics of application tasks for various parameters; monitors resources based on collected historical statistics; manages resources based on historically determined resource utilization constraints; and if accurate matches of records are not found, then bases on Confidence score determines the limitation and enables each resource manager (RM) agent to receive the worker to be started in the presence of application (hard limitation) and history statistics (soft limitation).

【技术实现步骤摘要】
【国外来华专利技术】分布式计算系统中的自适应资源管理
此处描述的本专利技术涉及资源管理，并且更具体地，涉及用于在分布式计算系统中管理计算机资源的系统、方法和设备。
技术介绍
随着网络技术的快速发展，分布式计算因支持在很多不同的用户、系统或其任意组合之间共享计算资源(例如内存、处理时间、输入/输出等)，已经成为一种越来越流行的计算方法。例如“云计算”，其包括将网络中的若干计算机资源同时应用于单个问题。云计算是基于互联网(“云”)的计算机技术(“计算”)的开发和使用。概念上，基础结构细节是从用户和/或系统抽象出来的。其中，用户和/或系统不再需要在支持它们的“云中”技术基础结构方面的知识、专业知识或控制。它通常涉及通过互联网提供动态可扩展且经常虚拟化的资源作为服务。分布式系统(也称为集群)包括由网络互相连接的一组资源。资源管理器控制将可用资源分配给运行在至少一个集群上的分布式应用。图1示出了资源管理器的粗略级别图，其中，该资源管理器控制将可用资源分配给运行在集群上的分布式应用。如图1所示，涉及的主要组件是资源管理器(resourcemanager，简称RM)、应用管理器(applicationmanager，简称AM)、RM代理以及运行在诸如计算机等的RM代理源上的任务执行器。资源管理器跟踪活跃的RM代理和可用资源。资源管理器基于应用管理器规定的资源需求将可用资源分配给应用和任务。AM协调应用生命周期内所有任务的执行，要求容器运行任务，将“资源请求”发送到“资源管理器”。资源请求能够规定所需的资源，例如内存、CPU等。用户提供对分布式应用的任务执行器(任务)的资源需求。RM代理向“RM”发送关于主机/RM代理上可用资源的周期性更新，基于主机上的“资源管理器”分配的资源启动主机上的“任务执行器”过程，并监控“任务执行器”的资源使用。任务执行器负责执行不同类型的应用任务，每个任务可以具有不同的资源(例如RAM、CPU)需求。图2示出了现有技术中可用的资源分配的分布式执行流程。如图2所示，资源管理器具有终止消耗资源多于分配资源的恶意任务的机制。任务会请求较多资源(CPU、内存等)以避免被终止，因为实际资源使用总是小于所请求的资源量。资源管理器是基于针对特定任务的执行所分配的资源而不是基于用于执行的实际资源来计算可用资源的。这种类型的计算导致了集群资源的利用不足。此外，管理员需要手动分析并确定资源是否利用不足，然后对配置进行必要的改变以便于下一次运行和优化对于大型集群来说不实际的资源使用。尽管有可用的机制，但现有技术存在某些关键问题，因为未利用已分配资源的应用会导致资源利用不足。此外，管理员需要手动监控来自历史数据的资源利用统计，并调整客户端资源请求。在具有各种应用的大型集群中，这种监控过程很繁琐和复杂，从而增加了操作人员成本。而且，利用不足的资源会导致在具有更高配置硬件的集群中部署更多的节点，从而增加了供应商成本，因为他们需要在硬件上投资更多。所以，资源的有效利用没有考虑在内。
技术实现思路
提供本
技术实现思路
以介绍与分布式计算系统中自适应资源管理相关的概念，并且在下面的详细介绍中进一步描述。本
技术实现思路
不旨在确定所请求保护主题的必要特征，也不旨在确定或限定所请求保护主题的范围。本专利技术的一个主要目的是通过提供用于自适应资源管理的系统、方法和设备来解决上述技术问题，所述系统、方法和设备基于历史应用运行自动监控、分析并分配应用资源。一方面，本专利技术提供了一种系统、方法和设备，用于针对诸如节点类型(例如硬件类型)、优先级等的各种参数来收集并存储每个唯一应用任务的资源统计。另一方面，本专利技术提供了一种系统、方法和设备，用于通过标签唯一地标识应用，并且针对这些标签收集历史状态，使得资源适配更为有效。应当理解和注意的是，硬限制是由用户基于有限的资源所规定的资源限制，如果超出限制，系统尝试终止资源。类似地，软限制是基于之前的运行进行的统计计算限制。因此，系统调度将基于软限制来进行，并尝试协商更多的资源，直到达到硬限制。在本专利技术的前述描述中使用了硬限制和软限制的相同逻辑含义。另一方面，本专利技术提供了一种系统、方法和设备，能够基于收集的历史统计来确定灵活的资源利用限制(软限制)，如果未找到精确的匹配历史记录，则基于置信度评分评估可能的软限制。另一方面，本专利技术提供了一种系统、方法和设备，用于基于确定的软限制而不是基于用户配置的限制来启动用于执行任务的任务执行器。因此，能够将额外的空闲资源用于其他任务执行器。另一方面，本专利技术提供了一种用于动态调整资源大小的系统、方法和设备，其中，当任务执行器使用大于软限制的资源时，只要资源是可用的，应用就不会立即终止，而是能够分阶段增长，直到资源利用达到与资源管理器协商出的用户配置的限制(硬限制)为止。RM代理确保资源利用不超出硬限制。相应地，在一种实施方式中，本专利技术提供了一种用于自适应资源管理的系统。所述系统包括资源管理器和驻留在至少一个RM代理中的任务执行器资源监控模块。所述资源管理器用于接收来自至少一个应用的至少一个资源请求，所述应用至少与应用名称和标签一同接收，所述资源请求包括执行的应用任务的至少一个资源需求；所述资源管理器还包括：资源预测模块，用于：基于预先存储在历史数据存储中的至少一个历史资源使用统计的可用性，至少提供应用任务的软限制，或者返回由至少一个用户配置的应用任务的硬限制；从识别出的RM代理分配至少一个资源以用于执行。所述RM代理在分配时用于：至少基于所述软限制或所述硬限制执行所述应用任务，并包括：任务执行器资源监控模块，用于：监控执行中的所述应用任务的至少一个资源使用；针对所述标签将所述应用任务的至少一个资源使用统计存储在历史数据存储中。在一种实施方式中，本专利技术提供了一种用于自适应资源管理的资源管理器。所述资源管理器包括处理器和耦合到所述处理器的存储器，所述处理器用于执行存在于所述存储器中的多个模块。所述多个模块包括：接收模块，用于接收来自至少一个应用的至少一个资源请求，所述应用至少与应用名称和标签一同接收，所述资源请求包括执行的应用任务的至少一个资源需求；资源预测模块，用于基于预先存储在历史数据存储中的至少一个历史资源使用统计的可用性，至少提供应用任务的软限制，或者返回由至少一个用户配置的应用任务的硬限制；基于应用任务的软限制或硬限制从至少一个识别出的RM代理分配至少一个资源以用于执行。在一种实施方式中，本专利技术提供了一种用于执行所分配的至少一个应用任务的RM代理。所述RM代理包括处理器和耦合到所述处理器的存储器，所述处理器用于执行所处存储器中存在的多个模块。所述多个模块包括：接收模块，用于至少基于软限制或硬限制(基于硬限制，如果可能，则基于软限制，其中所述硬限制将由用户提出)接收至少一个用于执行的应用任务；任务执行器模块，用于执行所述应用任务，其中，基于所述软限制或所述硬限制对所述任务执行器模块进行分配；任务执行器资源监控模块，用于监控执行中的所述应用任务的至少一个资源使用；针对所述标签，将所述应用任务的至少一个资源使用统计存储到历史数据存储中。在一种实施方式中，公开了一种用于自适应资源管理的方法。所述方法包括：接收来自至少一个应用的至少一个资源请求，所述应用至少与应用名称和标签一同接收，所述资源请求包本文档来自技高网...

【技术保护点】
1.一种用于自适应资源管理的系统，其特征在于，所述系统包括资源管理器(RM)和至少一个RM代理，其中：所述资源管理器(RM)用于：接收来自至少一个应用的至少一个资源请求，所述应用至少包括应用名称和标签，所述资源请求包括执行的应用任务的资源需求；其中所述资源管理器包括：资源预测模块，用于：基于预先存储在历史数据存储中的至少一个历史资源使用统计的可用性，至少提供应用任务的软限制，或者返回由至少一个用户配置的应用任务的硬限制；从识别出的RM代理分配至少一个资源以用于执行；所述RM代理在分配时用于：至少基于所述软限制或所述硬限制执行所述应用任务，并包括：任务执行器资源监控模块，用于：监控执行中的至少一个应用任务；针对所述标签存储所述应用任务的资源的至少一个资源使用统计。

【技术特征摘要】
【国外来华专利技术】2016.07.13 IN IN2016410240011.一种用于自适应资源管理的系统，其特征在于，所述系统包括资源管理器(RM)和至少一个RM代理，其中：所述资源管理器(RM)用于：接收来自至少一个应用的至少一个资源请求，所述应用至少包括应用名称和标签，所述资源请求包括执行的应用任务的资源需求；其中所述资源管理器包括：资源预测模块，用于：基于预先存储在历史数据存储中的至少一个历史资源使用统计的可用性，至少提供应用任务的软限制，或者返回由至少一个用户配置的应用任务的硬限制；从识别出的RM代理分配至少一个资源以用于执行；所述RM代理在分配时用于：至少基于所述软限制或所述硬限制执行所述应用任务，并包括：任务执行器资源监控模块，用于：监控执行中的至少一个应用任务；针对所述标签存储所述应用任务的资源的至少一个资源使用统计。2.根据权利要求1所述的系统，其特征在于，至少从存储器、输入/输出(I/O)进程、中央处理器(CPU)或其任意组合中选择应用任务的资源需求。3.根据权利要求1所述的系统，其特征在于，所述应用任务的软限制或硬限制通过以下方式提供：将接收的应用任务的资源需求与预先存储在历史数据存储中的至少所述应用名称、所述应用任务、所述RM代理、RM代理类型或其任意组合相匹配。4.根据权利要求3所述的系统，其特征在于，如果找到匹配，则所述资源预测模块还用于：应用与资源使用相关联的至少一个可配置公式来确定所接收的应用任务的软限制，优选地，从最大值、平均值、标准偏差或其任意组合中选择所述可配置公式。5.根据权利要求3和4所述的系统，其特征在于，如果未找到匹配，则所述资源预测模块还用于：针对预先存储在与所述应用相关联的历史数据存储中的不同历史资源使用集合生成至少一个置信度评分；从生成的置信度评分中选择一个最佳置信度评分；从而应用与资源使用相关联的至少一个可配置公式来确定所接收的应用任务的软限制。6.根据权利要求1和3所述的系统，其特征在于，如果所分配的用于执行的资源的资源使用超出所述软限制，则所述RM代理还用于分配至少一个其他资源用于执行所述应用任务。7.根据权利要求1和6所述的系统，其特征在于，如果所分配的用于执行的资源的资源使用超出所述硬限制，则停止/终止所述应用任务的执行。8.根据权利要求1所述的系统，其特征在于，所述标签包括标识所述应用的给定任务的任务类型，所述资源使用基于任务时间。9.根据权利要求1所述的系统，其特征在于，所述资源使用统计至少包括应用名称、应用标识、应用任务类型、所述标签、资源提供类型或其任意组合。10.一种用于自适应资源管理的资源管理器，其特征在于，所述资源管理器包括：处理器；耦合到所述处理器的存储器，所述处理器用于执行存在于所述存储器中的多个模块，所述多个模块包括：接收模块，用于接收来自至少一个应用的至少一个资源请求，所述应用至少包括应用名称和标签，所述资源请求包括执行的应用任务的至少一个资源需求；资源预测模块，用于：基于预先存储在历史数据存储中的至少一个历史资源使用统计的可用性，至少提供应用任务的软限制，或者返回由至少一个用户配置的应用任务的硬限制；基于应用任务的软限制或硬限制从至少一个识别出的RM代理分配至少一个资源以用于执行。11.根据权利要求9所述的资源管理器，其特征在于，至少从存储器、输入/输出(I/O)进程、中央处理器(CPU)或其任意组合中选择应用任务的资源需求。12.根据权利要求9所述的资源管理器，其特征在于，所述应用任务的软限制或硬限制通过以下方式提供：将接收的应用任务的资源需求与预先存储在历史数据存储中的至少所述应用名称、所述应用任务、所述RM代理、RM代理类型或其任意组合相匹配。13.根据权利要求11所述的资源管理器，其特征在于，如果找到匹配，则资源预测模块还用于：应用与资源使用相关联的至少一个可配置公式来确定所接收的应用任务的软限制，优选地，从最大值、平均值、标准偏差或其任意组合中选择所述可配置公式。14.根据权利要求11和12所述的资源管理器，其特征在于，如果未找到匹配，则资源预测模块还用于：针对预先存储在与所述应用相关联的历史数据存储中的不同历史资源使用集合生成至少一个置信度评分；从生成的置信度评分中选择一个最佳置信度评分；从而应用与资源使用相关联的至少一个可配置公式来确定所接收的应用任务的软限制。15.根据权利要求9和12所述的资源管理器，其特征在于，如果所分配的用于执行的资源的资源使用超出所述软限制，则所述RM代理还用于分配至少一个其他资源用于执行所述应用任务。16.根据权利要求9和11所述的资源管理器，其特征在于，如果所分配的用于执行资源的资源使用超出所述硬限制，则停止/终止所述应用任务的执行。17.根据权利要求9所述的资源管理器，其特征在于，所述标签包括标识所述应用的给定任务的任务类型，所述资源...

【专利技术属性】
技术研发人员：普里扬克·阿肖克·拉斯托吉，纳加奈拉西姆哈·拉梅什·加拉，罗希特·夏尔马·K·西瓦桑卡拉，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44