集群计算资源调度方法、装置、设备及介质制造方法及图纸

本发明专利技术实施例公开了一种基于神经网络算法的集群计算资源调度方法、装置、设备及介质，该方法包括：提交任务；预处理任务，获取预处理信息；提取数据特征、任务特征、集群计算资源特征；运用神经网络算法计算预处理信息、数据特征、任务特征和集群计算资源特征，生成资源分配信息；根据资源分配信息运行任务，获取任务资源监控，日志特征提取，准确率验证；根据任务资源监控，日志特征提取，准确率验证训练神经网络模型；再次提交任务，多次重复以上操作，经训练后的神经网络模型计算后输出最终的集群计算资源调度方案。本发明专利技术实施例实现智能化、自动化的方法，提高了设备利用率和数据分析效率，降低了数据中心的能源消耗。

Cluster Computing Resource Scheduling Method, Device, Equipment and Media

【技术实现步骤摘要】
集群计算资源调度方法、装置、设备及介质
本专利技术涉及软件、通讯、互联网、大数据行业领域，具体地涉及人工智能技术与大数据技术的综合应用
，尤其涉及一种基于神经网络算法的集群计算资源调度方法、装置、设备及介质。
技术介绍
在以Hadoop技术为主的生产集群中，理论上任务对计算资源的请求应该及时得到满足，但实际情况下集群的计算资源往往是有限的，当任务需要计算资源时经常需要排队等待，现有技术很难找到一个策略可以满足所有的应用场景。现有的技术方案普遍使用Hadoop技术自带的调度器及策略，加上系统运维管理人员手工进行数据中心的计算资源的调度管理。系统管理员选定一种调度策略，然后根据租户的资源需求进行规划，提前预先创建所有已知的租户队列，同时设置好每个租户队列能够使用的计算资源的最小和最大值，然后强制要求各个租户提交任务时必须提交到指定的租户队列中，实现了各租户得到最小计算资源保障的同时又能进行资源隔离和限制。后期，系统管理员根据各租户的任务运行的效率，评估租户计算资源的合理性，进行数据中心计算资源参数的调整和优化，保障租户的任务稳定运行。综上所述，现有技术和管理方法应用在多租户共享集群时存在以下几个缺点：租户任务优先级的需求与Hadoop调度策略的矛盾；资源预先分配导致资源使用的灵活性不足；过度的资源抢占导致任务运行效率低。现有技术只提供了基本的调度手段和方法，这不仅增加了数据中心运维的难度，同时因为都靠人为手工操作，也增加了出错的风险。数据中心迫切需要一种智能的、动态的、自动的、实时的资源管理与调度手段。
技术实现思路
本专利技术实施例提供了一种基于神经网络算法的集群计算资源调度方法、装置、设备及介质，用于解决现有技术中任务的资源分配不灵活，任务运行效率低，数据中心运维难，以及手工操作的问题，以达到智能的、动态的、自动的、实时的资源管理与调度。第一方面，本专利技术实施例提供了一种基于神经网络算法的集群计算资源调度方法，方法包括：任务提交；任务预处理，获取预处理信息；提取数据特征、任务特征、集群计算资源特征；运用神经网络算法计算预处理信息、数据特征、任务特征和集群计算资源特征，生成资源分配信息；任务根据资源分配信息运行，获取任务资源监控，日志特征提取，准确率验证；模型训练根据任务资源监控，日志特征提取，准确率验证训练神经网络模型；任务再次提交，多次重复以上操作，经训练后的神经网络模型计算后输出最终的集群计算资源调度方案。第二方面，本专利技术实施例提供了一种基于神经网络算法的集群计算资源调度装置，装置包括：预处理模块，用于对任务预处理，获取预处理信息；特征提取模块，用于提取数据特征、任务特征、集群计算资源特征；神经网络计算模块，用于计算预处理信息、数据特征、任务特征和集群计算资源特征，生成资源分配信息；任务运行模块，用于根据资源分配信息运行，获取任务资源监控，日志特征提取，准确率验证；模型训练模块，用于根据任务资源监控，日志特征提取，准确率验证训练神经网络模型。本专利技术实施例提供了一种基于神经网络算法的集群计算资源调度方法设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。第四方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。本专利技术实施例提供的基于神经网络算法的集群计算资源调度方法、装置、设备及介质，具有的积极效果为：(1)采用神经网络算法，解决了任务游与Hadoop调度策略的矛盾。(2)采用神经网络算法，解决了资源预先分配导致资源使用的灵活性足的问题。(3)采用神经网络算法，解决了过度的资源抢占导致任务运行效率低的问题。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了本专利技术一实施例的基于神经网络算法的集群计算资源调度方法流程图；图2示出了本专利技术一实施例的智能调度作业的流程图；图3示出了本专利技术一实施例的BP神经网络结构示意图；图4示出了现有技术中的Yarn调度器对比图；图5示出了本专利技术一实施例的基于神经网络算法的集群计算资源调度装置模块示意图；图6示出了本专利技术实施例提供的集群计算资源调度方法设备的硬件结构示意图。具体实施方式下面将详细描述本专利技术的各个方面的特征和示例性实施例，为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本专利技术，并不被配置为限定本专利技术。对于本领域技术人员来说，本专利技术可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本专利技术的示例来提供对本专利技术更好的理解。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。图1示出了本专利技术一实施例的基于神经网络算法的集群计算资源调度方法流程图；本专利技术实施例的基于神经网络算法的集群计算资源调度方法包括：S110：提交任务。S120：预处理任务，获取预处理信息。S130：提取数据特征、任务特征、集群计算资源特征。S140：运用神经网络算法计算预处理信息、数据特征、任务特征和集群计算资源特征，生成资源分配信息。S150：根据资源分配信息运行任务，获取任务资源监控，日志特征提取，准确率验证。S160：根据任务资源监控，日志特征提取，准确率验证训练神经网络模型。S170：再次提交任务，多次重复以上操作，经训练后的神经网络模型计算后输出最终的集群计算资源调度方案。在步骤S110中，任务提交环境主要指基于Hadoop集群的Hive、Spark等计算引擎。在现有技术方案中，先由ETL系统提交job，然后由HiveServer2和SparkThriftServer服务端进行接收。在步骤S120中，预处理任务包括：任务代理和任务解析。任务代理，通过模拟HiveServer2和SparkThriftServerRPC通信机制来实现，通过代理器拦截应用提交的job内容。任务解析，拦截job内容信息包括，SQL语句、租户名称、权限。通过解析SQL语句获取的内容包括，表名、字段名、函数、SQL逻辑、血缘关系等。在步骤S130中，提取数据特征、任务特征、集群计算资源特征，其中，数据特征的提取，通过元数据管理系统和解析出的表名、字段名等信息提取参与任务计算的数据量规模、分布、数量等。任务特征的提取，在历史日志信息中查找同类型任务(SQL语句基本相同)的历史任务运行信息。包括本文档来自技高网...

【技术保护点】
1.一种基于神经网络算法的集群计算资源调度方法，其特征在于，所述方法包括：提交任务；预处理任务，获取预处理信息；提取数据特征、任务特征、集群计算资源特征；运用神经网络算法计算预处理信息、数据特征、任务特征和集群计算资源特征，生成资源分配信息；根据资源分配信息运行任务，获取任务资源监控，日志特征提取，准确率验证；根据任务资源监控，日志特征提取，准确率验证训练神经网络模型；再次提交任务，多次重复以上操作，经训练后的神经网络模型计算后输出最终的集群计算资源调度方案。

【技术特征摘要】
1.一种基于神经网络算法的集群计算资源调度方法，其特征在于，所述方法包括：提交任务；预处理任务，获取预处理信息；提取数据特征、任务特征、集群计算资源特征；运用神经网络算法计算预处理信息、数据特征、任务特征和集群计算资源特征，生成资源分配信息；根据资源分配信息运行任务，获取任务资源监控，日志特征提取，准确率验证；根据任务资源监控，日志特征提取，准确率验证训练神经网络模型；再次提交任务，多次重复以上操作，经训练后的神经网络模型计算后输出最终的集群计算资源调度方案。2.根据权利要求1所述的方法，其特征在于，所述预处理任务包括：任务代理和任务解析。3.根据权利要求1所述的方法，其特征在于，所述的获取数据特征、任务特征、集群计算资源特征包括：从数据系统获取数据特征、任务特征、集群计算资源特征。4.根据权利要求1所述的方法，其特征在于，所述的数据特征包括：表名、字段名、函数、SQL逻辑和血缘关系。5.根据权利要求1所述的方法，其特征在于，所述的任务特征包括：用户名、状态、最大最小CPU\内存、任务提交、排队、分配、执行和结束时长。6.根据权利要求1所述的方法，其特征在于，所述神经网络算法为BP神经网络算法。7.根据权利要求1所述的方法，其特征在于，所述的资源分配信息包括：最大最小CPU\内存和资源百分比。8.根据权利要求1所述的方法...

【专利技术属性】
技术研发人员：郭慈，颜海涛，罗泉，刘炼，孟晓莉，王子翔，张韬，
申请(专利权)人：中国移动通信集团湖北有限公司，中国移动通信集团公司，
类型：发明
国别省市：湖北,42