确定任务消耗资源的方法及装置制造方法及图纸

本公开实施例提供了一种确定任务消耗资源的方法及装置，所示方法包括：获取集群任务的任务记录，所述任务记录包括：任务执行时启动的任务进程；计算每个任务进程占用预设单位资源的资源占用时间；统计集群任务启动的多个任务进程占用的预设单位资源的总资源占用时间；根据所述总资源占用时间及预设单位资源确定所述集群任务在执行时消耗的集群资源。本公开能够确定每个集群任务在执行时占用的集群资源，便于追踪每天在集群中计算的集群任务消耗的资源。

【技术实现步骤摘要】

本公开涉及计算机
，尤其涉及一种确定任务消耗资源的方法及装置。
技术介绍
Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。集群中一般包含多个节点，每个节点上的CPU资源和存储资源等。在实际应用中，一个企业中的Hadoop集群在实际应用中可能会由企业中很多的研发人员使用，由于每个提交到集群中的任务在执行时均需要消耗一定的资源，例如CPU资源和存储资源等，对于一些研发人员提供的需要消耗很多集群资源的程序，可能会造成资源的争抢，可能还会影响其它集群任务的运行。
技术实现思路
为克服相关技术中存在的问题，本公开提供一种确定任务消耗资源的方法及装置。根据本公开实施例的第一方面，提供一种确定任务消耗资源的方法，包括：获取集群任务的任务记录，所述任务记录包括：任务执行时启动的任务进程；计算每个任务进程占用预设单位资源的资源占用时间；统计集群任务启动的多个任务进程占用的预设单位资源的总资源占用时间；根据所述总资源占用时间及预设单位资源确定所述集群任务在执行时消耗的集群资源。可选地，所述方法还包括：统计集群中每个节点上的多维度资源；将每个节点上的多维度资源划分成多个单维度的预设单位资源。可选地，所述方法还包括：获取预设集群资源与任务优先级的对应关系；将与所述集群任务消耗的集群资源对应的任务优先级确定为所述集群任务的优先级。可选地，所述任务记录还包括：尝试进程；所述计算每个任务进程在对应的所述进程时间内占用预设单位资源的资源占用时间包括：针对每个任务进程，获取每个任务进程启动的尝试进程；当存在运行成功的尝试进程时，统计运行成功的尝试进程占用预设单位资源的资源占用时间。可选地，所述获取集群任务的任务记录包括：通过预设接口以负载均衡的方式获取集群任务的任务记录。根据本公开实施例的第二方面，提供一种确定任务消耗资源的装置，包括：第一获取模块，用于获取集群任务的任务记录，所述任务记录包括：任务执行时启动的任务进程；计算模块，用于计算每个任务进程占用预设单位资源的资源占用时间；第一统计模块，用于统计集群任务启动的多个任务进程占用的预设单位资源的总资源占用时间；第一确定模块，用于根据所述总资源占用时间及预设单位资源确定所述集群任务在执行时消耗的集群资源。可选地，所述装置还包括：第二统计模块，用于统计集群中每个节点上的多维度资源；划分模块，用于将每个节点上的多维度资源划分成多个单维度的预设单位资源。可选地，所述装置还包括：第二获取模块，用于获取预设集群资源与任务优先级的对应关系；第二确定模块，用于将与所述集群任务消耗的集群资源对应的任务优先级确定为所述集群任务的优先级。可选地，所述任务记录还包括：尝试进程；所述计算模块包括：第一获取子模块，用于针对每个任务进程，获取每个任务进程启动的尝试进程；统计子模块，用于当存在运行成功的尝试进程时，统计运行成功的尝试进程占用预设单位资源的资源占用时间。可选地，所述第一获取模块包括：第二获取子模块，用于通过预设接口以负载均衡的方式获取集群任务的任务记录。本公开的实施例提供的技术方案可以包括以下有益效果：本公开通过获取集群任务的任务记录，所述任务记录包括：任务执行时启动的任务进程；计算每个任务进程占用预设单位资源的资源占用时间；统计集群任务启动的多个任务进程占用的预设单位资源的总资源占用时间；根据所述总资源占用时间及预设单位资源确定所述集群任务在执行时消耗的集群资源。本公开提供的该方法，能够确定每个集群任务在执行时占用的集群资源，便于追踪每天在集群中计算的集群任务消耗的资源，进而便于按照部门、用户或者业务进行分析，找出资源占用最低的集群任务，便于统计各个部门或者各个业务线的资源消耗，进而便于指导各部门优化计算任务，有利于控制集群建设的成本控制。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。图1是根据一示例性实施例示出的一种确定任务消耗资源的方法的一种流程图；图2是根据一示例性实施例示出的一种确定任务消耗资源的方法的另一种流程图；图3是根据一示例性实施例示出的一种确定任务消耗资源的方法的另一种流程图；图4是根据一示例性实施例示出的一种确定任务消耗资源的装置的结构图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本专利技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本专利技术的一些方面相一致的装置和方法的例子。如图1所示，在本公开的又一实施例中，提供一种确定任务消耗资源的方法，应用于服务器，包括以下步骤。在步骤S101中，获取集群任务的任务记录。在本公开实施例中，所述任务记录包括：任务执行时启动的任务进程，服务器可以通过预设接口以负载均衡的方式获取集群任务的任务记录。在该步骤中，集群任务可以为提交到Hadoop集群中的任务，对于每一个运行完成的MapReduce任务，JobTracker都记录了该任务的详细信息，包括任务的基本配置信息和该MapReduce任务具体执行情况。这些信息都可以从JobTracker的Web站点以及各个子页面里获取得到；数据收集程序是一个Newlisp脚本，该脚本通过Http Get的方式请求JobTracker站点指定页面的内容，并对内容进行解析，获取到指定的MapReduce任务的详细信息。一般地，收集的信息具体分为三类：1)任务的基本信息；包括：任务Id、用户名、任务名称、Hive执行语句、任务提交机器、任务提交机器ip、任务提交时间、任务Launch时间、任务Launch耗时、任务结束时间、任务总共耗时、任务运行结果、失败信息。2)任务运行的统计信息；包括：各种Task的数目、成功运行的Task数目、失败的Task数目、杀死的Task数目、各个阶段(Setup、Map、Reduce、Cleanup)的开始时间、结束时间、总耗时、各个Counter的统计值。3)每个Task的每个Attempt执行的详细信息；包括：Attempt的id、所属Task id、Attempt开始时间、Shuffle阶段结束时间、Shuffle阶段耗时、Sort阶段结束时间、sort阶段耗时、Attempt结束时间、总共耗时、执行机器、执行结果、错误信息、Counter数目。对于每一个MapReduce任务，程序都会收集上述三类信息，汇总成一条任务记录，通过Http的方式发回到服务器，服务器通过REST API的方式接收程序发送过来的数据，为了防止单点,采用了LVS+Nginx+双机负载均衡的方案，数据库采用了MongoDB三机集群，保证数据存储的高性能和无单点。在步骤S102中，计算每个任务进程占用预设单位资源的资源占用时间。在本公开实施例中，一个预设单位资源可以指一个Slot，可以针对每个任务本文档来自技高网...

【技术保护点】
一种确定任务消耗资源的方法，其特征在于，包括：获取集群任务的任务记录，所述任务记录包括：任务执行时启动的任务进程；计算每个任务进程占用预设单位资源的资源占用时间；统计集群任务启动的多个任务进程占用的预设单位资源的总资源占用时间；根据所述总资源占用时间及预设单位资源确定所述集群任务在执行时消耗的集群资源。

【技术特征摘要】
1.一种确定任务消耗资源的方法，其特征在于，包括：获取集群任务的任务记录，所述任务记录包括：任务执行时启动的任务进程；计算每个任务进程占用预设单位资源的资源占用时间；统计集群任务启动的多个任务进程占用的预设单位资源的总资源占用时间；根据所述总资源占用时间及预设单位资源确定所述集群任务在执行时消耗的集群资源。2.根据权利要求1所述的确定任务消耗资源的方法，其特征在于，所述方法还包括：统计集群中每个节点上的多维度资源；将每个节点上的多维度资源划分成多个单维度的预设单位资源。3.根据权利要求1所述的确定任务消耗资源的方法，其特征在于，所述方法还包括：获取预设集群资源与任务优先级的对应关系；将与所述集群任务消耗的集群资源对应的任务优先级确定为所述集群任务的优先级。4.根据权利要求1至3任意一项所述的确定任务消耗资源的方法，其特征在于，所述任务记录还包括：尝试进程；所述计算每个任务进程在对应的所述进程时间内占用预设单位资源的资源占用时间包括：针对每个任务进程，获取每个任务进程启动的尝试进程；当存在运行成功的尝试进程时，统计运行成功的尝试进程占用预设单位资源的资源占用时间。5.根据权利要求4所述的确定任务消耗资源的方法，其特征在于，所述获取集群任务的任务记录包括：通过预设接口以负载均衡的方式获取集群任务的任务记录。6.一种确定任务消耗资源的装置，其特征在于，包括：第一获取模块，用于...

【专利技术属性】
技术研发人员：许鹭清，
申请(专利权)人：乐视网信息技术北京股份有限公司，
类型：发明
国别省市：北京;11