资源消耗计量方法、装置、电子设备及存储介质制造方法及图纸

本公开实施例公开了一种资源消耗计量方法、装置、电子设备、存储介质及程序产品，所述方法包括：响应于资源消耗计量请求，确定资源使用方在预设时间周期内所发起的资源使用任务；从YARN资源管理系统获取所述资源使用任务的资源消耗情况；所述YARN资源管理系统用于对所述资源使用任务分配资源；根据所述资源使用任务在所述预设时间周期内对应的资源消耗情况，确定所述资源使用方在所述预设时间周期内对大数据集群资源的总消耗情况。该技术方案可以按照时间周期统计每个资源使用方对资源的消耗情况，能够解决已有技术资源消耗统计不准确以及统计效率低下的问题。

【技术实现步骤摘要】
资源消耗计量方法、装置、电子设备及存储介质
本公开实施例涉及大数据
，具体涉及一种资源消耗计量方法、装置、电子设备及存储介质。
技术介绍
在大数据集群领域，下游对大数据集群的使用主要体现为两种形式：离线分析查询和在线调度计算。已有技术中，以往对各部门的占用成本计量只依托简单的数字，比如查询次数、调度脚本数、调度频率，但不同的查询和计算脚本对集群的资源消耗是大相径庭的，所以根本无法对各部门集群资源的消耗进行精准计量，在成本计算时容易出现各类分歧和争执。
技术实现思路
本公开实施例提供一种资源消耗计量方法、装置、电子设备及存储介质。第一方面，本公开实施例中提供了一种资源消耗计量方法，包括：响应于资源消耗计量请求，确定资源使用方在预设时间周期内所发起的资源使用任务；从YARN资源管理系统获取所述资源使用任务的资源消耗情况；所述YARN资源管理系统用于对所述资源使用任务分配资源；根据所述资源使用任务在所述预设时间周期内对应的资源消耗情况，确定所述资源使用方在所述预设时间周期内对大数据集群资源的总消耗情况。进一步地，所述方法还包括：获取所述资源使用方对大数据集群资源的前端操作；将所述前端操作映射至所述YARN资源管理系统的所述资源使用任务。进一步地，将所述前端操作映射至所述YARN资源管理系统的所述资源使用任务之后，还包括：建立所述前端操作与所述资源使用任务之间的关联关系。进一步地，从YARN资源管理系统获取所述资源使用任务的资源消耗情况，包括：向所述YARN资源管理系统发送获取所述资源使用任务的资源消耗情况的请求；接收所述YARN资源管理系统返回的所述资源消耗情况。进一步地，响应于资源消耗计量请求，确定资源使用方在预设时间周期内所发起的所述资源使用任务，包括：确定所述资源使用方在预设时间周期内产生的所述前端操作；根据所述前端操作与所述关联关系确定所述资源使用方在预设时间周期内发起的所述资源使用任务。进一步地，根据所述资源使用任务在所述预设时间周期内对应的资源消耗情况，确定所述资源使用方在所述预设时间周期内对大数据集群资源的总消耗情况，包括：确定所述资源使用方在所述预设时间周期内产生的所述前端操作以及所述前端操作的类型；针对不同的所述类型，确定所述前端操作对应的所述资源使用任务对大数据集群资源的总消耗情况。进一步地，所述前端操作的类型包括离线查询操作和在线调度操作。第二方面，本公开实施例中提供了一种资源消耗计量方法，包括：YARN资源管理系统创建资源使用任务，并为所述资源使用任务分配大数据集群资源；响应于资源消耗计量请求，资源分析服务器确定资源使用方在预设时间周期内所发起的所述资源使用任务，并从YARN资源管理系统获取所述资源使用任务的资源消耗情况；所述资源分析服务器根据所述资源使用任务在所述预设时间周期内对应的资源消耗情况，确定所述资源使用方在所述预设时间周期内对大数据集群资源的总消耗情况。进一步地，所述方法还包括：资源使用方设备接收用户的前端操作，并将所述前端操作发送至资源分析服务器；资源分析服务器基于所述前端操作向YARN资源管理系统发送资源请求；YARN资源管理系统创建资源使用任务，并为所述资源使用任务分配大数据集群资源，包括：所述YARN资源管理系统在接收到所述资源请求之后，创建对应于所述前端操作的所述资源使用任务，并为所述资源使用任务分配大数据集群资源。进一步地，所述方法还包括：所述资源分析服务器建立所述前端操作与所述资源使用任务之间的关联关系。进一步地，从YARN资源管理系统获取所述资源使用任务的资源消耗情况，包括：所述资源分析服务器向所述YARN资源管理系统发送获取所述资源使用任务的资源消耗情况的请求；所述YARN资源管理系统将所述资源使用任务的资源消耗情况返回给所述资源分析服务器。进一步地，响应于资源消耗计量请求，资源分析服务器确定资源使用方在预设时间周期内所发起的所述资源使用任务，包括：所述资源分析服务器确定所述资源使用方在预设时间周期内产生的所述前端操作，并根据所述前端操作与所述关联关系确定所述资源使用方在预设时间周期内发起的所述资源使用任务。进一步地，资源分析服务器根据所述资源使用任务在所述预设时间周期内对应的资源消耗情况，确定所述资源使用方在所述预设时间周期内对大数据集群资源的总消耗情况，包括：所述资源分析服务器确定所述资源使用方在所述预设时间周期内产生的所述前端操作以及所述前端操作的类型，并针对不同的所述类型，确定所述前端操作对应的所述资源使用任务对大数据集群资源的总消耗情况。进一步地，所述前端操作的类型包括离线查询操作和在线调度操作。第三方面，本公开实施例中提供了一种资源消耗计量装置，包括：响应模块，被配置为响应于资源消耗计量请求，确定资源使用方在预设时间周期内所发起的资源使用任务；获取模块，被配置为从YARN资源管理系统获取所述资源使用任务的资源消耗情况；所述YARN资源管理系统用于对所述资源使用任务分配资源；确定模块，被配置为根据所述资源使用任务在所述预设时间周期内对应的资源消耗情况，确定所述资源使用方在所述预设时间周期内对大数据集群资源的总消耗情况。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。在一个可能的设计中，上述装置的结构中包括存储器和处理器，所述存储器用于存储一条或多条支持上述装置执行上述对应方法的计算机指令，所述处理器被配置为用于执行所述存储器中存储的计算机指令。上述装置还可以包括通信接口，用于上述装置与其他设备或通信网络通信。第四方面，本公开实施例中提供了一种资源消耗计量系统，包括：YARN资源管理系统和资源分析服务器；所述YARN资源管理系统创建资源使用任务，并为所述资源使用任务分配大数据集群资源；响应于资源消耗计量请求，所述资源分析服务器确定资源使用方在预设时间周期内所发起的所述资源使用任务，并从YARN资源管理系统获取所述资源使用任务的资源消耗情况；所述资源分析服务器根据所述资源使用任务在所述预设时间周期内对应的资源消耗情况，确定所述资源使用方在所述预设时间周期内对大数据集群资源的总消耗情况。第五方面，本公开实施例提供了一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条支持上述任一装置执行上述对应方法的计算机指令，所述处理器被配置为用于执行所述存储器中存储的计算机指令。上述任一装置还可以包括通信接口，用于与其他设备或通信网络通信。第六方面，本公开实施例提供了一种计算机可读存储介质，用于存储上述任一装置所用的计算机指令，其包含用于执行上述任一方法所涉及的计算机指令。第七方面，本公开实施例提供了一种计算机程本文档来自技高网...

【技术保护点】
1.一种资源消耗计量方法，包括：/n响应于资源消耗计量请求，确定资源使用方在预设时间周期内所发起的资源使用任务；/n从YARN资源管理系统获取所述资源使用任务的资源消耗情况；所述YARN资源管理系统用于对所述资源使用任务分配资源；/n根据所述资源使用任务在所述预设时间周期内对应的资源消耗情况，确定所述资源使用方在所述预设时间周期内对大数据集群资源的总消耗情况。/n

【技术特征摘要】
1.一种资源消耗计量方法，包括：
响应于资源消耗计量请求，确定资源使用方在预设时间周期内所发起的资源使用任务；
从YARN资源管理系统获取所述资源使用任务的资源消耗情况；所述YARN资源管理系统用于对所述资源使用任务分配资源；
根据所述资源使用任务在所述预设时间周期内对应的资源消耗情况，确定所述资源使用方在所述预设时间周期内对大数据集群资源的总消耗情况。


2.根据权利要求1所述的方法，其中，所述方法还包括：
获取所述资源使用方对大数据集群资源的前端操作；
将所述前端操作映射至所述YARN资源管理系统的所述资源使用任务。


3.根据权利要求2所述的方法，其中，将所述前端操作映射至所述YARN资源管理系统的所述资源使用任务之后，还包括：
建立所述前端操作与所述资源使用任务之间的关联关系。


4.根据权利要求2或3所述的方法，其中，从YARN资源管理系统获取所述资源使用任务的资源消耗情况，包括：
向所述YARN资源管理系统发送获取所述资源使用任务的资源消耗情况的请求；
接收所述YARN资源管理系统返回的所述资源消耗情况。


5.一种资源消耗计量方法，包括：
YARN资源管理系统创建资源使用任务，并为所述资源使用任务分配大数据集群资源；
响应于资源消耗计量请求，资源分析服务器确定资源使用方在预设时间周期内所发起的所述资源使用任务，并从YARN资源管理系统获取所述资源使用任务的资源消耗情况；
所述资源分析服务器根据所述资源使用任务在所述预设时间周期内对应的资源消耗情况，确定所述资源使用方在所述预设时间周期内对大数...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：拉卡拉支付股份有限公司，
类型：发明
国别省市：北京;11