一种资源评估方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种资源评估方法、系统、计算机设备和存储介质。方法包括：获取待评估的集群指标信息，根据待评估的集群指标信息确定集群作业平均延迟和集群资源利用率，根据待评估的集群指标信息、集群作业平均延迟和集群资源利用率，确定队列作业平均延迟标准差和队列资源利用率标准差，根据集群作业平均延迟、集群资源利用率、队列作业平均延迟标准差和队列资源利用率标准差中至少之一，进行资源评估，从而实现了针对整个队列或整个集群的使用情况的定量分析，评估方法更加准确。

A Resource Assessment Method, Device, Computer Equipment and Storage Media

This application relates to a resource assessment method, system, computer equipment and storage medium. The methods include: obtaining the information of cluster indicators to be evaluated, determining the average delay of cluster jobs and the utilization rate of cluster resources based on the information of cluster indicators to be evaluated, determining the standard deviation of average delay of queue jobs and the standard deviation of utilization rate of queue resources based on the information of cluster indicators to be evaluated, and according to the average delay of cluster jobs and the utilization rate of cluster resources, determining the standard deviation of average delay of queue jobs and the standard deviation of utilization rate of queue resources. At least one of the standard deviations of group resource utilization, queue job average delay and queue resource utilization is used for resource evaluation, which realizes the quantitative analysis of the whole queue or the whole cluster, and the evaluation method is more accurate.

【技术实现步骤摘要】
一种资源评估方法、装置、计算机设备和存储介质
本申请涉及大数据
，特别是涉及一种资源评估方法、装置、计算机设备和存储介质。
技术介绍
在大数据处理领域，随着数据中心的数据和服务器的增加，对数据和资源的分配有了更高的要求。由于集群规模的增大和程序在利用资源方面要求的增高，能够实时监控集群状态并因此做出针对于集群和运行作业的及时反馈，在很大程度上影响着整个大数据平台的整体功能和作业效率。传统方法中，对于大数据集群的资源使用，往往只能针对单一作业的资源使用进行分析评估，无法有效的针对整个队列或整个集群的使用情况进行定量分析评估，评估方法不准确。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够有效的针对整个队列或整个集群的使用情况进行定量分析评估的资源评估方法、装置、计算机设备和存储介质。一种资源评估方法，所述方法包括：获取待评估的集群指标信息；根据待评估的所述集群指标信息确定集群作业平均延迟和集群资源利用率；根据待评估的所述集群指标信息、所述集群作业平均延迟和所述集群资源利用率，确定队列作业平均延迟标准差和队列资源利用率标准差；根据所述集群作业平均延迟、所述集群资源利用率、所述队列作业平均延迟标准差和所述队列资源利用率标准差中至少之一，进行资源评估。在其中一个实施例中，所述待评估的集群指标信息包括：第一预设周期内第i次采样时的集群等待作业个数、所述第一预设周期内的采样总次数、所述第一预设周期内的集群完成作业数、所述第一预设周期内的第q个作业完成时的内存使用量和所述第一预设周期内的集群总内存；所述根据待评估的所述集群指标信息确定集群作业平均延迟和集群资源利用率，包括：根据所述第i次采样时的集群等待作业个数和所述采样总次数，确定所述集群作业平均延迟；根据所述集群完成作业数、所述第q个作业完成时的内存使用量和所述集群总内存，确定所述集群资源利用率。在其中一个实施例中，所述待评估的集群指标信息包括：第一预设周期内第i次采样时的每一队列等待作业个数、所述第一预设周期内的采样总次数、所述第一预设周期内的队列数、所述第一预设周期内的每一队列完成作业数、所述第一预设周期内的第p个作业完成时的内存使用量和所述第一预设周期内的队列内存；所述根据待评估的所述集群指标信息、所述集群作业平均延迟和所述集群资源利用率，确定队列作业平均延迟标准差和队列资源利用率标准差，包括：根据所述第i次采样时的每一队列等待作业个数和所述采样总次数，确定每一队列作业平均延迟；根据所述每一队列作业平均延迟、所述队列数和所述集群作业平均延迟，确定所述队列作业平均延迟标准差；根据所述每一队列完成作业数、所述第p个作业完成时的内存使用量和所述队列内存，确定每一队列资源利用率；根据所述每一队列资源利用率、所述队列数和所述集群资源利用率，确定所述队列资源利用率标准差。在其中一个实施例中，所述根据所述集群作业平均延迟、所述集群资源利用率、所述队列作业平均延迟标准差和所述队列资源利用率标准差中至少之一，进行资源评估，包括：若所述集群作业平均延迟处于[a1，∞)，且所述集群资源利用率处于[b1，1]，则确定系统的资源不足；若所述集群作业平均延迟处于[0，c1]，所述集群资源利用率处于[0，1]，所述队列作业平均延迟标准差处于[0，c2]，且所述队列资源利用率标准差处于[0，c3]，则确定所述系统中的队列资源分配合理或所述系统的资源充足；若所述队列资源利用率标准差处于[b2，1]，则确定所述系统中的队列资源分配不合理；若所述队列作业平均延迟标准差处于[a2，)，且所述队列资源利用率标准差处于[0，c4]，则确定所述系统中的队列资源分配不合理；若所述队列作业平均延迟标准差处于[a3，)，且所述队列资源利用率标准差处于[b3，1]，则确定所述系统中的队列资源分配不合理；其中，a1、a2、a3、b1、b2、b3、c1、c2、c3、c4均为正数。在其中一个实施例中，所述待评估的集群指标信息包括实测的集群指标信息或预测的集群指标信息。在其中一个实施例中，所述待评估的集群指标信息为预测的集群指标信息；所述方法还包括：将实测的第二预设周期内的集群指标信息输入至深度学习模型；利用所述深度学习模型输出预测的第三预设周期内的集群指标信息；将所述第三预设周期的集群指标信息作为所述待评估的集群指标信息。在其中一个实施例中，所述方法还包括：将实测的第四预设周期内的集群指标信息输入至初始深度学习模型；迭代执行所述初始深度学习模型的正向推导和反向传播算法，得到所述深度学习模型。一种资源评估装置，所述装置包括：信息获取模块，用于获取待评估的集群指标信息；第一确定模块，用于根据待评估的所述集群指标信息确定集群作业平均延迟和集群资源利用率；第二确定模块，用于根据待评估的所述集群指标信息、所述集群作业平均延迟和所述集群资源利用率，确定队列作业平均延迟标准差和队列资源利用率标准差；评估模块，用于根据所述集群作业平均延迟、所述集群资源利用率、所述队列作业平均延迟标准差和所述队列资源利用率标准差中至少之一，进行资源评估。一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取待评估的集群指标信息；根据待评估的所述集群指标信息确定集群作业平均延迟和集群资源利用率；根据待评估的所述集群指标信息、所述集群作业平均延迟和所述集群资源利用率，确定队列作业平均延迟标准差和队列资源利用率标准差；根据所述集群作业平均延迟、所述集群资源利用率、所述队列作业平均延迟标准差和所述队列资源利用率标准差中至少之一，进行资源评估。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取待评估的集群指标信息；根据待评估的所述集群指标信息确定集群作业平均延迟和集群资源利用率；根据待评估的所述集群指标信息、所述集群作业平均延迟和所述集群资源利用率，确定队列作业平均延迟标准差和队列资源利用率标准差；根据所述集群作业平均延迟、所述集群资源利用率、所述队列作业平均延迟标准差和所述队列资源利用率标准差中至少之一，进行资源评估。上述资源评估方法、装置、计算机设备和存储介质，获取待评估的集群指标信息；根据待评估的集群指标信息确定集群作业平均延迟和集群资源利用率；根据待评估的集群指标信息、集群作业平均延迟和集群资源利用率，确定队列作业平均延迟标准差和队列资源利用率标准差；根据集群作业平均延迟、集群资源利用率、队列作业平均延迟标准差和队列资源利用率标准差，进行资源评估。其中，利用待评估的集群指标信息得到集群作业平均延迟、集群资源利用率、队列作业平均延迟标准差和队列资源利用率标准差，从而实现了针对整个队列或整个集群的使用情况的定量分析，评估方法更加准确。附图说明图1为一个实施例中资源评估方法的应用环境图；图2为一个实施例中资源评估方法的流程示意图；图3为一个实施例中S202的细化步骤的流程示意图；图4为一个实施例中S203的细化步骤的流程示意图；图5为另一个实施例中资源评估方法的流程示意图；图6为一个实施例中资源评估装置的结构框图；图7为一个实施例中计算机设备的内部结构图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白本文档来自技高网...

【技术保护点】
1.一种资源评估方法，其特征在于，所述方法包括：获取待评估的集群指标信息；根据待评估的所述集群指标信息确定集群作业平均延迟和集群资源利用率；根据待评估的所述集群指标信息、所述集群作业平均延迟和所述集群资源利用率，确定队列作业平均延迟标准差和队列资源利用率标准差；根据所述集群作业平均延迟、所述集群资源利用率、所述队列作业平均延迟标准差和所述队列资源利用率标准差中至少之一，进行资源评估。

【技术特征摘要】
1.一种资源评估方法，其特征在于，所述方法包括：获取待评估的集群指标信息；根据待评估的所述集群指标信息确定集群作业平均延迟和集群资源利用率；根据待评估的所述集群指标信息、所述集群作业平均延迟和所述集群资源利用率，确定队列作业平均延迟标准差和队列资源利用率标准差；根据所述集群作业平均延迟、所述集群资源利用率、所述队列作业平均延迟标准差和所述队列资源利用率标准差中至少之一，进行资源评估。2.根据权利要求1所述的方法，其特征在于，所述待评估的集群指标信息包括：第一预设周期内第i次采样时的集群等待作业个数、所述第一预设周期内的采样总次数、所述第一预设周期内的集群完成作业数、所述第一预设周期内的第q个作业完成时的内存使用量和所述第一预设周期内的集群总内存；所述根据待评估的所述集群指标信息确定集群作业平均延迟和集群资源利用率，包括：根据所述第i次采样时的集群等待作业个数和所述采样总次数，确定所述集群作业平均延迟；根据所述集群完成作业数、所述第q个作业完成时的内存使用量和所述集群总内存，确定所述集群资源利用率。3.根据权利要求1所述的方法，其特征在于，所述待评估的集群指标信息包括：第一预设周期内第i次采样时的每一队列等待作业个数、所述第一预设周期内的采样总次数、所述第一预设周期内的队列数、所述第一预设周期内的每一队列完成作业数、所述第一预设周期内的第p个作业完成时的内存使用量和所述第一预设周期内的队列内存；所述根据待评估的所述集群指标信息、所述集群作业平均延迟和所述集群资源利用率，确定队列作业平均延迟标准差和队列资源利用率标准差，包括：根据所述第i次采样时的每一队列等待作业个数和所述采样总次数，确定每一队列作业平均延迟；根据所述每一队列作业平均延迟、所述队列数和所述集群作业平均延迟，确定所述队列作业平均延迟标准差；根据所述每一队列完成作业数、所述第p个作业完成时的内存使用量和所述队列内存，确定每一队列资源利用率；根据所述每一队列资源利用率、所述队列数和所述集群资源利用率，确定所述队列资源利用率标准差。4.根据权利要求1所述的方法，其特征在于，所述根据所述集群作业平均延迟、所述集群资源利用率、所述队列作业平均延迟标准差和所述队列资源利用率标准差中至少之一，进行资源评估，包括：若所述集群作业平均延迟处于[a1，∞)，且所述集群资源利用率处于[b1，1]，则确定系统的资...

【专利技术属性】
技术研发人员：王庚，马松，杨光明子，张百军，
申请(专利权)人：亚信科技中国有限公司，
类型：发明
国别省市：北京,11