一种基于机器学习的服务器能耗预测方法和系统技术方案

本发明专利技术涉及一种基于机器学习的服务器能耗预测方法和系统，包括：分别采集服务器在零负载、低负载和高负载状态下的系统资源利用率和实时能耗，作为零负载训练集、低负载训练集和高负载训练集；分别将零负载训练集、低负载训练集和高负载训练集输入机器学习模型进行训练，生成零负载能耗模型、低负载能耗模型和高负载能耗模型；根据服务器的待预测系统资源利用率，选择零负载能耗模型，或低负载能耗模型，或高负载能耗模型，以预测服务器的能耗值，系统资源利用率包括：内存利用率、网络带宽利用率、磁盘利用率和CPU利用率，由此本发明专利技术通过扩充采集的系统资源利用率参数和分段训练模型，提高了预测精度和实用性。

【技术实现步骤摘要】
一种基于机器学习的服务器能耗预测方法和系统
本专利技术涉及机器学习领域，特别涉及一种基于机器学习的服务器能耗预测方法和系统。
技术介绍
随着大数据和云计算技术的普及以及业务量和数据量的增大，服务器集群的规模与日俱增，产生的能耗也是随之增加，这样就导致在能耗方面成本上升，所以一个云操作系统或者一个数据中心的服务器能耗的优化在现在的技术环境下成为了一个更加重要的问题。传统的测量功率的方式都是通过电仪器直接对服务器进行电参数的测量得到服务器的实际功率，但是这种物理测量方式只能够得到准确的实际功率，无法从这些数据中分析出是什么导致了功率的上升、下降或者是功率的突变。由于服务器功率的变化必然伴随着系统资源使用情况的变化，所以我们就需要设计出能够精确预测服务器能耗并且反映出系统资源利用率与服务器能耗间关系的预测模型。以分析资源利用率对能耗的影响，辅助设计人员在建设服务器时控制能源消耗。在能耗的预测方面，很多专家学者从各个领域以及各种技术角度出发，产生了大量的优秀成果。专利CN201520972712.X公开了一种数据机房热环境的动态预测控制系统，包括：架空的地板、放置服务器的多个服务器机柜、空调、与所述空调连接的控制器、分别安装在地板、服务器机柜和空调上的多个传感器、与传感器信号连接的热环境模拟器、以及与热环境模拟器连接的能耗分析器。动态预测控制系统通过传感器实时采集数据机房各个位置的温度和速度并将采集的数据上传到热环境模拟器，热环境模拟器根据实测的数据计算出整个数据机房的气流分布，对数据机房的热环境进行实时的准确预测。专利CN201410240301.1公开了一种服务器温度预测方法、装置及系统，在该方案中，硬件设备的第一使用率是在当前时刻之前的，且与当前时刻相距第一指定时长内的各采样时间点，分别采集得到的，考虑了过去的一段时间内的硬件设备的第一使用率对预测的温度的影响，因此，提高了预测得到的温度的准确度。但服务器的温度过高会导致服务器出现故障的概率增加，而温度过低会导致数据中心的能量消耗增加。所以该方法是通过监测服务器的温度进而进行温度的控制进而保证服务器的正常工作的节能。但是这种方法是对服务器外部环境的监测并以此为根据进行预测，其使用的温度这一外部环境因素所能反应服务器性能和能耗的准确性是远不如服务器内部性能参数的。在设计服务器能耗模型的时候主要有两种设计思路，第一是基于程序计数器或系统使用率的建模，还有一种是通过温度来预测服务器功率。分别的方式是采集处理器的程序计数器参数、采集系统CPU利用率和内存利用率等资源利用率参数或者采集被测服务器实时温度进行模型的构建。目前最常使用的建模算法是选取多元线性回归和非线性回归。将选取的参数以及实测的功率值作为模型的训练集输入数据对模型进行训练，得到符合要求的能耗模型，并且使用测试集进行测试以验证模型的有效性和准确性。
技术实现思路
为了解决上述技术问题，本专利技术目的在于提供一种基于机器学习的服务器能耗预测方法，其中包括：步骤1、根据预设的总CPU利用率阈值，将服务器的工作状态划分为零负载状态、低负载状态和高负载状态，分别采集该服务器在该零负载状态、该低负载状态和该高负载状态下的系统资源利用率和实时能耗，作为零负载训练集、低负载训练集和高负载训练集；步骤2、分别将该零负载训练集、该低负载训练集和该高负载训练集输入机器学习模型进行训练，生成零负载能耗模型、低负载能耗模型和高负载能耗模型；步骤3、根据该服务器的待预测系统资源利用率，选择该零负载能耗模型，或该低负载能耗模型，或该高负载能耗模型，以预测该服务器的能耗值。其中步骤1中该系统资源利用率包括：该服务器的内存利用率、网络带宽利用率、磁盘利用率和该服务器中每个CPU的CPU利用率。该基于机器学习的服务器能耗预测方法，其中将该服务器的总CPU利用率小于3％时的工作状态作为该零负载状态；将该服务器的总CPU利用大于等于3％且小于50％的工作状态作为该低负载状态；将该服务器的总CPU利用大于等于50％且小于等于100％的工作状态作为该高负载状态。该基于机器学习的服务器能耗预测方法，其中步骤2中该机器学习模型具体为支持向量机回归模型。该基于机器学习的服务器能耗预测方法，其中该步骤1还包括：利用服务器集群性能监测工具，采集该系统资源利用率。该基于机器学习的服务器能耗预测方法，其中该步骤1还包括：通过功率测量仪获得该实时能耗。本专利技术还提供了一种基于机器学习的服务器能耗预测方系统，其中包括：训练集采集模块，用于根据预设的总CPU利用率阈值，将服务器的工作状态划分为零负载状态、低负载状态和高负载状态，分别采集该服务器在该零负载状态、该低负载状态和该高负载状态下的系统资源利用率和实时能耗，作为零负载训练集、低负载训练集和高负载训练集；学习训练模块，用于分别将该零负载训练集、该低负载训练集和该高负载训练集输入机器学习模型进行训练，生成零负载能耗模型、低负载能耗模型和高负载能耗模型；预测模块，用于根据该服务器的待预测系统资源利用率，选择该零负载能耗模型，或该低负载能耗模型，或该高负载能耗模型，以预测该服务器的能耗值。其中训练集采集模块中该系统资源利用率包括：该服务器的内存利用率、网络带宽利用率、磁盘利用率和该服务器中每个CPU的CPU利用率。该基于机器学习的服务器能耗预测系统，其中将该服务器的总CPU利用率小于3％时的工作状态作为该零负载状态；将该服务器的总CPU利用大于等于3％且小于50％的工作状态作为该低负载状态；将该服务器的总CPU利用大于等于50％且小于等于100％的工作状态作为该高负载状态。该基于机器学习的服务器能耗预测系统，其中学习训练模块中该机器学习模型具体为支持向量机回归模型。该基于机器学习的服务器能耗预测系统，其中该训练集采集模块还包括：利用服务器集群性能监测工具，采集该系统资源利用率。该基于机器学习的服务器能耗预测系统，其中该训练集采集模块还包括：通过功率测量仪获得该实时能耗。由此本专利技术通过以下三点提高了服务器能耗预测精度：1、以系统资源利用率为输入参数，并且扩充采集的系统资源利用率参数的个数；2、使用机器学习算法的方法进行建模；3、提出分段训练及预测的模型构建方法，以提高预测精度并提高实用性。附图说明图1为服务器功率采集的方法描述图；图2为构建能耗模型的总体框图。具体实施方式对于目前的主流能耗预测建模方法存在一些导致模型误差的潜在因素，本专利技术基于这些因素进行了针对性的改进和优化，主要从以下几个方面展开。首先考虑选取的系统参数指标，无论是程序计数器或者是CPU利用率和内存利用率的组合，它们的变化都能够导致服务器功率发生改变，但是这些参数并不是唯一可以导致服务器功率发生改变的因素，现在的研究结果只能表明这些参数与服务器实际功率的相关性是很高的，但是无论是内部系统资源模块或者是外部的物理硬件环境都有可能对实时的功率造成影响。所以本专利技术以系统资源利用率为输入参数，并且扩充采集的系统资源利用率参数的个数，包括但不限于CPU利用率、内存利用率、网络带宽利用率、磁盘利用率等。其次，本专利技术构建预测模型使用的输入数据种类数较多，属于多维数据，并且对精度要求较高，所以使用了机器学习算法的方法进行建模，机器学习算法例如支持向量机模型svm中本文档来自技高网...

【技术保护点】
1.一种基于机器学习的服务器能耗预测方法，其特征在于，包括：步骤1、根据预设的总CPU利用率阈值，将服务器的工作状态划分为零负载状态、低负载状态和高负载状态，分别采集该服务器在该零负载状态、该低负载状态和该高负载状态下的系统资源利用率和实时能耗，作为零负载训练集、低负载训练集和高负载训练集；步骤2、分别将该零负载训练集、该低负载训练集和该高负载训练集输入机器学习模型进行训练，生成零负载能耗模型、低负载能耗模型和高负载能耗模型；步骤3、根据该服务器的待预测系统资源利用率，选择该零负载能耗模型，或该低负载能耗模型，或该高负载能耗模型，以预测该服务器的能耗值；其中步骤1中该系统资源利用率包括：该服务器的内存利用率、网络带宽利用率、磁盘利用率和该服务器中每个CPU的CPU利用率。

【技术特征摘要】
1.一种基于机器学习的服务器能耗预测方法，其特征在于，包括：步骤1、根据预设的总CPU利用率阈值，将服务器的工作状态划分为零负载状态、低负载状态和高负载状态，分别采集该服务器在该零负载状态、该低负载状态和该高负载状态下的系统资源利用率和实时能耗，作为零负载训练集、低负载训练集和高负载训练集；步骤2、分别将该零负载训练集、该低负载训练集和该高负载训练集输入机器学习模型进行训练，生成零负载能耗模型、低负载能耗模型和高负载能耗模型；步骤3、根据该服务器的待预测系统资源利用率，选择该零负载能耗模型，或该低负载能耗模型，或该高负载能耗模型，以预测该服务器的能耗值；其中步骤1中该系统资源利用率包括：该服务器的内存利用率、网络带宽利用率、磁盘利用率和该服务器中每个CPU的CPU利用率。2.如权利要求1所述的基于机器学习的服务器能耗预测方法，其特征在于，将该服务器的总CPU利用率小于3％时的工作状态作为该零负载状态；将该服务器的总CPU利用大于等于3％且小于50％的工作状态作为该低负载状态；将该服务器的总CPU利用大于等于50％且小于等于100％的工作状态作为该高负载状态。3.如权利要求1所述的基于机器学习的服务器能耗预测方法，其特征在于，步骤2中该机器学习模型具体为支持向量机回归模型。4.如权利要求1所述的基于机器学习的服务器能耗预测方法，其特征在于，该步骤1还包括：利用服务器集群性能监测工具，采集该系统资源利用率。5.如权利要求1所述的基于机器学习的服务器能耗预测方法，其特征在于，该步骤1还包括：通过功率测量仪获得该实时能耗。6.一种基于机器学习的服务器能...

【专利技术属性】
技术研发人员：牛逸翔，孙毓忠，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京,11