构建数据中心多维能耗量化分析模型的方法、介质及设备技术

构建数据中心多维能耗量化分析模型的方法、介质及设备，首先基于多项式回归来拟合出物理CPU、内存、磁盘的使用率与其功耗之间的关系，并将物理主机、虚拟主机、容器、计算任务的功耗看作是CPU、内存以及磁盘所产生的功耗之和，以CPU使用率、内存使用率以及磁盘I/O吞吐量来表示物理主机、虚拟主机、容器和计算任务的功耗，并通过功耗对时间的积分来计算指定时间内的能耗。与现有技术相比，本发明专利技术研究了数据中心的层次关系，能完整体现数据中心的整体能耗情况，具有能够从多层次、多维度反映数据中心能耗情况的优点。中心能耗情况的优点。中心能耗情况的优点。

【技术实现步骤摘要】
构建数据中心多维能耗量化分析模型的方法、介质及设备


[0001]本专利技术属于计算机数据处理
，涉及数据中心能耗建模，为一种构建数据中心多维能耗量化分析模型的方法。

技术介绍

[0002]随着数据中心在数量上和规模上的快速增长，数据中心的能源需求也在飞速增长。为了支持数据中心未来集约化、大型化的发展需求，形成绿色低碳、算力规模与数字经济增长相适应的新型数据中心发展模式，亟需研究云数据中心能耗模型，为云数据中心的节能优化提供依据。
[0003]传统的数据中心能耗模型往往只考虑单一层次或维度，针对物理主机或者单一应用进行能耗建模，不能反应物理主机的能耗与虚拟主机、容器、计算任务的能耗之间的关联，不能从数据中心整体的角度来建立能耗模型，仅是针对上述各个部分单独建模，而各部分之间实际是动态关联协作的关系，独立的建模难以对数据中心进行全面分析。因此，针对上述问题，本专利技术提出一种多层次、多维度的能耗量化分析技术，分别从物理主机、虚拟主机、容器、计算任务四个层面分析它们之间的关系，并建立能耗量化分析模型，解决数据中心的能耗量化分析问题。

技术实现思路

[0004]本专利技术要解决的问题是：现有技术对数据中心的能耗建模层次或维度单一，不能完整体现数据中心的整体能耗情况，由于数据中心中物理主机、虚拟主机、容器以及计算任务之间的关系过于复杂而不能将物理主机、虚拟主机、容器以及计算任务之间的能耗情况简单直接关联起来，不利于对数据中心能耗情况的准确分析。
[0005]本专利技术的技术方案为：一种构建数据中心多维能耗量化分析模型的方法，将数据中心的能耗分为物理主机、虚拟主机、容器、和计算任务四个层面，分析各层面间的联系，对数据中心分层次、多维度地建立能耗量化分析模型，实现从粗粒度到细粒度的数据中心能耗模型，包括如下步骤：
[0006]步骤1：由数据中心监控模块收集系统监控信息，包括物理主机的资源使用率及实时功耗，同时收集虚拟主机、容器、计算任务的物理资源分配情况以及各自的负载情况；
[0007]步骤2：以单个物理主机为单位，构建数据中心物理主机能耗量化分析模型：获得物理主机的功耗数据以及此时的物理CPU使用率、物理内存使用率和磁盘I/O的吞吐量信息，进行多次采样获得监控数据集，利用该数据集构建模功耗模型，由功耗模型实时计算分析物理主机的能耗；
[0008]步骤3：基于步骤2的模型数据，分析虚拟主机对物理资源的使用情况，分析虚拟主机所占用的各类物理资源在总使用量中的占比，构建数据中心虚拟主机能耗量化分析模型；
[0009]步骤4：容器运行在物理主机或虚拟主机上，根据容器所处位置的不同，基于步骤
2、3的模型数据，分析容器所使用物理主机各类资源的使用量在物理主机各类资源总使用量中的占比，或容器所使用虚拟主机各类资源的使用量在虚拟主机各类资源的总使用量中的占比，构建数据中心容器能耗量化分析模型；
[0010]步骤5：计算任务运行在物理主机、虚拟主机或容器上；基于步骤2、3、4的模型数据，若计算任务位于物理主机或虚拟主机上，则分析计算任务所使用物理主机或虚拟主机各类资源的使用量，若计算任务运行在容器内，则将容器整体功耗看做是在该容器上运行的计算任务的功耗；构建数据中心计算任务能耗量化分析模型；
[0011]步骤6：由所构建的量化分析模型，组成数据中心多维能耗量化分析模型，用于分层次多维度对数据中心的能耗进行量化分析。
[0012]本专利技术还提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被执行时实现上述构建数据中心多维能耗量化分析模型的方法，构建得到数据中心多维能耗量化分析模型。
[0013]本专利技术还提供一种电子设备,包括存储器以及处理器,所述存储器存储有计算机程序,所述计算机程序在所述处理器运行时实现上述的构建数据中心多维能耗量化分析模型的方法，得到数据中心多维能耗量化分析模型，用于对数据中心的能耗进行量化分析。
[0014]本专利技术的有益效果如下：
[0015](1)本专利技术的一种构建数据中心多维能耗量化分析模型的方法，通过分析物理主机、虚拟主机、容器以及计算任务之间的联系，创造性地将虚拟主机、容器以及计算任务按照它们所使用资源的比重来预测它们工作过程中所产生的能耗占其父系统总能耗的比例；从而将虚拟主机、容器与计算任务的功耗同其父系统的功耗联系起来，解决了现有能耗模型只能针对物理主机、虚拟主机、容器以及计算任务中某一具体维度建立能耗模型，不同维度模型之间相互没有关联的问题；从多维度多层面建立能耗量化分析模型，既能够预测物理主机这样粗粒度的能耗，也能够预测虚拟主机、容器、计算任务这样细粒度的能耗，并且能够实时反应物理节点上的虚拟主机、容器以及计算任务能耗占比情况。
[0016](2)本专利技术的一种构建数据中心多维能耗量化分析模型的方法，首先通过数据中心监控模块获取能耗数据以及CPU使用信息、内存，采用多变量线性回归，分别构建出CPU与其使用率之间的能耗关系、内存与其使用率之间的能耗关系、磁盘I/O吞吐量的能耗关系，通过这种方式，将物理主机的能耗、虚拟主机的能耗、容器与计算任务的能耗都以CPU、内存、磁盘I/O操作所产生的能耗来表示，具有良好的可解释性。
附图说明
[0017]图1为本专利技术方法流程图。
具体实施方式
[0018]现有技术对数据中心中的物理主机或者单一应用建模进行能耗分析，难以直观体现数据中心的总体能耗情况，本专利技术研究分析了数据中心中物理主机、虚拟主机、容器以及计算任务之间的关系，提出了一种构建数据中心多维能耗量化分析模型的方法，考虑数据中心的多个层次，能够体现物理主机、虚拟主机、容器以及计算任务之间的能耗情况以及彼此之间的关联影响，整体反映数据中心的能耗情况，有利于对整个数据中心的能耗量化分
析。
[0019]下面结合附图和实施实例对本专利技术进一步说明。
[0020]如图1所示，一种构建数据中心多维能耗量化分析模型的方法，将数据中心的能耗分为物理主机、虚拟主机、容器、和计算任务四个层面，通过分析物理主机、虚拟主机、容器以及计算任务之间的联系，提出新的建模方案，合理的将这四个层面的能耗模型统一起来，克服了不同维度的能耗模型之间难以建立联系的难题，对数据中心分层次、多维度地建立能耗量化分析模型，实现从粗粒度到细粒度的数据中心能耗模型。本发具体包括如下步骤。
[0021]步骤1：由数据中心监控模块收集系统监控信息，包括物理主机的资源使用率及实时功耗，同时收集虚拟主机、容器、计算任务的物理资源分配情况以及各自的负载情况，数据中心监控模块直接收集物理主机资源利用率、能耗以及负载等初始数据，后面需要用到时候再做预处理计算，处理成可用的数据。数据中心监控模块以单台物理主机为单位进行信息采集，包括以下内容。
[0022]1‑
1：通过linux操作系统所提供的API进行采样，获取当前物理主机的CPU核心使用率U
cpui
，内存使用率U
mem
，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种构建数据中心多维能耗量化分析模型的方法，其特征是将数据中心的能耗分为物理主机、虚拟主机、容器、和计算任务四个层面，分析各层面间的联系，对数据中心分层次、多维度地建立能耗量化分析模型，实现从粗粒度到细粒度的数据中心能耗模型，包括如下步骤：步骤1：由数据中心监控模块收集系统监控信息，包括物理主机的资源使用率及实时功耗，同时收集虚拟主机、容器、计算任务的物理资源分配情况以及各自的负载情况；步骤2：以单个物理主机为单位，构建数据中心物理主机能耗量化分析模型：获得物理主机的功耗数据以及此时的物理CPU使用率、物理内存使用率和磁盘I/O的吞吐量信息，进行多次采样获得监控数据集，利用该数据集构建模功耗模型，由功耗模型实时计算分析物理主机的能耗；步骤3：基于步骤2的模型数据，分析虚拟主机对物理资源的使用情况，分析虚拟主机所占用的各类物理资源在总使用量中的占比，构建数据中心虚拟主机能耗量化分析模型；步骤4：容器运行在物理主机或虚拟主机上，根据容器所处位置的不同，基于步骤2、3的模型数据，分析容器所使用物理主机各类资源的使用量在物理主机各类资源总使用量中的占比，或容器所使用虚拟主机各类资源的使用量在虚拟主机各类资源的总使用量中的占比，构建数据中心容器能耗量化分析模型；步骤5：计算任务运行在物理主机、虚拟主机或容器上；基于步骤2、3、4的模型数据，若计算任务位于物理主机或虚拟主机上，则分析计算任务所使用物理主机或虚拟主机各类资源的使用量，若计算任务运行在容器内，则将容器整体功耗看作是在该容器上运行的计算任务的功耗；构建数据中心计算任务能耗量化分析模型；步骤6：由所构建的量化分析模型，组成数据中心多维能耗量化分析模型，用于分层次多维度对数据中心的能耗进行量化分析。2.根据权利要求1所述的构建数据中心多维能耗量化分析模型的方法，其特征是数据中心监控模块包括如下配置：1
‑
1：通过linux操作系统所提供的API进行采样，获取当前物理主机的CPU核心使用率U
cpui
，内存使用率U
mem
，以及磁盘I/O吞吐量U
I/o
，其中i为CPU核心的编号，设当前物理主机共有N个CPU核心，i的取值范围为1至N；1
‑
2：通过libvirt所提供的API，获取虚拟主机对CPU、内存的使用情况以及磁盘I/O的吞吐量的原始信息，数据中心监控模块对这些数据进行预处理，计算得出每个虚拟主机对各个CPU核心的使用率、对内存的使用率以及磁盘I/O吞吐量，分别记为其中i为CPU核心的编号，j为虚拟主机的编号；1
‑
3：docker容器所在的系统包括物理主机及虚拟主机，通过docker API获取docker容器对于所在系统的CPU、内存的使用情况以及磁盘I/O吞吐量，数据中心监控模块对这些数据进行预处理，得出docker容器对每个CPU核心的使用率、对内存的使用率以及磁盘I/O吞吐量，将这些数据分别记为U
cpui
‑
docker
、U
mem
‑
docker
、U
I/o
‑
docker
，其中i为CPU核心的编号；1
‑
4：各个进程所在的系统包括物理主机及虚拟主机，通过linux提供的API获取各个进程对于所在系统的内存使用率以及磁盘I/O吞吐量，记为U
mem
‑
process
、U
I/o
‑
process
；并获取进程所在的CPU核心以及使用率，记为U
cpui
‑
process
，其中i为CPU核心的编号；
1
‑
5：在物理主机的视角下，获取关于编号为i的CPU核心的使用率，令对于内存的使用率，令对于磁盘I/O吞吐量，令其中V表示物理主机上虚拟主机的数量，D表示物理主机上容器的数量，K表示物理主机上进程的数量，r表示物理主机上容器的编号，s表示物理主机上进程的编号；1
‑
6：在虚拟主机的视角下，获取对于编号为i的CPU核心的使用率，令：对于内存的使用率，令：对于磁盘I/O的使用率，令：D
v
表示当前虚拟主机上容器的数量，K
v
表示当前虚拟主机上进程的数量，y为虚拟主机上容器的编号，q为虚拟主机上进程的编号；1
‑
7：通过数据中心环境监控系统或者功耗仪获取物理主机的实时功耗数据。3.根据权利要求1所述的构建数据中心多维能耗量化分析模型的方法，其特征是对物理主机建立能耗量化分析模型，具体步骤如下：步骤2
‑
1：通过数据中心监控模块，获得物理主机的功耗数据以及此时的物理CPU使用率、物理内存使用率和磁盘I/O的吞吐量信息，进行多次采样获得监控数据集，利用该数据集构建模功耗模型；步骤2
‑
2：将物理主机的功耗看作是物理CPU的功耗、物理内存的功耗以及磁盘I/O工作所产生的功耗之和，建立模型如下：P＝P
cpu
+P
mem
+P
I/o
#(7)其中P表示物理主机的功耗，P
cpu
表示物理CPU的功耗，P
mem
表示物理内存的功耗，P
I/O
表示磁盘I/O产生的功耗，其中：
其中表示物理主机上第i个CPU核心的功耗，令得到其中U
mem
和U
i/o
分别表示编号为i的物理CPU核心的使用率、物理内存的使用率和磁盘I/O的吞吐量，N为CPU核心数目，n为多项式的最大幂，h表示幂数，最终得到：步骤2
‑
3：将多次采样的物理主机的功耗数据以及此时的各个物理CPU核心使用率、物理内存使用率和磁盘I/O的吞吐量作为数据集，采用多项式回归拟合出系数(α
1,0
,α
1,1
,α
1,2
,
…
,α
1,n
,α
2,0
,α
2,1
,α
...

【专利技术属性】
技术研发人员：马洲俊，蒋承伶，谭晶，王云岚，韦磊，石文龙，朱红，邹昊东，马迪，杜元翰，
申请(专利权)人：国网江苏省电力有限公司，
类型：发明
国别省市：