一种基于向量自回归的云计算中虚拟机监控方法技术

一种基于向量自回归的云计算中虚拟机监控方法是一种新型的监控方法。由于云计算中虚拟机监控的特殊性监控的数据量较为庞大，采用周期性监控会对监控系统造成巨大的压力，我们采用更节省资源的“拉”模式的监控，但是具体什么时候采集数据，需要智能的判断，不但增加了实时性，而且也减少系通的资源压力，基于VAR的云计算中虚拟机监控，即做到实时性的监控，又提高了资源的利用率。该模型能够根据以往的数据模型建立新的回归方程，来对下一个周期的资源数据做出预测，根据这些预测值配合“拉”模式进行模拟数据的采集。这种算法增加了资源监控的自适应性和实时性。

【技术实现步骤摘要】

本专利技术是一种云计算中虚拟机的资源监控方法，本方法基于向量自回归模型来预测资源变化情况，解决了云计算中虚拟机资源监控时如何决定轮询时间的问题，本专利技术属于分布式计算和云计算

技术介绍
云计算是一种新的互联网计算模式，通过该模式实现网络中软硬件资源和信息的 按需共享。人们普遍认为，云计算是继大型计算机到客户端-服务器计算模式的大转变滞后的又一种巨变。用户不再需要了解“云”中基础设施的细节，无需直接进行控制。云计算描述了一种基于互联网的新的IT服务增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展而且经常是虚拟化的资源。云计算可以认为包括以下几个层次的服务基础设施即服务(IaaS)，平台即服务(PaaS)和软件即服务(SaaS)。当今云计算最主要特点是虚拟化，应用最广的云计算层次IaaS主要基于虚拟化技术。云计算将计算作为一种服务，用户关心的不是技术而是服务，即我能享有什么服务。在云计算中只要你能通过互联网接入云端，你就可以享受云计算带来的便捷。云计算是多样的，是依照用户的需求来发展，而用户想得到这样的服务却不需要用户去安装复杂的软件，配置太多的参数，从而充分利用资源。而虚拟机是实现云计算中虚拟化特性非常重要的方式，其一虚多一级多虚一的特点是实现云计算中计算资源池化的重要手段。云计算中的资源管理地位就显的尤为重要，而云计算中资源监控就转变为对虚拟机资源的监控与管理。这种虚拟机的监控，首先是监控的信息量比以往更大，不仅仅监控物理节点的资源，还包括物理节点上的虚拟机资源，系统需要这些监控信息来做到虚拟机的智能迁移，传统的网络监控采用的都是一种“推”的监控方式，即被监控对象只要运行就会定期的将自己的监控数据发送给监控模块，这种方式极度的浪费资源，实时性也比较差，特别是在虚拟机的这种数据量极大的监控中，更显得这种方式的不足之处。然而在实际环境中，有些资源使用效率是比较高的，资源状态的小幅度改变并不会对虚拟机产生影响，这样的状态改变是完全可以忽略不计的。如果周期性地去获取所有资源信息，必然会造成对云系统资源开销的巨大浪费，尤其是对一些使用率较低的设备，在没有使用的情况下还要对其进行定时扫描，浪费大量的监控资源。目前一些组织已经开发了虚拟机监控系统，比如VMware，Xen等。但这些资源监控系统都是采用固定周期的轮询策略采集资源的性能数据。这样就会存在之前所叙述的问题。因此研究一种新型云计算中虚拟机资源监控方法具有重要意义。
技术实现思路
技术问题本专利技术的主要目的是提供，与过去使用的监控方法不同，因为虚拟机的监控本身数据量就非常大，传统的采用轮询周期的监控，轮询周期过密会收集大量的冗余信息，使系统的性能下降，轮询周期过疏不能快速的反应云计算中有意义的资源波动信息即实时性不强等问题。技术方案本专利技术的是一种基于向量自回归(VAR)的云计算中虚拟机监控方法，通过弓IA VAR预测思想而提出的，其原理是首先以固定轮询时间间隔监测物理节点的多个性能数据作为样本数据,通过一段时间的样本,基于VAR进行平稳性分析，考虑各个性能数据之间的因果关系，得到各个性能数据各自的回归函数，然后根据最近一段时间的样本进 行回归函数计算，得到下一个时间段的性能数据预测值，以判断下一次的监控时间点。通过该方法解决云计算中虚拟机监控系统中由于固定周期性监控过密所引起的高负荷，系统开销以及固定周期性监控过疏引起的实时性不强等问题。本专利技术的基于向量自回归的云计算中虚拟机监控方法所包含的步骤为 步骤I)每个被监控的物理节点都有一个采集器，主要负责该物理节点监控数据的采集，包括主机名、处理器、内存、CPU利用率、时钟速度、物理内存总量、虚拟内存和可用磁盘空间，以及运行在该物理节点上的多个虚拟机的资源等信息； 步骤2)各个物理节点的采集器将监控到的数据交给监控模块的信息收集器，信息收集器对接收到的数据进行一定的格式化处理，并提取出物理节点的数据发送给VAR控制器模块，其中VAR指的是向量自回归模型，其它的虚拟机信息直接交给反馈模块； 步骤3) 定义一个最小监控信息采集周期 作为时间序列中最短的时间间隔，在定义一个rTffisx =w X Tmi, w为正整数，"Tms为最大的监控信息采集周期，按照T■周期采集样本性能信息，把资源的利用率作为评价网格监控事件的参数，包括cpu利用率，带宽利用率，内存利用率，i/o利用率； 步骤4)定义一个存储最初采集监控数据的样本的二维数组= { Xlij, X2ij, X3ij,x4iJ\ , i=l. . . n, j=0. . . m, n代表监控节点的个数，m大于100 ;其中i代表集群中监控节点的序号，J代表样本时间点，集合中的四个子项，代表CPU使用率、x2ij代表内存使用率、 代表I/O使用率、代表带宽使用率,样本(Xw，x2ij，x3ij，x4i)表示一个时间点&机器i监测到的性能数据，形成一段时间的样本，时间点之间的间隔为Iibi ;并定义安全计时器;和最大监控间隔时间Imk =WX Tffiai’其中W为正整数； 步骤5) 接下来对这些样本数据归一化处理，即对每个时间点的X进行处理，x表示每个监控节点上的当前时间的所有数据，处理如下 = ( 一 U)/(Xlmjs - XbaJ, ^她代表在j时刻n个节点%值的最小值，Iibk代表最大值；同样求出x2ij，X3ij,X4u的值，分别代表归一化后的数据，将= { Xlijr X2ijr X3ij, X4Js处理后变为X = \xw, X2iJ, x3ij，X4ij }，X 代表数据归一化处理后的样本数组； 步骤6)将样本均值处理，将每一个时间点内的数据XQ/] 至XL/] ，进行均值处 n ，理，并保存到一个中间数组Yt 中(4个检量)，Yf = LOgY-,k=l, 2, 3,4, i=i nt=l. . . m, n代表监控节点个数，t代表时间点,每个时间点都进行如此处理(取对数主要是为了消除异方差)，最后将每个时间点内经过均值处理得到的4个数赋值给X ，作为最终的输入样本。步骤7) 采用PP (Phillips-Perron test)单位根检验法对每一个时间序列检验是否存在单位根，若这些时间序列不服从一介单整，则对时间序列进行差分处理，采用迭代相乘法就出各个参数的值，将经过差分处理的新的时间序列再次进行单位根检验，若仍然存在单位根，将进一步差分处理，直到不存在单位根，即序列平稳位置，若超过三次差分则重新选择样本； 步骤8)确定CPU使用率、内存使用率、I/O使用率、带宽使用率为VAR模型的内生变量，且输入样本为乙数组，t=l...m。四个时间序列分别用Lcpu(t)、Lram⑴、(t)、^bw(t)表示；建立如下方程模型VAR(P)权利要求1. ，其特征在于该方法所包含的步骤为 步骤I)每个被监控的物理节点都有一个采集器，主要负责该物理节点监控数据的采集，包括主机名、处理器、内存、CPU利用率、时钟速度、物理内存总量、虚拟内存和可用磁盘空间，以及运行在该物理节点上的多个虚拟机的资源等信息； 步骤2)各个物理节点的采集器将监控到的数据交给监控模块的信息收集器，信息收集器对接收到的数据进行一本文档来自技高网...

【技术保护点】
一种基于向量自回归的云计算中虚拟机监控方法，其特征在于该方法所包含的步骤为：步骤1)？？每个被监控的物理节点都有一个采集器，主要负责该物理节点监控数据的采集，包括主机名、处理器、内存、CPU利用率、时钟速度、物理内存总量、虚拟内存和可用磁盘空间，以及运行在该物理节点上的多个虚拟机的资源等信息；步骤2)？？各个物理节点的采集器将监控到的数据交给监控模块的信息收集器，信息收集器对接收到的数据进行一定的格式化处理，并提取出物理节点的数据发送给VAR控制器模块，其中VAR指的是向量自回归模型，其它的虚拟机信息直接交给反馈模块；步骤3)？？定义一个最小监控信息采集周期？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？，作为时间序列中最短的时间间隔，在定义一个=w×，w为正整数，为最大的监控信息采集周期，按照周期采集样本性能信息，把资源的利用率作为评价网格监控事件的参数，包括：CPU利用率，带宽利用率，内存利用率，I/O利用率；步骤4)？？定义一个存储最初采集监控数据的样本的二维数组={？x1ij，x2ij，x3ij，x4ij？}，i=1...n，j=0...m，n代表监控节点的个数，m大于100；其中i代表集群中监控节点的序号，？j代表样本时间点，集合中的四个子项，x1ij代表CPU使用率、x2ij代表内存使用率、x3ij代表I/O使用率、x4ij代表带宽使用率，样本(？x1ij，x2ij，x3ij，x4ij)？表示一个时间点机器i监测到的性能数据，形成一段时间的样本，时间点之间的间隔为；并定义安全计时器和最大监控间隔时间=w×，其中w为正整数；步骤5)？？接下来对这些样本数据归一化处理，即对每个时间点的x[1...n]进行处理，x[1...n]表示每个监控节点上的当前时间的所有数据，处理如下：？，代表在j时刻n个节点值的最小？值，代表最大值；同样求出X2ij，X3ij，X4ij的值，分别代表归一化后？的数据，将={？x1ij，x2ij，x3ij，x4ij？}处理后变为X[j][i]={？X1ij，X2ij，X3ij，？？X4ij？}，X[j][i]？代表数据归一化处理后的样本数组；步骤6)？？将样本均值处理，将每一个时间点内的数据X[j][1]至X[j][n]，进行均值处理，并保存到一个中间数组Yt？[1...4]中(4个检量),？Yt[4]=，k=1,2,3,4，t=1...m，n代表监控节点个数，t代表时间点，每个时间点都进行如此处理(取对数主要是为了消除异方差)，最后将每个时间点内经过均值处理得到的4个数赋值给X[t][1]，作为最终的输入样本；？步骤？7)？？采用PP（Phillips？Perron？test）单位根检验法对每一个时间序列检验是否存在单位根，若这些时间序列不服从一介单整，则对时间序列进行差分处理，采用迭代相乘法就出各个参数的值，将经过差分处理的新的时间序列再次进行单位根检验，若仍然存在单位根，将进一步差分处理，直到不存在单位根，即序列平稳位置，若超过三次差分则重新选择样本；步骤？8)？？确定CPU使用率、内存使用率、I/O使用率、带宽使用率为VAR模型的内生变量，且输入样本为Yt？[1...4]数组，t=1...m；四个时间序列分别用Lcpu(t)、Lram(t)、Lio(t)、Lbw(t)表示；建立如下方程模型VAR(p)：？？？？？？？？？？？？？？？？？（1）式中,i=1...p，代表第i个带估计参数N×N阶矩阵；其中Ut代表是N×1阶随机误差列向量，p？为模型最大滞后阶数，Yt代表时间序列的列向量；步骤？9)？？接下里计算出滞后阶数p，选择赤池信息准则AIC与施瓦茨准则SC来确定滞后阶数，通过以下的计算公式来得到相应的值：AIC=？，？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？（2）SC=；？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？？（3）？其中L为似然估计，T代表样本容量；首先建立VAR(p)模型，分别建立VAR(1)，VAR(2)，VAR(3)，VAR(4)来比较AIC与SC的值，pmax？={p|AICi与SCj代都取最小，i,j1,2,3,4}，pmax确定为最终的滞后阶数；步骤？10)？接下来建立最终的VAR(pmax)模型，通过样本会预测出上述的估计参数矩阵，得到线性模型如下：式子中的p即是第7步骤的预测值滞后阶数pmax，其中代表计算出的估计参数，方程表示的是各变量上一时间点的值与下一时间点...

【技术特征摘要】

【专利技术属性】
技术研发人员：付雄，朱鑫鑫，王汝传，孙力娟，韩志杰，季一木，戴华，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：