上下文感知的虚拟机监视器衰退分析方法技术

本发明专利技术公开一种上下文感知的虚拟机监视器衰退分析方法，包括以下步骤：步骤1，关键衰退因子识别过程；步骤2，负载状态划分过程；步骤3，上下文感知的衰退预测模型构建过程；步骤4，自适应的衰退分析过程。本发明专利技术的目的在于以基于虚拟化技术的计算系统为研究对象，采用基于度量的方式，提供一种上下文感知的虚拟机监视器衰退分析方法用于诊断虚拟机监视器的性能异常，具备较高的检测率和较低的误警率。

【技术实现步骤摘要】

本专利技术属于性能诊断技术，特别是一种基于负载特征和资源使用特征的。
技术介绍
近年来，为了有效地满足面向互联网的复杂应用对大规模计算能力、海量数据处理和信息服务的需求，国际学术界和工业界开始借助于虚拟化技术实现异构环境中资源的可共享、可管理和可协同，并支持应用大规模部署、迁移和运行维护。虚拟化技术通过在软、硬件之间引入虚拟层，屏蔽硬件平台的动态性、分布性和异构性，支持硬件资源的共享和复用，并为每个普通用户提供独立的、隔离的计算环境，同时为管理员提供软硬件资源的集中管理。实现虚拟化技术的中间件软件称之为虚拟机监视器VMM (Virtual Machine Monitor)或hypervisor,如VMWare和Xen等；而通过VMM为应用提供的独立运行环境称之为虚拟机VM(Virtual Machine),如运行在VMware中的Linux系统和应用程序构成一个VM,且把VM中的操作系统称之为客户操作系统G0S(Guest Operating System)，VMM称为VM的宿主。在基于虚拟化技术构建的虚拟计算环境中，VMM作为虚拟化技术的实现载体，起着核心作用，其本质上是在VM和底层硬件平台之间引入的软件层。然而，对于任何软件而言，在其运行时不可避免地经历软件衰退，VMM自然也不能例外。软件衰退现象是指一个长时间持续运行的软件系统会发生状态退化或性能降低，最终导致系统崩溃。软件衰退现象的出现与软件缺陷的存在是密不可分的。更准确的说，是一种类型为“Aging-related bugs”的软件缺陷的存在导致了软件衰退的出现。由Aging-related bugs引发的软件衰退现象往往表现为系统资源缓慢泄漏、未释放的文件锁、数据损坏等形式，且随着时间推移，系统错误状态逐步累积，导致系统性能下降，或者瞬时失效。不同于Bohrbugs类型的软件缺陷,Aging-related bugs难于定位,通过软件测试手段难以消除，也不同于Heisenbugs类型的软件缺陷,Aging-related bugs在软件长时间运行后必然导致衰退现象，且由衰退导致的性能下降、瞬时失效也需通过重启等事后维护手段来消除，不仅维护成本较高，而且降低了系统可用性。为了有效应对软件衰退现象导致的性能下降和瞬时失效，提高系统可用性，并降低维护成本，贝尔实验室的研究人员提出了“软件自愈”(software re juvenation),国内的一些研究人员有时也称之为“软件再生”。有别于传统的容错技术，软件自愈是一种预防性维护技术，其核心思想是通过适时地暂停软件的运行，采用适当的方法清除系统内部状态，使之重新恢复到初始状态或“健康的”中间状态，以预防将来可能发生的更为严重的故障。虽然软件自愈是一种降低软件衰退影响的有效方法，然而不合时宜的自愈操作也可能造成额外的成本，如可用性的降低，更长的宕机时间等。因此，通过衰退分析确定合适的自愈时间点显得尤为重要。目前，衰退分析方法主要可以分为基于模型的方法和基于度量的方法。基于模型的方法的主要思路是借助于数学工具建立刻画虚拟化系统运行时状态变迁的模型，以最大化系统可用性等性能指标为优化目标，应用数学方法求解获取最优的自愈时间间隔，并以该时间间隔周期性地实施自愈操作。Garg S.等采用马尔可夫再生随机Petri网MRSPN(Markov Regenerative Stochastic Petri Net)描述状态变迁，并进行定量分析，使得状态转移和驻留时间的关系得到更准确的刻画，同时首次提出一种周期性自愈的思想，即把连续两次实施自愈操作的时间间隔作为自愈周期，且时间间隔是固定的。通过MRSPN建模时间和状态转换关系，以最小化稳态的停机时间为优化目标，用数学工具求解模型获得最优的自愈周期，按照此自愈时间间隔周期性地实施自愈操作，后续基于模型的方法很多都沿袭此思路(Garg S., Puliafito A., Trivedi K.S.Analysis of SoftwareRejuvenation using Markov Regenerative Stochastic Petri Net.1n:Proceedings ofISSRE1995, Toulouse, France, 1995:180-187)。然而，Okamura, H 等首次在模型中采用 了的非周期性自愈策略，在一个模型中刻画了具备自愈和检查点功能的计算系统动态行为，在假设自愈成本低于检查点成本，自愈的优先级高于检查点的前提下，研究发现自愈时间间隔会逐渐递减，即自愈操作的实施会越来越频繁，而检查点的设置间隔是有界的，甚至在自愈成本为零的情形下也成立(Okamura, H., Dohi, T.Availability optimization inoperational software system with aperiodic time-based rejuvenation scheme.1n: Supplemental Proceedings of19th International Symposium on SoftwareReliability Engineering, Los Alamitos:1EEE Computer Society Press, 2008:6)。而基于度量的方法的主要思想是在系统运行过程中，持续监测表征系统性能的可测量参数，通过统计方法学、时序分析方法、MSET、分形分析、数据挖掘和机器学习等方法识别出资源耗费和系统性能衰退的模式，建立数据模型来量化软件衰退程度，确定最佳的自愈时间点。基于度量的方法无需系统的先验知识因而被广泛关注，已被广泛应用于传统计算系统的衰退分析工作中，本专利技术沿袭了这一思路并应用于虚拟化系统，通过无监督学习方法建立系统衰退模型，识别和预测VMM衰退。Jiang GF等认为在系统正常状态时,系统度量间存在着稳定的关联关系，当关系被打破时则认为出现了异常，故提出采用无监督学习方法学习系统正常状态，获得度量间关联关系的方法。然而，该方法仅适用于度量之间存在线性关系的情形，且只能建立两个度量间的关联，而事实上通常存在多个度量，度量间关联关系较为复杂，因而多度量关联的问题无法角军决(Jiang GF, Chen HF, Kenji Y.Modeling and tracking of transaction flowdynamics for fault detection in complex systems.1EEE Trans, on Dependable andSecure Computing, 2006, 3(4):312-326.)。王焘等针对动态变化的负载模式影响系统度量，难以准确检测异常的问题，提出一种基于负载模式识别的在线异常检测方法。该方法基于在线增量式聚类算法，运行时识别动态变化的负载模式，根据特定负载模式对应的度量空间，利用局部异常因数检测异常状态和量化异常程度，并通过学生t测试方法计算度量异常值(王焘，魏峻，张文博，钟华.基于负载模式识别的Web应用在线异常检测方法.软件学报，2012，23(10):2705-2719)。但上述方法中由于负载动态变化本文档来自技高网...

【技术保护点】
一种上下文感知的虚拟机监视器衰退分析方法，其特征在于，包括以下步骤：步骤1，关键衰退因子识别过程，过程如下：给定由q个连续的等间隔采样的训练样本，其特征空间为f1,f2,...,fn,r1,r2,...,rs，其中f1,f2,...,fn为n个刻画负载的特征和r1,r2,...,rs为s个刻画资源使用的特征；选取其中s个资源使用的特征刻画虚拟机监视器VMM资源使用情况，采集VMM资源使用特征观测样本；以q个资源使用特征观测样本作为输入，采取最大最小归一化方法和滑动平均法对样本数据进行预处理，采用主成分分析方法识别影响VMM性能的关键衰退因子，将任意资源使用特征观测样本转化为由关键衰退因子表示的样本；步骤2，负载状态划分过程，过程如下：给定与步骤1中相同的q个训练样本，选取其中n个负载特征刻画VMM的负载，采集VMM负载特征观测样本，对q个负载特征观测样本采取最大最小归一化方法和滑动平均法对样本数据进行预处理；给定负载状态的个数p,1≤p<q，对q个预处理后的负载特征观测样本采用经典的k‑means聚类算法进行负载状态划分；将q个训练样本通过负载状态划分为p个子样本集；步骤3，上下文感知的衰退预测模型构建过程，过程如下：遍历p个子样本集，对于每个子样本集建立与负载状态对应的基于自组织映射SOM的衰退预测模型；步骤4，自适应的衰退分析过程，步骤如下：给定h个待预测样本，其特征空间与训练样本的特征空间完全相同；执行步骤1的最大最小归一化方法和滑动平均法对样本数据进行预处理，采用主成分分析方法将待预测样本的资源使用特征转化为关键衰退因子，提取待预测样本中的资源使用特征观测样本；采集待预测样本中的负载特征观测样本，采取最大最小归一化方法和滑动平均法对待预测样本中的负载特征观测样本数据进行预处理；计算预处理后的待预测样本与步骤2中的负载状态之间的欧几里德距离，确定预处理后的待预测样本所隶属的负载状态，从而确定使用衰退预测模型预测待预测样本对应的VMM状态；计算待预测样本对应的资源使用观测样本与衰退预测模型中所有SOM神经元之间的欧几里德距离，找出一个距离最近的神经元作为该样本映射到的获胜神经元；计算获胜神经元的r‑近邻的区域大小，并给定r‑近邻的区域大小阈值，二者进行比较确定VMM系统的状态。...

【技术特征摘要】
1.一种上下文感知的虚拟机监视器衰退分析方法，其特征在于，包括以下步骤: 步骤1，关键衰退因子识别过程，过程如下: 给定由q个连续的等间隔采样的训练样本，其特征空间为f2, , fn) f1； r2,..., rs,其中fp f2,...，fn为n个刻画负载的特征和Ir1, r2,...，rs为s个刻画资源使用的特征；选取其中s个资源使用的特征刻画虚拟机监视器VMM资源使用情况，采集VMM资源使用特征观测样本；以q个资源使用特征观测样本作为输入，采取最大最小归一化方法和滑动平均法对样本数据进行预处理，采用主成分分析方法识别影响VMM性能的关键衰退因子，将任意资源使用特征观测样本转化为由关键衰退因子表示的样本； 步骤2，负载状态划分过程，过程如下: 给定与步骤I中相同的q个训练样本，选取其中η个负载特征刻画VMM的负载，采集VMM负载特征观测样本，对q个负载特征观测样本采取最大最小归一化方法和滑动平均法对样本数据进行预处理；给定负载状态的个数P，I ( P〈q，对q个预处理后的负载特征观测样本采用经典的k-means聚类算法进行负载状态划分；将q个训练样本通过负载状态划分为P个子样本集； 步骤3，上下文感知的衰退预测模型构建过程，过程如下: 遍历P个子样本集，对于每个子样本集建立与负载状态对应的基于自组织映射SOM的衰退预测模型； 步骤4，自适应的衰退分析过程，步骤如下: 给定h个待预测样本，其特征空间与训练样本的特征空间完全相同；执行步骤I的最大最小归一化方法和滑动平均法对样本数据进行预处理，采用主成分分析方法将待预测样本的资源使用特征转化为关键衰退因子，提取待预测样本中的资源使用特征观测样本；采集待预测样本中的负载特征观测样本，采取最大最小归一化方法和滑动平均法对待预测样本中的负载特征观测样本数据进行预处理；计算预处理后的待预测样本与步骤2中的负载状态之间的欧几里德距离，确定预处理后的待预测样本所隶属的负载状态，从而确定使用衰退预测模型预测待预测样本对应的VMM状态；计算待预测样本对应的资源使用观测样本与衰退预测模型中所有SOM神经元之间的欧几里德距离，找出一个距离最近的神经元作为该样本映射到的获胜神经元；计算获胜神经元的r-近邻的区域大小，并给定r-近邻的区域大小阈值，二者进行比较确定VMM系统的状态。2.根据权利要求1所述的上下文感知的虚拟机监视器衰退分析方法，其特征在于步骤I的关键衰退因子识别过程，具体步骤如下: 步骤1.1，选取q个资源使用特征观测样本，记为{R U1)，R (t2) ,...,R (tq)}，对于任意一个资源使用特征观测样本 3.根据权利要求1或2所述的上下文感知的虚拟机监视器衰退分析方法，其特征在于步骤2的负载状态划分过程，步骤如下:步骤2.1，给定与步骤I中相同的q个训练样本，根据负载特征可获得q个负载特征观测样本，记为{L U1^La2)，...，L (t,)}，对于任意一个负载特征观测样本，L(tb) = Lf1Ub)，f2 (tb),..., fr (tb),...，fs (tb) ], Kb < q, K i，≤ n,其中 ...

【专利技术属性】
技术研发人员：徐建，吴旺文，张宏，张琨，衷宜，马超逸，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏;32