一种感知复合应用特征与网络带宽的虚拟机在线迁移优化方法技术

本发明专利技术公开了一种感知复合应用特征与网络带宽的虚拟机在线迁优化移方法，属于软件技术领域。本发明专利技术的方法为：1)感知虚拟机应用特征环境和网络带宽环境，收集内存脏页面数；2)使用灰色预测模型预测内存脏页面数；3)计算虚拟机的迭代周期的脏页面率；4)收集网络带宽使用情况；5)根据虚拟机中应用所需网络带宽，判断虚拟机是否为网络密集型虚拟机，然后进行网络带宽预留。本发明专利技术在面对网络密集型应用或内存密集应用的虚拟机迁移时，能减少迁移过程中的额外开销，提高迁移过程中的传输效率，有效降低迁移时间。

Online migration optimization method of virtual machine for sensing composite application characteristics and network bandwidth

The invention discloses a virtual machine on-line migration optimization method for sensing composite application characteristics and network bandwidth, belonging to the field of software technology. The method is as follows: 1) the perception of the virtual machine application environment and the bandwidth of the network environment, collect memory dirty page number; 2) using grey prediction model to predict the memory dirty pages number; 3) iteration calculation of virtual machine dirty page rate; 4) to collect network bandwidth usage; 5) according to the required network bandwidth application virtual machine, virtual machine judgment is network intensive virtual machine, and then the network bandwidth reservation. The invention can reduce the additional cost during the migration process in the face of network intensive application or memory intensive application virtual machine migration, improve the transmission efficiency in the migration process, and effectively reduce the migration time.

【技术实现步骤摘要】
一种感知复合应用特征与网络带宽的虚拟机在线迁移优化方法
本专利技术设计一种感知应用特征与网络环境的虚拟机在线迁移优化方法，尤其设计一种应用特征感知的网络带宽预留调整算法，属于软件

技术介绍
随着虚拟化技术的广泛应用，虚拟机的动态管理也变得越来越重要，而在线迁移是对虚拟机动态管理的重要手段。在线迁移是一种网络密集型活动，它要求传输几GB甚至几十GB的虚拟机内存状态从源宿主机到目的宿主机。除了占用网络资源外，在线迁移消耗额外的内存和CPU等物理资源。目前，传统的在线迁移方法有pre-copy(预拷贝)、post-copy(后拷贝)和hybridcopy(混合拷贝)在线迁移方法。pre-copy在线迁移是现在主流的虚拟机动态迁移技术，pre-copy分为3个阶段：首次拷贝和迭代拷贝、停机拷贝。具体迁移过程见图1所示。首先，将虚拟机的全部内存拷贝到目的宿主机中，该过程不中断虚拟机运行，这个阶段叫做“首次拷贝”阶段；接着，进入“迭代拷贝阶段”，把上一拷贝过程中产生的内存脏页面(上一次被修改过的内存页面)迭代复制到目的宿主机，该过程也不中断虚拟机的运行。在每一轮迭代复制结束后需要判断当前是否符合进入stop-and-coy阶段(即停机拷贝阶段)的条件。如果满足则进入第三阶段——“停机拷贝”阶段，否则继续进行迭代拷贝。在停机拷贝阶段在源宿主机上的虚拟机被暂停运行，然后将剩余的虚拟机内存脏页面同步到目的宿主机。同时，还把虚拟机系统信息，包括CPU和网络状态等，同步到目的端。在传输完信息之后，在目的宿主机上的虚拟机会根据传送过来的虚拟机系统信息恢复系统。与pre-copy在线迁移不同，post-copy在线迁移的内存同步是在虚拟机在目的宿主机上恢复运行之后。Hybridcopy在线迁移是post-copy在线迁移的一个特例。它融合了pre-copy在线迁移方法和post-copy在线迁移方法的特点，在虚拟机系统信息传送到目的宿主机之前，把最经常访问的内存页面子集传送到目的主机当中。剩下不经常使用的内存页面会在虚拟机运行需要时在从源宿主机中获取。主流的虚拟化平台(KVM、Xen和VMware等)都支持pre-copy算法进行在线迁移。pre-copy在线迁移方法在商业和学术领域得到了广泛应用和发展。该方法能够有效缩短迁移时间和提高迁移性能，但在实际应用中，受迭代收敛性、虚拟机不同应用特征和资源限制的影响，使用pre-copy在线迁移方法迁移网络密集型和内存密集型虚拟机时迁移性能并不理想。比如，若虚拟机中运行着内存密集型应用，虚拟机的内存不断被快速修改，且当修改的速度大于内存脏页面的传输速度时，这会造成pre-copy迭代拷贝时间延长，占用物理资源时间也增加，并且难以进入停机拷贝阶段，这会严重影响其他服务，甚至会导致迁移失败。在预测虚拟机内存脏页面方法中都没有考虑到虚拟机应用特征环境对虚拟机内存脏页面的影响。目前，pre-copy在线迁移改进方法往往通过删除重复内存页面数据和压缩内存页面、抑制相似内存页面产生等方法减少内存脏页面的数据传输，以降低迁移时间和宕机时间。然而上述方法往往会增加大量额外的CPU消耗，同时未考虑到网络带宽环境对传输内存脏页面的影响。
技术实现思路
本专利技术的目的在于：克服现有相关成果中未考虑应用特征对内存脏页面数量影响，同时忽略内存脏页面数量和网络带宽的共同作用以及在网络密集型或者内存密集型虚拟机迁移场景中迭代周期长、宕机时间增加等迁移性能问题，提供一种感知应用特征与网络环境的虚拟机在线迁移优化方法，能有效减少网络资源的竞争，提高网络传输效率，减少迁移时间，达到提供虚拟机迁移性能的目的。在本专利技术中，为了得到内存脏页面的具体值采用灰色预测模型进行内存脏页面的预测。选择该方法的原因在于内存拷贝过程内存脏页面信息采集比较难，采集的数量比较少，而灰色预测模型能够在数据样本较少的情况下进行较好的预测。如图2所示，本专利技术感知应用特征与网络环境的虚拟机在线迁移优化方法如下：(1)感知虚拟机的应用特征和网络环境，收集内存脏页面数；所述感知虚拟机应用特征是指动态获取虚拟机中应用资源使用情况，包括内存使用率、CPU使用率和网络带宽，并且能够掌握该应用资源使用率变化的趋势；感知网络环境是指动态获取云数据中心网络带宽使用率；内存脏页面是指虚拟机迁移过程中被修改的内存页面；(2)根据步骤(1)中的感知虚拟机的应用特征和网络环境以及获取内存脏页面数作为样本数据，使用灰色预测模型预测内存脏页面数；(3)根据步骤(2)中预测得到的内存脏页面数，计算虚拟机的迭代周期的脏页面率，脏页面率＝迭代周期产生脏页面数/迭代周期时间；(4)获得网络带宽使用情况；(5)根据步骤(4)获得的网络带宽使用情况，判断虚拟机是否为网络密集型虚拟机，然后进行网络带宽预留。在网络带宽预留过程中，根据虚拟机应用所需的网络带宽和脏页面率进行带宽预留，以保证在迁移过程中每个迭代周期网络带宽充足，减少网络拥塞。本方法对含网络密集型应用，结合网络环境进行网络带宽预留，能够减少迁移过程中网络带宽的竞争，提高迁移效率，减少迭代时间，降低迁移时间，从而达到了提高迁移性能的目的。同时，优先保证非网络密集型虚拟机迁移，合理调配了网络资源、提高了网络的利用率。所述步骤(2)使用灰色预测模型预测下一时段内存脏页面数的过程如下：(21)对收集步骤(1)数据，即X1：迁移不同迭代周期产生的内存脏页面数量；X2：迁移不同迭代周期虚拟机内存使用率；X3：迁移不同迭代周期虚拟机CPU使用率；X4：迁移不同迭代周期虚拟机网络带宽；X5：上一次迭代的时间；X6：迁移不同迭代周期云数据中心的网络使用情况。将这些数据转化为矩阵，作为灰色预测序列X(0)，并对所述序列X(0)进行累加，生成AGO序列令为X(1)；(22)根据步骤(21)得到的X(1)求解近邻值生成的序列即均值序列为；(23)在灰色预测模型中，假设步骤(21)的X(1)与步骤(22)的存在一定关系，因此建立灰微分方程；(24)根据步骤(22)的建立白化微分方程；(25)根据步骤(23)方程组，建立基于GM(1，N)方程组，利用最小二乘法求解GM(1，N)方程参数序列；(26)将参数代入(24)中的白化微分方程，求解得到GM(1，N)离散响应函数，经过累减还原公式求解出预测值序列；(27)为减少灰色预测模型的误差，通过残差修正预测值提高预测精度。所述步骤(5)中的网络带宽预留过程如下：(31)收集虚拟机中应用所需网络带宽信息，判断虚拟机是否属于网络密集型应用虚拟机，如果迁移虚拟机不是网络密集型应用虚拟机，跳到步骤(32)；如果为网络密集型虚拟机，跳到步骤(34)；(32)根据步骤(3)中计算虚拟机内存脏页面率，判断目前空闲带宽是否满足接下来内存脏页面数量的传输带宽，即网络带宽是否大于内存脏页面率；如果满足就不进行调整；否则，对网络带宽进行调整，即跳到步骤(33)；(33)优先保证非网络密集型应用迁移，延迟同一时间网络密集型虚拟机迁移；(34)根据历史网络传输流量数据进行应用带宽预留，将现在空闲网络带宽减去应用预留带宽就为现在虚拟机迁移所分配的带宽。本专利技术与现有技术相比的优点在于：(1)现有技术重复内存页面数据删除和内存页面压本文档来自技高网...

【技术保护点】
一种感知复合应用特征与网络带宽的虚拟机在线迁优化移方法，其特征在于步骤为：(1)感知虚拟机的应用特征和网络环境，收集内存脏页面数；所述感知虚拟机应用特征是指动态获取虚拟机中应用资源使用情况，包括内存使用率、CPU使用率和网络带宽，并且能够掌握该应用资源使用率变化的趋势；感知网络环境是指动态获取云数据中心网络带宽使用率；内存脏页面是指虚拟机迁移过程中被修改的内存页面；(2)根据步骤(1)中的感知虚拟机的应用特征和网络环境以及获取内存脏页面数作为样本数据，使用灰色预测模型预测内存脏页面数；(3)根据步骤(2)中预测得到的内存脏页面数，计算虚拟机的迭代周期的脏页面率，脏页面率＝迭代周期产生脏页面数/迭代周期时间，为步骤(5)进行网络带宽的预留；(4)获得网络带宽使用情况；(5)根据步骤(4)获得的网络带宽使用情况，判断虚拟机是否为网络密集型虚拟机，然后进行网络带宽预留；在网络带宽预留过程中，根据虚拟机应用所需的网络带宽和脏页面率进行带宽预留，以保证在迁移过程中每个迭代周期网络带宽充足，减少网络拥塞。

【技术特征摘要】
1.一种感知复合应用特征与网络带宽的虚拟机在线迁优化移方法，其特征在于步骤为：(1)感知虚拟机的应用特征和网络环境，收集内存脏页面数；所述感知虚拟机应用特征是指动态获取虚拟机中应用资源使用情况，包括内存使用率、CPU使用率和网络带宽，并且能够掌握该应用资源使用率变化的趋势；感知网络环境是指动态获取云数据中心网络带宽使用率；内存脏页面是指虚拟机迁移过程中被修改的内存页面；(2)根据步骤(1)中的感知虚拟机的应用特征和网络环境以及获取内存脏页面数作为样本数据，使用灰色预测模型预测内存脏页面数；(3)根据步骤(2)中预测得到的内存脏页面数，计算虚拟机的迭代周期的脏页面率，脏页面率＝迭代周期产生脏页面数/迭代周期时间，为步骤(5)进行网络带宽的预留；(4)获得网络带宽使用情况；(5)根据步骤(4)获得的网络带宽使用情况，判断虚拟机是否为网络密集型虚拟机，然后进行网络带宽预留；在网络带宽预留过程中，根据虚拟机应用所需的网络带宽和脏页面率进行带宽预留，以保证在迁移过程中每个迭代周期网络带宽充足，减少网络拥塞。2.根据权利要求1所述的方法，其特征在于：所述步骤(2)使用灰色预测模型预测下一时段内存脏页面数的过程如下：(21)对收集步骤(1)数据，即X1：迁移不同迭代周期产生的内存脏页面数量；X2：迁移不同迭代周期虚拟机内存使用率；X3：迁移不同迭代周期虚拟机CPU使用率；X4：迁移不同迭代周期虚拟机网络带宽；X5：上一次迭代的时间；X6：迁移不同迭代周期云数据中心的网...

【专利技术属性】
技术研发人员：陈宁江，李湘，杨尚林，
申请(专利权)人：广西大学，
类型：发明
国别省市：广西,45