一种基于网络感知的虚拟机放置方法技术

本发明专利技术公开了一种基于网络感知的虚拟机放置方法，用于提高云计算环境下虚拟机资源利用率以及数据密集型程序的运行效率，属于云计算技术领域。该方法在考虑到网络带宽的情况下将将承载着应用程序的虚拟机放置到相应的物理机上，使其数据访问时间最小，并且当该虚拟机的数据访问时间不能满足要求时，运用概率统计知识，将它迁移到其它物理机上，从而使虚拟机拥有更合理的数据访问时间并且在以后的一段时间里也能维持合理的数据访问时间。

【技术实现步骤摘要】
一种基于网络感知的虚拟机放置方法
本专利技术涉及一种虚拟机放置方法，用于云计算系统，尤其涉及一种基于网络感知的虚拟机放置方法，用于提高云计算环境下虚拟机资源利用率以及数据密集型程序的运行效率，属于云计算

技术介绍
二次工业革命以来，计算机技术深入到各个行业和领域当中。信息量随着计算机的普及大幅上升，而且互联网的流行进一步推动信息快速膨胀。信息量的爆炸式增加和互联网的发展带给人们一个难题：使用什么样的方法和技术才能使我们能够在茫茫信息的海洋和复杂的网络结构中快速找到我们所需要的信息，并且利用这些信息更好的为自身服务。云计算为我们解决这一问题提供了新的途径。作为当前国内和国际领先的计算机技术，并且是网格计算，分布计算，并行计算的进一步发展，云计算能够为用户按需提供动态的和大范围的虚拟资源。云计算运用虚拟技术，并且有能够动态的迁移虚拟机的特点，能够很好地适应网络的变化，所以被广泛应用。云计算环境下，数据信息有可能被存储在具有一定地域范围或逻辑范围的数据结点上。对于一个数据密集型应用程序，它所请求的数据可能存储在不同的且分布广泛的数据结点上。而对于应用程序，尤其是数据密集型应用程序，往往需要与各种数据进行频繁的交互，所以系统中网路状况特别是各个数据结点与物理机之间的带宽直接影响该物理机上虚拟机的数据访问时间。若网络带宽性能差且分布不均或者应用程序部署与网络带宽不相适应，则应用程序的执行性能可能不能满足QoS要求。当前的虚拟机放置策略研究多集中在如何提高计算资源的利用率上面，但网络带宽方面很多都被忽略了。这就有可能导致一个虚拟机被放置在一个距离存储目标数据的数据结点很远的物理机上。因此，整个应用程序的运行性能以及系统消耗会因应用程序和数据存储结点高代价的数据传输时间而变得无法忍受。综上可知，一个优秀的虚拟机放置策略不仅可以满足用户的请求，提高资源利用率，还能增强云计算环境的整体性能。
技术实现思路
本专利技术所要解决的技术问题在于克服现有技术不足，提供一种基于网络感知的虚拟机放置方法，该方法在考虑到网络带宽的情况下将将承载着应用程序的虚拟机放置到相应的物理机上，使其数据访问时间最小，并且当该虚拟机的数据访问时间不能满足要求时，运用概率统计知识，将它迁移到其它物理机上，从而使虚拟机拥有更合理的数据访问时间并且在以后的一段时间里也能维持合理的数据访问时间。本专利技术具体采用以下技术方案：一种基于网络感知的虚拟机放置方法，用于云计算系统，所述云计算系统中包括m个物理机、w个数据结点，以及分布存储于w个数据结点中的t个文件，包括以下步骤：步骤1、获取云计算系统中初始的文件分布矩阵DF以及物理机到数据结点的带宽矩阵PB：其中，dfi,j表示数据结点di上存储的文件fj的部分大小，并且为文件fj的大小；pbi,j是物理机pi访问数据结点dj的带宽；步骤2、根据带宽状况，将虚拟机分配到物理机上，使虚拟机访问数据代价最小，具体如下：计算系统中各个物理机分别访问每个文件所需要的时间矩阵TDF：其中tdfi,j表示物理机pi访问文件fj的时间；任意一个虚拟机vmi分别放置在各物理机上的文件访问时间代价为：PTFVi=TDF·VFi=(ptfvi,1,ptfvi,2,...,ptfvi,m)T，其中，VFi=(vf1,vf2,...,vfk,...vft)T表示虚拟机vmi需访问文件集合向量，vfk∈{0,1}，1表示虚拟机vmi访问文件fk，0表示不访问；将虚拟机vmi放置于集合{ptfvi,1,ptfvi,2,...,ptfvi,m}中最小元素ptfvi,k所对应的编号为k的物理机；步骤3、如虚拟机vmi实际完成一遍文件访问的时间之和RTFVi大于预设的该虚拟机允许的时间阈值且距虚拟机vmi上次放置的时间未达到预设的虚拟机调整放置时间间隔INTER，则转至步骤1；如虚拟机vmi实际完成一遍文件访问的时间之和RTFVi大于预设的该虚拟机允许的时间阈值且距虚拟机vmi上次放置的时间达到预设的虚拟机调整放置时间间隔INTER，则转步骤4；步骤4、计算虚拟机vmi访问所有文件的概率矩阵以及虚拟机vmi访问文件转移概率矩阵其中，pfi,k为虚拟机vmi从上次放置至当前时刻的时间段内，访问文件fk的次数与访问所有文件次数总和的比值；pi,kh为虚拟机vmi从上次放置至当前时刻的时间段内，在访问文件fk后再访问文件fh的次数与访问文件fk的总次数的比值；步骤5、选取三个不同的正整数a、b、c，并根据下式求得概率矩阵将概率矩阵中的所有元素进行非递增排序，得到文件访问概率序列PFSi；然后从文件访问概率序列PFSi中提取前t个对应不同文件的元素，构成新的虚拟机vmi的文件访问概率步骤6、按照下式计算虚拟机vmi所对应的文件分布矩阵DFi：其中，表示数据结点dg上文件fk的大小与常数β的pf′i，k次幂的比值，w为数据结点数目，t为文件数目，常数β为大于1的正数；然后按照以下方法对虚拟机vmi进行重新放置：首先计算虚拟机vmi所对应的文件访问时间矩阵TDFi：其中，PB为物理机到数据结点的带宽矩阵；然后计算虚拟机vmi分别放置在各物理机上的文件访问时间代价为：PTFVi'=TDFi·VFi=(ptfv'i,1,ptfv'i,2,...,ptfv'i,m)T，其中，VFi=(vf1,vf2,...,vfk,...vft)T表示虚拟机vmi需访问文件集合向量，vfk∈{0,1}，1表示虚拟机vmi访问文件fk，0表示不访问；最后，将虚拟机vmi放置于集合{ptfv'i,1,ptfv'i,2,...,ptfv'i,m}中最小元素ptfv'i,k所对应的编号为k的物理机；然后转至步骤3。进一步地，所述云计算系统中的所有虚拟机被预先分为多个不同的类，满足及k=2,3,…,s，其中，s为虚拟机的总类数，分别表示第k类、第k-1类虚拟机的计算资源，分别表示第k类、第k-1类虚拟机的存储资源；云计算系统中的所有应用程序预先按照以下方法被依次分配至一个相应的虚拟机：对于当前需分配的第k个应用程序ak，k=1,2,…,n，n为云计算系统中的应用程序总数，按照计算资源/存储资源从小到大的顺序遍历各虚拟机类，直到以下条件得到满足：大于且大于并且有和都成立，其中，分别表示当前遍历到的第i类虚拟机的计算资源、存储资源，分别表示应用程序ak所需的计算资源、存储资源，分别表示已分配有应用程序的k-1个虚拟机的计算资源总和、存储资源总和，vtotcpu、vtotram分别表示云计算系统中所有虚拟机的计算资源总和、存储资源总和；则将应用程序ak分配至一个未分配应用程序的第i类虚拟机。相比现有技术，本专利技术技术方案及其进一步改进方案具有以下有益效果：首先，不同于以往的以提高资源利用率为主的虚拟机放置策略，本专利技术的虚拟机放置策略兼顾了网络状况，从而使各虚拟机的数据访问时间最小；其次，本专利技术运用概率统计知识，根据实际的数据访问情况预测将来会访问的数据，并根据预测结果对虚拟机的放置位置进行动态调整，使得虚拟机在以后的一段时间内其数据访问时间也满足要求，从而增强其网络适应能力；最后，本专利技术进一步将虚拟机分成不同资源消耗级别的类，从而有效简化了应用程序到虚拟机的分配过程。附图说明图1为云计本文档来自技高网...

【技术保护点】
一种基于网络感知的虚拟机放置方法，用于云计算系统，所述云计算系统中包括m个物理机、w个数据结点，以及分布存储于w个数据结点中的t个文件，其特征在于，包括以下步骤：步骤1、获取云计算系统中初始的文件分布矩阵DF以及物理机到数据结点的带宽矩阵PB：DF=df1,1df1,2...df1,tdf2,1df2,2...df2,t......dfi,j...dfw,1dfw,2...dfw,t,]]>PB=pb1,1-1pb1,2-1...pb1,w-1pb2,1-1pb2,2-1...pb2,w-1......pbi,j...pbm,1-1pbm,2-1...pbm,w-1,]]>其中，dfi,j表示数据结点di上存储的文件fj的部分大小，并且为文件fj的大小；pbi,j是物理机pi访问数据结点dj的带宽；步骤2、根据带宽状况，将虚拟机分配到物理机上，使虚拟机访问数据代价最小，具体如下：计算系统中各个物理机分别访问每个文件所需要的时间矩阵TDF：PDF=PB·DF=tdf1,1tdf1,2...tdf1,ttdf2,1tdf2,2...tdf2,t......tdfi,j...tdfm,1tdfm,2...tdfm,t,]]>其中tdfi,j表示物理机pi访问文件fj的时间；任意一个虚拟机vmi分别放置在各物理机上的文件访问时间代价为：PTFVi=TDF·VFi=(ptfvi,1,ptfvi,2,...,ptfvi,m)T，其中，VFi=(vf1,vf2,...,vfk,...vft)T表示虚拟机vmi需访问文件集合向量，vfk∈{0,1}，1表示虚拟机vmi访问文件fk，0表示不访问；将虚拟机vmi放置于集合{ptfvi,1,ptfvi,2,...,ptfvi,m}中最小元素ptfvi,k所对应的编号为k的物理机；步骤3、如虚拟机vmi实际完成一遍文件访问的时间之和RTFVi大于预设的该虚拟机允许的时间阈值且距虚拟机vmi上次放置的时间未达到预设的虚拟机调整放置时间间隔INTER，则转至步骤1；如虚拟机vmi实际完成一遍文件访问的时间之和RTFVi大于预设的该虚拟机允许的时间阈值且距虚拟机vmi上次放置的时间达到预设的虚拟机调整放置时间间隔INTER，则转步骤4；步骤4、计算虚拟机vmi访问所有文件的概率矩阵以及虚拟机vmi访问文件转移概率矩阵PXi(0)=(pfi,1,pfi,2,...,pfi,k,...,pfi,t),]]>Pi(0)=pi,11pi,12...pi,1tpi,21pi,22...pi,2t......pi,kh...pi,t1pi,t2...pi,tt,]]>其中，pfi,k为虚拟机vmi从上次放置至当前时刻的时间段内，访问文件fk的次数与访问所有文件次数总和的比值；pi,kh为虚拟机vmi从上次放置至当前时刻的时间段内，在访问文件fk后再访问文件fh的次数与访问文件fk的总次数的比值；步骤5、选取三个不同的正整数a、b、c，并根据下式求得概率矩阵PXi(l)=PXi(0)·(Pi(0))l,]]>将概率矩阵中的所有元素进行非递增排序，得到文件访问概率序列PFSi；然后从文件访问概率序列PFSi中提取前t个对应不同文件的元素，构成新的虚拟机vmi的文件访问概率PXi(0)′=(pf′i,1,pf′i,2,...,pf′i,k,...,pf′i,t);]]>步骤6、按照下式计算虚拟机vmi所对应的文件分布矩阵DFi：DFi=df1,1βpfi,1′df1,2βpfi,2′...df1,tβpfi,t′df2,1βpfi,1′df2,2βpfi,2′...df2,tβpfi,t′......dfg,kβpfi,k′...dfw,1βpfi,1′dfw,2βpfi,2′...dfw,tβpfi,t′,]]>其中，表示数据结点dg上文件fk的大小与常数β的次幂的比值，w为数据结点数目，t为文件数目，常数β为大于1的正数；然后按照以下方法对虚拟机vmi进行重新放置：首先计算虚拟机vmi所对应的文件访问时间矩阵TDFi：TDFi=PB·DFi=tdf1,1itdf1,2i...tdf1,titdf2,1itdf2,2i...tdf2,ti......tdfg,ki...tdfm,1itdfm,2i...tdfm,ti,]]>其中，PB为物理机到数据结点的带宽矩阵；然后计算虚拟机vmi分别...

【技术特征摘要】
1.一种基于网络感知的虚拟机放置方法，用于云计算系统，所述云计算系统中包括m个物理机、w个数据结点，以及分布存储于w个数据结点中的t个文件，其特征在于，包括以下步骤：步骤1、获取云计算系统中初始的文件分布矩阵DF以及物理机到数据结点的带宽矩阵PB：其中，dfi,j表示数据结点di上存储的文件fj的部分大小，并且为文件fj的大小；pbi,j是物理机pi访问数据结点dj的带宽；步骤2、根据带宽状况，将虚拟机分配到物理机上，使虚拟机访问数据代价最小，具体如下：计算系统中各个物理机分别访问每个文件所需要的时间矩阵TDF：其中tdfi,j表示物理机pi访问文件fj的时间；任意一个虚拟机vmi分别放置在各物理机上的文件访问时间代价为：PTFVi＝TDF·VFi＝(ptfvi,1,ptfvi,2,...,ptfvi,m)T，其中，VFi＝(vf1,vf2,...,vfk,...vft)T表示虚拟机vmi需访问文件集合向量，vfk∈{0,1}，1表示虚拟机vmi访问文件fk，0表示不访问；将虚拟机vmi放置于集合{ptfvi,1,ptfvi,2,...,ptfvi,m}中最小元素ptfvi,k所对应的编号为k的物理机；步骤3、如虚拟机vmi实际完成一遍文件访问的时间之和RTFVi大于预设的该虚拟机允许的时间阈值且距虚拟机vmi上次放置的时间未达到预设的虚拟机调整放置时间间隔INTER，则转至步骤1；如虚拟机vmi实际完成一遍文件访问的时间之和RTFVi大于预设的该虚拟机允许的时间阈值且距虚拟机vmi上次放置的时间达到预设的虚拟机调整放置时间间隔INTER，则转步骤4；步骤4、计算虚拟机vmi访问所有文件的概率矩阵以及虚拟机vmi访问文件转移概率矩阵其中，pfi,k为虚拟机vmi从上次放置至当前时刻的时间段内，访问文件fk的次数与访问所有文件次数总和的比值；pi,kh为虚拟机vmi从上次放置至当前时刻的时间段内，在访问文件fk后再访问文件fh的次数与访问文件fk的总次数的比值；步骤5、选取三个不同的正整数a、b、c，并根据下式求得概率矩阵将概率矩阵中的所有元素进行非递增排序，得到文件访问概率序列PFSi；然后从文件访问概率序列PFSi中提取前t个对应不同文件的元素，构成新的虚拟机vmi的文件访问概率步骤6、按照下式计算虚拟机vmi所对应的文件分布矩阵DFi：

【专利技术属性】
技术研发人员：付雄，仓业亮，朱鑫鑫，王汝传，季一木，韩志杰，张琳，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32