虚拟机缓存资源管理方法和系统技术方案

本发明专利技术公开一种虚拟机缓存资源管理方法和系统。其中当新虚拟机加入系统后，收集所述新虚拟机的实际使用存储量、需要的读写缓存比例；根据新虚拟机的实际使用存储量、需要的读写缓存比例，确定新虚拟机需要的读缓存资源Rnew和写缓存资源Wnew；根据为已加入系统的虚拟机分配的读缓存资源R和写缓存资源W确定当前的读缓存调整门限和写缓存调整门限；若读缓存资源Rnew和写缓存资源Wnew均小于相应的门限，则从保留资源中取出大小为Rnew的读缓存资源和大小为Wnew的写缓存资源以分配给新虚拟机；从读缓存资源R中回收大小为Rnew的读缓存资源，从写缓存资源W中回收大小为Wnew的写缓存资源，并将回收的资源作为保留资源。从而可有效提高虚拟机的缓存效率和IO能力。

Method and system for managing cache resource of virtual machine

The invention discloses a method and a system for managing cache resources of a virtual machine. When the new virtual machine into the system, the actual use of storage, collection of the new virtual machine to read and write buffer proportion; according to the actual use of storage, a new virtual machine to read and write cache to determine the proportion of read cache resource Rnew new virtual machine needs and write cache resources according to the read cache Wnew; R is a virtual machine resource allocation has been added into the system and write cache resource W to determine the current cache read write caching to adjust the threshold and adjust the threshold; if the read and write cache cache resource Rnew resource Wnew were less than the corresponding threshold, remove the size of resources and size Rnew for read cache write cache Wnew to allocate resources for the new virtual machine from the reserved resources; recycling the size of read cache resource Rnew from read cache resources in R, the size of recovery of Wnew from the write cache resources to write cache resources in W, and the recovery of resources To reserve resources. It can effectively improve the cache efficiency and IO capability of the virtual machine.

【技术实现步骤摘要】

本专利技术涉及计算机领域，特别涉及一种虚拟机缓存资源管理方法和系统。
技术介绍
随着虚拟化技术的广泛应用，IT资源将成为像水电一样可运营的基础设施，虚拟化与云计算技术正在引领IT技术的发展方向，越来越多的企业采用虚拟化与云计算技术来构建新一代IT系统，以提升IT系统的资源利用率，并在保证服务级别水平的前提下降低成本；同时帮助业务更加具有敏捷性，加速新业务的上线时间。然而，由于使用共享存储来确保系统的可迁移、高可靠、动态负载均衡等高级特性，虚拟机的使用成本居高不下。虚拟化与云计算技术的广泛应用也给后端的存储系统提出更加严峻的挑战。如：需要存储系统能够承载更多的业务、更高的性能与可靠性、更好的扩展性、保证关键业务服务级别水平并降低成本等。为了使云计算服务能提供更加广泛的服务，更高的性价比成为了核心需求，其中，如何有效降低虚拟机存储的资源成本，是目前需要克服的技术重点。虚拟机技术给服务器带来更高的利用率、给业务带来更便捷的部署，降低了TCO，因而在众多行业得到了广泛的应用。与此同时，虚拟机应用给存储带来以下挑战，例如由于采用共享存储方式部署虚拟机，单个卷上可能承载几十或上百的虚拟机，导致卷IO呈现更多的随机特征，这对传统的Cache技术提出挑战；此外，由于单个卷承载多个虚拟机业务，要求存储系统具备协调虚拟机访问竞争，保证对QoS要求高的虚拟机获取到资源实现性能目标。伴随着x86服务器技术的快速发展，基于X86服务器的分布式存储技术成为了解决该问题的主要方式之一。基于X86服务器的分布式存储资源池化主要是指通过在X86服务器上部署分布式存储软件，对外提供块(FC/ISCSI)、文件(NFS/CIFS)以及对象(Restful)等数据访问接口，形成存储的资源池化。以VMware公司提供的vSAN为例，通过使用服务器中的基于闪存的设备(如SSD盘)和磁盘(HDD)组合，提供集群式的分布式文件存储。闪存设备主要作为数据的缓存，磁盘作为数据存储的载体，当虚拟机数据写入时，系统先将数据写到闪存上，再由闪存复制或移动到磁盘上，通过该功能，可以实现小文件的合并写入，有利于提高系统的磁盘IO能力。但系统读取数据时，先在闪存上查找所需数据，如果没有找到，再到磁盘上进行查找，有利于热点数据的快速读写，提高系统性能。且不同于内存的缓存功能，在服务器下电后，闪存上的热点数据仍能得到保留。然而，如上文所述，由于系统承载的虚拟机数量通常较大，所呈现的IO需求具有很大的随机性，所以对系统的读写资源需求及IO分配方法有着多样化、差异化的需求，而按照vSAN的30％读缓存和70％写缓存的固定比例，虽然可能具有一定的统计依据，但实际上并不一定能很好满足资源池化环境下多虚拟机的存储需求。例如，在某系统中基于虚拟机的需求，如果统计下来，结果是所有虚拟机平均需要90％的随机读，而需要10％的顺序写缓存，则可以该比例提供读缓存的比例，而不是固定比例。随着虚拟化技术的不断成熟，计算资源已经逐步实现了池化和统一管理，而存储资源由于软硬件设备的紧耦合等特性，无法实现统一管理，存储系统比较分散，同时，X86服务器上的本地存储不能达到充分利用，利用相关技术实现存储资源池化和统一管理，采用更加适配用户虚拟机资源需求的缓存分配方法，对充分利用现有存储设备，提升资源利用率，提高运维管理水平都具有十分重要的意义。
技术实现思路
本专利技术实施例提供一种虚拟机缓存资源管理方法和系统。通过直接适配本地存储系统的缓存策略，可有效提高虚拟机的缓存效率和输入输出能力。根据本专利技术的一个方面，提供一种虚拟机缓存资源管理方法，包括：当新虚拟机加入系统后，收集所述新虚拟机的实际使用存储量、需要的读写缓存比例；根据所述新虚拟机的实际使用存储量、需要的读写缓存比例，确定所述新虚拟机需要的读缓存资源Rnew和写缓存资源Wnew；获取为已加入系统的虚拟机分配的读缓存资源R和写缓存资源W，其中N为已加入系统的虚拟机数量，Ri和Wi分别为分配给已加入系统的第i个虚拟机的读缓存资源和写缓存资源；根据读缓存资源R和写缓存资源W确定当前的读缓存调整门限和写缓存调整门限；判断读缓存资源Rnew是否小于读缓存调整门限，写缓存资源Wnew是否小于写缓存调整门限；若读缓存资源Rnew和写缓存资源Wnew均小于相应的门限，则从保留资源中取出大小为Rnew的读缓存资源和大小为Wnew的写缓存资源以分配给所述新虚拟机；从读缓存资源R中回收大小为Rnew的读缓存资源，从写缓存资源W中回收大小为Wnew的写缓存资源，并将回收的资源作为保留资源。在一个实施例中，根据所述新虚拟机的实际使用存储量、需要的读写缓存比例，确定所述新虚拟机需要的读缓存资源Rnew和写缓存资源Wnew的步骤包括：将所述新虚拟机的实际使用存储量上浮m％，以得到所述新虚拟机的使用容量A，其中m为预定的上浮值；将所述新虚拟机的使用容量A与需要的读缓存比例相乘，以得到所述新虚拟机需要的读缓存资源Rnew；将所述新虚拟机的使用容量A与需要的写缓存比例相乘，以到所述新虚拟机需要的写缓存资源Wnew。在一个实施例中，根据读缓存资源R和写缓存资源W确定当前的读缓存调整门限和写缓存调整门限的步骤包括：将读缓存资源R和预定的调整变化比例n％相乘，以确定当前的读缓存调整门限；将写缓存资源W和预定的调整变化比例n％相乘，以确定当前的写缓存调整门限。在一个实施例中，从读缓存资源R中回收大小为Rnew的读缓存资源，从写缓存资源W中回收大小为Wnew的写缓存资源的步骤包括：从已加入系统的第i个虚拟机的读缓存资源Ri中回收大小为Cri的读缓存资源，其中Cri＝Rnew×Ri/R，以便对第i个虚拟机的读缓存资源进行更新；从已加入系统的第i个虚拟机的写缓存资源Wi中回收大小为Cwi的写缓存资源，其中Cwi＝Wnew×Wi/W，以便对第i个虚拟机的写缓存资源进行更新。在一个实施例中，若读缓存资源Rnew不小于读缓存调整门限，或者写缓存资源Wnew不小于写缓存调整门限，则按照预先设定的压缩比例，对已加入系统的虚拟机的读缓存资源和写缓存资源进行压缩，并将回收的资源作为保留资源；按照预先设定的压缩比例，对所述新虚拟机的读缓存资源Rnew、写缓存资源Wnew进行压缩，以得到所述新虚拟机的读缓存分配资源本文档来自技高网...

【技术保护点】
一种虚拟机缓存资源管理方法，其特征在于，包括：当新虚拟机加入系统后，收集所述新虚拟机的实际使用存储量、需要的读写缓存比例；根据所述新虚拟机的实际使用存储量、需要的读写缓存比例，确定所述新虚拟机需要的读缓存资源Rnew和写缓存资源Wnew；获取为已加入系统的虚拟机分配的读缓存资源R和写缓存资源W，其中N为已加入系统的虚拟机数量，Ri和Wi分别为分配给已加入系统的第i个虚拟机的读缓存资源和写缓存资源；根据读缓存资源R和写缓存资源W确定当前的读缓存调整门限和写缓存调整门限；判断读缓存资源Rnew是否小于读缓存调整门限，写缓存资源Wnew是否小于写缓存调整门限；若读缓存资源Rnew和写缓存资源Wnew均小于相应的门限，则从保留资源中取出大小为Rnew的读缓存资源和大小为Wnew的写缓存资源以分配给所述新虚拟机；从读缓存资源R中回收大小为Rnew的读缓存资源，从写缓存资源W中回收大小为Wnew的写缓存资源，并将回收的资源作为保留资源。

【技术特征摘要】
1.一种虚拟机缓存资源管理方法，其特征在于，包括：
当新虚拟机加入系统后，收集所述新虚拟机的实际使用存储量、需
要的读写缓存比例；
根据所述新虚拟机的实际使用存储量、需要的读写缓存比例，确定
所述新虚拟机需要的读缓存资源Rnew和写缓存资源Wnew；
获取为已加入系统的虚拟机分配的读缓存资源R和写缓存资源W，
其中N为已加入系统的虚拟机数量，Ri和Wi分
别为分配给已加入系统的第i个虚拟机的读缓存资源和写缓存资源；
根据读缓存资源R和写缓存资源W确定当前的读缓存调整门限和
写缓存调整门限；
判断读缓存资源Rnew是否小于读缓存调整门限，写缓存资源
Wnew是否小于写缓存调整门限；
若读缓存资源Rnew和写缓存资源Wnew均小于相应的门限，则从
保留资源中取出大小为Rnew的读缓存资源和大小为Wnew的写缓存资
源以分配给所述新虚拟机；
从读缓存资源R中回收大小为Rnew的读缓存资源，从写缓存资源
W中回收大小为Wnew的写缓存资源，并将回收的资源作为保留资源。
2.根据权利要求1所述的方法，其特征在于，
根据所述新虚拟机的实际使用存储量、需要的读写缓存比例，确定
所述新虚拟机需要的读缓存资源Rnew和写缓存资源Wnew的步骤包
括：
将所述新虚拟机的实际使用存储量上浮m％，以得到所述新虚拟机
的使用容量A，其中m为预定的上浮值；
将所述新虚拟机的使用容量A与需要的读缓存比例相乘，以得到
所述新虚拟机需要的读缓存资源Rnew；
将所述新虚拟机的使用容量A与需要的写缓存比例相乘，以到所
述新虚拟机需要的写缓存资源Wnew。
3.根据权利要求1所述的方法，其特征在于，
根据读缓存资源R和写缓存资源W确定当前的读缓存调整门限和
写缓存调整门限的步骤包括：
将读缓存资源R和预定的调整变化比例n％相乘，以确定当前的读
缓存调整门限；
将写缓存资源W和预定的调整变化比例n％相乘，以确定当前的
写缓存调整门限。
4.根据权利要求1所述的方法，其特征在于，
从读缓存资源R中回收大小为Rnew的读缓存资源，从写缓存资源
W中回收大小为Wnew的写缓存资源的步骤包括：
从已加入系统的第i个虚拟机的读缓存资源Ri中回收大小为Cri
的读缓存资源，其中Cri＝Rnew×Ri/R，以便对第i个虚拟机的读缓存资
源进行更新；
从已加入系统的第i个虚拟机的写缓存资源Wi中回收大小为Cwi
的写缓存资源，其中Cwi＝Wnew×Wi/W，以便对第i个虚拟机的写缓存
资源进行更新。
5.根据权利要求1-4中任一项所述的方法，其特征在于，
若读缓存资源Rnew不小于读缓存调整门限，或者写缓存资源
Wnew不小于写缓存调整门限，则按照预先设定的压缩比例，对已加入
系统的虚拟机的读缓存资源和写缓存资源进行压缩，并将回收的资源作
为保留资源；
按照预先设定的压缩比例，对所述新虚拟机的读缓存资源Rnew、
写缓存资源Wnew进行压缩，以得到所述新虚拟机的读缓存分配资源
Rd和写缓存分配资源Wd；
从保留资源中取出大小为Rd的读缓存资源和大小为Wd的写缓存
资源以分配给所述新虚拟机。
6.一种虚拟机缓...

【专利技术属性】
技术研发人员：赖培源，樊勇兵，金华敏，陈天，刘艺，陈楠，丁圣勇，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：北京;11