一种资源池调度方法、系统、服务器和存储介质技术方案

技术编号:27528107 阅读:12 留言:0更新日期:2021-03-03 10:59
本发明专利技术公开了一种资源池调度方法、系统、服务器和存储介质,基于Numa模型,使用Numa指标进行调度;使虚拟资源可以重复利用同一Numa节点,通过使用Numa模型的服务器,结合Openstack资源池调度技术,对底层资源进行整合,最大化利用数据中心的资源,减少资源的浪费和冗余,提升数据中心的资源使用率。对于数据中心的Openstack资源池环境,具有较好的推广价值;另外,通过使用Numa统一视图,可以实现Numa节点的统一管理,结合虚拟机的热迁移能力,实现细粒度的热迁移资源,在大规模生产环境下具有较强的实践价值,在监控物理机Numa节点负载的基础上,生成了按物理机CPU频率、Numa节点分配率,Numa节点使用率的统一视图。Numa节点使用率的统一视图。Numa节点使用率的统一视图。

【技术实现步骤摘要】
一种资源池调度方法、系统、服务器和存储介质


[0001]本专利技术涉及计算机虚拟化资源调度
,具体涉及一种资源池调度方法、系统、服务器和存储介质。

技术介绍

[0002]OpenStack是一个开源的云计算管理平台项目,由几个主要的组件组合起来完成具体工作。Openstack资源池通过Nova-Scheduler完成调度任务,主要是通过两个步骤:过滤(filter)+权重计算(weighting)。过滤就是把不符合条件的宿主机去除掉,权重计算就是把剩下的主机根据某个值排序,计算出最适合主机进行虚拟机开通或者迁移。
[0003]现在通用的PC服务器随着处理器的增加,为了提高性能,防止内存访问达到瓶颈,引入了NUMA(Non Uniform Memory Access Architecture)技术, NUMA技术可以使众多服务器像单一系统那样运转,同时保留小系统便于编程和管理的优点。基于电子商务应用对内存访问提出的更高的要求,NUMA 也向复杂的结构设计提出了挑战。NUMA通过提供分离的存储器给各个处理器,避免当多个处理器访问同一个存储器产生的性能损失来试图解决这个问题。对于涉及到分散的数据的应用(在服务器和类似于服务器的应用中很常见),NUMA可以通过一个共享的存储器提高性能至n倍,而n大约是处理器 (或者分离的存储器)的个数。现有技术中将系统的相关硬件资源(如CPU、内存)划分为多个节点。在这个模型里,处理器访问本地节点的性能要比访问远程节点的性能要快,性能提升大约在30%-40%。针对于这种Numa模型,Openstack资源池有两个解决方案:一种是使用NUMATopologyFilter过滤方法,使虚拟机部署在具备相同Numa节点的主机上;另一种是强制使用 Dedicated/Prefer模式,将虚拟机固定在同一Numa节点上。
[0004]然而,现有的Openstack资源池调度方案存在着如下缺点:
[0005]1)Numa模型特点考虑不足,资源有效率低
[0006]Numa模型的特点是:CPU处理器访问本地节点的性能比访问远程节点的性能快30%-40%。现有资源池调度方法NUMATopologyFilter的过滤条件仅仅是过滤出与虚拟机内部Numa结构相一致的计算节点,并没有考虑Numa 的模型特点,没有把虚拟机放置于一个Numa节点,造成资源有效率低。
[0007]2)权重计算时缺乏Numa节点指标,资源调度匹配度低
[0008]权重计算把过滤后的主机根据某个值排序,目前的指标基于计算节点可用内存大小、剩余磁盘大小、IO负载大小以及一些基础指标值(如CPU利用率等)。
[0009]权重计算没有匹配Numa结构以及Numa节点的技术指标。这点造成资源调度匹配度低,无法匹配到合适的计算节点。
[0010]3)强制使用Dedicated/Prefer模式,有使用限制,资源重复利用率低
[0011]Deidated/Prefer模式将虚拟机固定在同一Numa节点上,目前存在使用限制,限制条件为虚拟CPU和物理CPU一一对应,在Dediated/Prefer模式下不能实现多个虚拟机共用一个物理CPU的场景。这点造成资源利用率低。

技术实现思路

[0012]鉴于上述问题,提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的资源池调度系统和相应的资源池调度方法。
[0013]根据本专利技术的一个方面,提供了一种资源池调度方法,包括以下步骤:
[0014]获取计算节点Numa信息;
[0015]在Openstack资源池每一次调度完成后,将调度结果统一至Numa节点视图;
[0016]根据所述Numa节点视图初始化未被调用分配的Numa节点,当Numa 节点被Openstack资源池分配使用后计算分配率;
[0017]周期性更新每个Numa节点内存和CPU利用率;
[0018]资源调度时,统计所述Numa节点信息,过滤出合适的Numa节点;
[0019]计算过滤后的Numa节点的节点权重,筛选最大权重的Numa节点,将虚拟机调度至该Numa节点;如果权重值计算相等,则随机选取一Numa节点进行调度;
[0020]调度完成后,更新所述Numa节点视图信息和所述分配率信息。
[0021]可选地,所述计算节点Numa信息包括计算节点编号、Numa节点编号、 CPU频率、Core数、Core线程数、L1Cache大小、L2Cache大小、L3Cache 大小。
[0022]可选地,所述步骤根据所述Numa节点视图初始化未被调用分配的Numa 节点,当Numa节点被Openstack资源池分配使用后计算分配率进一步包括:
[0023]根据所述Numa节点视图初始化未被调用分配的Numa节点;
[0024]设置所述未被调用分配的Numa节点分配率为0,使用值为0.001;
[0025]当Numa节点被Openstack资源池分配使用后按照预设公式计算分配率。
[0026]可选地,所述步骤资源调度时,统计所述Numa节点信息,过滤出合适的Numa节点中,过滤规则为:
[0027]Numa节点虚拟机Core数<Core数*Core线程数。
[0028]根据本专利技术的另一方面,提供了一种资源池调度系统,包括:
[0029]静态处理模块,用于获取计算节点Numa信息;
[0030]动态处理模块,用于在Openstack资源池每一次调度完成后,将调度结果统一至Numa节点视图;
[0031]节点分配子模块,用于根据所述Numa节点视图初始化未被调用分配的 Numa节点,当Numa节点被Openstack资源池分配使用后计算分配率;
[0032]使用率计算子模块,用于周期性更新每个Numa节点内存和CPU利用率;
[0033]Openstack资源池过滤模块,用于资源调度时,统计所述Numa节点信息,过滤出合适的Numa节点;
[0034]权重计算模块,用于计算过滤后的Numa节点的节点权重,筛选最大权重的Numa节点,将虚拟机调度至该Numa节点;
[0035]如果权重值计算相等,则随机选取一Numa节点进行调度;
[0036]更新模块,用于调度完成后,更新所述Numa节点视图信息和所述分配率信息。
[0037]可选地,所述计算节点Numa信息包括计算节点编号、Numa节点编号、 CPU频率、Core数、Core线程数、L1Cache大小、L2Cache大小、L3Cache 大小。
[0038]可选地,所述节点分配子模块进一步用于:
[0039]根据所述Numa节点视图初始化未被调用分配的Numa节点;
[0040]设置所述未被调用分配的Numa节点分配率为0,使用值为0.001;
[0041]当Numa节点被Openstack资源池分配本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种资源池调度方法,其特征在于,包括以下步骤:获取计算节点Numa信息;在Openstack资源池每一次调度完成后,将调度结果统一至Numa节点视图;根据所述Numa节点视图初始化未被调用分配的Numa节点,当Numa节点被Openstack资源池分配使用后计算分配率;周期性更新每个Numa节点内存和CPU利用率;资源调度时,统计所述Numa节点信息,过滤出合适的Numa节点;计算过滤后的Numa节点的节点权重,筛选最大权重的Numa节点,将虚拟机调度至该Numa节点;如果权重值计算相等,则随机选取一Numa节点进行调度;调度完成后,更新所述Numa节点视图信息和所述分配率信息。2.根据权利要求1所述的方法,其特征在于,所述计算节点Numa信息包括计算节点编号、Numa节点编号、CPU频率、Core数、Core线程数、L1Cache大小、L2Cache大小、L3Cache大小。3.根据权利要求1所述的方法,其特征在于,所述步骤根据所述Numa节点视图初始化未被调用分配的Numa节点,当Numa节点被Openstack资源池分配使用后计算分配率进一步包括:根据所述Numa节点视图初始化未被调用分配的Numa节点;设置所述未被调用分配的Numa节点分配率为0,使用值为0.001;当Numa节点被Openstack资源池分配使用后按照预设公式计算分配率。4.根据权利要求1所述的方法,其特征在于,所述步骤资源调度时,统计所述Numa节点信息,过滤出合适的Numa节点中,过滤规则为:Numa节点虚拟机Core数<Core数*Core线程数。5.一种资源池调度系统,其特征在于,包括:静态处理模块,用于获取计算节点Numa信息;动态处理模块,用于在Openstack资源池每一次调度完成后,将调度结果统一至Numa节点视图;节点分配子模块,用于根据所述...

【专利技术属性】
技术研发人员:陈琪郭岳钟储建金天骄
申请(专利权)人:中国移动通信集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1