一种云计算平台中计算资源能力动态评估方法技术

技术编号:13326852 阅读:42 留言:0更新日期:2016-07-11 16:15
本发明专利技术公开了一种云计算平台中计算资源能力动态评估方法:依据云计算中负载大多为大规模并行而设计,通常包含多个执行逻辑相同或相似的任务的特性,通过分析多个执行逻辑相同或相似的任务在不同计算资源上执行的信息以及节点运行时信息对CPU、内存、磁盘带宽、网络带宽等计算资源的能力进行动态评估。本发明专利技术在保证评估值时效性、精确性的情况下,具有极低的运行时开销。本发明专利技术动态评估产生的结果可以用在云计算平台资源管理、作业调度、负载均衡、平台容错等方面,提高平台中计算资源的利用效率,最终提升云计算平台的整体吞吐率。

【技术实现步骤摘要】

本专利技术属于计算机领域,涉及云计算平台中的资源监控及管理系统,特别涉及计算资源能力评估方法。
技术介绍
云计算是一种基于互联网的计算方式,通过这种方式,用户可以按需获取计算资源、计算能力。云计算平台的基础设施一般由许多计算机节点通过高性能网络互联而成,其将众多节点组织成高性能、高可用、可扩展的单一映像,提供给用户使用。随着云计算应用的日益广泛,用户的需求也日益增长,云计算平台会对其基础设施进行更新换代及规模扩充,这造成平台中的各个计算机节点的计算资源能力存在先天差异。另外,负载在节点间的分布不同,也导致原本计算能力相同的节点在运行时出现性能差异。各种因素导致的节点计算资源能力的差异给云计算资源管理及作业调度带来了新的问题:首先,云计算平台分配资源时,无法精确衡量计算资源(CPU、内存、磁盘带宽、网络带宽等)与负载资源需求的适配性,分配资源少于需求时,共享计算资源的负载间发生竞争,造成性能低下;分配资源多于需求时,计算资源未被充分利用,存在资源浪费。其次,云计算平台负载均衡时,无法准确获得各节点计算资源情况,负载分布的调整、迁移均缺乏依据,大大降低了负载均衡的有效性。最后,云计算平台负载容错时,为了避免单个任务拖慢整个作业,需要挑选性能较好的节点启动任务的冗余执行,由于计算资源能力的持续变化的差异性,执行冗余任务的节点的选择也缺乏依据。因此,如何对计算资源的能力进行量化评估,并在管理、调度、负载均衡、容错时屏蔽计算资源的差异性,成为了云计算平台研究中的重要问题。对计算资源能力进行动态的量化评估可以为资源管理、作业调度、负载均衡、任务容错等方面提供有力支持,从而提高系统的吞吐率。亚马逊公司的弹性云计算平台EC2使用ECU衡量CPU计算资源的性能,ECU被定义为一颗1.0-1.2GHz2007年生产的Opteron或者Xeon处理器的计算能力。ECU被用于申请和配置计算资源,但是并不能动态评价运行中计算资源能力。开源云计算平台YARN中使用虚拟核作为CPU资源的分配单位,但是物理CPU对应的虚拟核数目由管理员指定,因此也不能动态评价运行中计算资源能力。
技术实现思路
针对上述现有技术存在的缺陷和不足,本专利技术的目的在于提供一种云计算平台中计算资源能力动态评估方法。为了实现上述目的,本专利技术采用了以下技术方案:本专利技术依据云计算负载含有多个执行逻辑相同或相似的任务的特性,通过分析执行逻辑相同或相似的任务在不同节点计算资源上执行的信息和节点运行时信息,对节点计算资源的能力进行运行时动态评估,得到节点计算资源能力的动态评估值。所述计算资源为CPU资源、内存资源或磁盘带宽资源。对CPU资源能力的动态评估按照CPU型号分别进行,CPU资源能力的评估因素包括CPU空闲时间百分比、IPC、IO等待时间百分比、节点平均负载、cache失效率和上下文切换次数,CPU资源能力的动态评估值与CPU空闲时间百分比、IPC成正比,而与IO等待时间百分比、节点平均负载、cache失效率、上下文切换次数成反比。CPU资源能力的动态评估值按以下公式计算: AvailableCapacity c p u = i d l e l o a d * i o w a i t * Σ t a s k ∈ T A S K [ ipc t a x k M S T ( i p c ) + M S T ( m i s s ) miss t a s k + M S T ( s w i t c h ) switch t a c k ] 本文档来自技高网
...

【技术保护点】
一种云计算平台中计算资源能力动态评估方法,其特征在于:该评估方法包括以下步骤:依据云计算负载含有多个执行逻辑相同或相似的任务的特性,通过分析执行逻辑相同或相似的任务在不同节点计算资源上执行的信息和节点运行时信息,对节点计算资源的能力进行运行时动态评估,得到节点计算资源能力的动态评估值。

【技术特征摘要】
1.一种云计算平台中计算资源能力动态评估方法,其特征在于:该评估方法包括以
下步骤:
依据云计算负载含有多个执行逻辑相同或相似的任务的特性,通过分析执行逻辑相
同或相似的任务在不同节点计算资源上执行的信息和节点运行时信息,对节点计算资源
的能力进行运行时动态评估,得到节点计算资源能力的动态评估值。
2.根据权利要求1所述的方法,其特征在于:所述计算资源为CPU资源、内存资
源或磁盘带宽资源。
3.根据权利要求1或2所述的方法,其特征在于:对CPU资源能力的动态评估按
照CPU型号分别进行,CPU资源能力的评估因素包括CPU空闲时间百分比、IPC、IO
等待时间百分比、节点平均负载、cache失效率和上下文切换次数,CPU资源能力的动
态评估值与CPU空闲时间百分比、IPC成正比,而与IO等待时间百分比、节点平均负
载、cache失效率、上下文切换次数成反比。
4.根据权利要求3所述的方法,其特征在于:CPU资源能力的动态评估值按以下公
式计算:
AvailableCapacity c p u = i d l e l o a d * i o w a i t * Σ t a s k ∈ T A S K [ ipc t a s k M S T ( i p c ) + M S T ( m i s s ) miss t a s k + M S T ( s w i t c h ) switch t a s k ] s i z e ( T A S K ) ]]>其中,AvailableCapacitycpu为某节点CPU资源能力的动态评估值,idle为空闲CPU时
间百分比,load为节点的平均负载,iowait为节点上IO等待时间占CPU时间的百分比,
ipc为任务平均每个时钟周期完成的指令数,miss为任务的cache失效率,switch为任
务执行时上下文切换次数,TASK表示所述某节点上执行的任务集合,MST()表示取云
计算负载中所有与TASK中第task个任务具有相同或相似执行逻辑的当前执行任务对
应评估因素的中位数,size()表示取集合元素个数。
5.根据权利要求1或2所述的方法,其特征在于:内存资源能力的评估因素包括可
用内存空间大小和任务内存缺页频率,内存资源能力的动态评估值与可用内存空间大小
成正比,而与任务内存缺页频率成反比。
6.根据权利要求5所述的方法,其特征在于:内存资源能力的动态评估值按以下公
式计算:
AvailableCapacity m e m o r y = ( t o t a l - u s e d + c a c h e d + b u f f e r ) * Σ t a s k ∈ T A S K ...

【专利技术属性】
技术研发人员:董小社周墨颂朱正东陈衡吴树森袁守刚高聪俐
申请(专利权)人:西安交通大学
类型:发明
国别省市:陕西;61

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1