一种基于负载聚合的程序特征指标体系建立方法技术

本发明专利技术涉及一种基于负载聚合的程序特征指标体系建立方法，包括：建立程序的资源空间访问指标，所述资源空间访问指标为多元指标；分析程序在所述资源空间访问指标中，每一指标下的资源使用量和资源敏感度；建立多元指标下，以程序的资源使用量和资源敏感度为基础的程序特征指标体系。

A method of setting up a program feature index system based on load aggregation

The invention relates to a method of establishing the index system of load aggregation based on program characteristics include: the establishment of program resources space access index, the space resource access index for multi index; analysis of program access in the space of resource indicators, each indicator of resource usage and resource sensitivity; establish multi index use, quantity and resource sensitivity based program characteristic index system to program resources.

【技术实现步骤摘要】
一种基于负载聚合的程序特征指标体系建立方法
本专利技术涉及并行与分布计算，特别涉及一种数据中心中描述程序共存执行时运行时特征的指标体系。
技术介绍
数据中心已经成为当前通用的程序运行的载体，可以帮助用户与云服务运营商达到共赢。但是数据中心资源利用率一般不足30％。如何提高资源利用率成为云计算运营商需要考虑的关键问题，从商业角度和学术角度都备受关注。负载聚合(WorkloadConsolidation)是提高数据中心资源利用率的重要手段，这其中的负载主要指的是运行程序。负载聚合是把多个程序分配到一个计算节点上，从而使服务器节点提高计算、存储、磁盘I/O等资源的利用率，并可以关闭更多空闲节点以降低能耗开销。近期调查显示随着计算需求的增加，超过60％的数据中心运营商会采用负载聚合。负载聚合可以在程序性能与系统资源利用率之间实现权衡。但是负载聚合也带来一些问题，比如，共存执行的应用对共享资源产生竞争从而导致性能下降；第二，这种干扰引起的性能下降随着应用特征及共存执行程序的特征的不同而变化，导致难以预测应用性能；第三，共存执行的应用由于某几种资源被强占从而导致推进缓慢，拉低数据中心吞吐量。为了实现高效的负载聚合，应该把运行时对资源的需求没有冲突的程序调度到同一节点运行，这就需要调度器了解被调度程序的资源使用的动态行为。因此需要了解程序的运行时的资源使用特征，并根据程序的运行时特征实现合理调度。
技术实现思路
针对现有技术中存在的不足，专利技术提供了一种高效支持负载聚合的程序特征指标体系建立方法，该指标体系从多维、多角度、细粒度来描述程序共存执行时，程序特征能够高效支持数据中心的负载聚合。本专利技术的技术方案为：一种基于负载聚合的程序特征指标体系建立方法，包括：建立程序的资源空间访问指标，所述资源空间访问指标为多元指标；分析程序在所述资源空间访问指标中，每一指标下的资源使用量和资源敏感度；建立多元指标下，以程序的资源使用量和资源敏感度为基础的程序特征指标体系。进一步的，所述资源空间访问指标至少包括处理器、磁盘读、磁盘写、内存和网络带宽。进一步的，分析程序在所述资源空间访问指标中，每一指标下的资源使用量包括：采用虚拟机监测方法分析程序在每一指标下的资源使用量。进一步的，分析程序在所述资源空间访问指标中，每一指标下的资源敏感度包括：当程序A在任意一个资源空间访问指标下运行时，该资源空间访问指标被程序B抢占，若程序A的性能发生骤然下降时，程序A对该资源空间访问指标的资源敏感度为敏感等级；否则，为不敏感等级。或者分析程序在所述资源空间访问指标中，每一指标下的资源敏感度包括：采用敏感度分析工具ARCPTool进行每一指标下的程序资源敏感度分析。进一步的，对所述多元指标中的每一指标分别进行细粒度划分，以资源限制点为节点，两个相邻的资源限制点之间为同一资源水平，建立以细粒度划分为基础的多元指标下的程序特征指标体系。进一步的，所述程序特征指标体系为多维度超平面体系。进一步的，本方法还包括将测试程序按照所述程序特征指标体系进行分析，得到测试程序的特征标签，根据所述特征标签，采用调度器改善系统资源利用率。本专利技术的有益效果：本专利技术是一种高效支持负载聚合的程序特征指标体系分析方法，它能够做到1)能够准确且完整地描述程序的运行时特征；2)能够依据指标体系参数，准确地为程序贴标记；3)能够帮助调度器改善系统资源利用率、程序性能和系统的吞吐率。附图说明图1是程序的资源空间访问指标。图2是程序在由一个5维数组组成的资源空间访问指标下的性能。图3是本专利技术的一实施例在内存和网络带宽两个维度上的敏感度示意图。具体实施方式：下面结合附图与实施例对本专利技术作进一步说明：应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。正如
技术介绍
提到的，为了实现高效的负载聚合，应该把运行时对资源的需求没有冲突的程序调度到同一节点运行，因此需要了解程序的运行时的资源使用特征，并根据程序的运行时特征实现合理调度。为了实现上述目的，本专利技术的一种典型实施例是：一种基于负载聚合的程序特征指标体系建立方法，包括：建立程序的资源空间访问指标，所述资源空间访问指标为多元指标；分析程序在所述资源空间访问指标中，每一指标下的资源使用量和资源敏感度；建立多元指标下，以程序的资源使用量和资源敏感度为基础的程序特征指标体系。资源空间访问指标是本实施例的首要重点，所谓资源空间访问指标就是指多维的资源空间，程序执行所需要的资源可以从处理器、磁盘读、磁盘写、内存和网络带宽这五个维度来划分。过去的工作通常把程序划分为处理器(计算)密集型和内存(访存)密集型，而且调度器将处理器和内存的资源的占用情况作为调度时的主要参考信息。但是随着网络服务和大数据时代的到来，新类型的程序如网络访问密集型程序和磁盘访问密集型程序随之增多。所以程序的资源使用特征应该包括处理器、磁盘读、磁盘写、内存和网络带宽。在上述资源空间访问指标建立后，本实施例从多角度资源使用模式上对负载，也就是程序进行分析，具体的：程序的运行时特征可以被具体化为资源使用量和资源敏感度：资源使用量是当程序在服务器上单独执行时程序对资源的占用情况；资源敏感度是当程序需要的资源被其它程序抢占而不足时，程序的性能下降情况。例如，假设程序A同其它程序一起执行，且程序A对资源X不敏感，当资源X被程序B抢占时，程序A的性能改变很少；而另一方面，如果程序A对资源Y敏感，当资源Y被程序C抢占时，程序A的性能就会显著下降。因此，当程序与其它程序共存执行时，程序性能取决于程序对各种资源的敏感度，所以程序的资源敏感度应该是指标系统的一部分。其中，资源使用量的获取较为简单，可以直接用通用的性能分析工具来获得。资源敏感度的获取较为复杂，无法用现有性能分析工具直接获得。我们过去工作实现了敏感度分析工具ARCPTool。在分析完上述的资源使用量和资源敏感度之后，我们就开始建立多元指标下，以程序的资源使用量和资源敏感度为基础的程序特征指标体系。在建立这一体系的过程中，考虑到每一种资源的可用量随执行现场而变化，为了更真实地反映程序性能与资源量的关系，我们使用细粒度资源划分方法，即在每一个资源维度上以细粒度划分资源，每一种资源水平叫做一个资源限制点，这样做的好处是可以了解程序在每一个资源限制结点上的性能，同粗粒度资源划分相比，可以更加细致地了解程序在不同大小的可用资源条件下的运行时特征。下面给出上述实施例的一种具体应用：如图1所示：程序在指标体系的描述下程序的运行时特征，该指标体系从资源空间访问指标、多角度资源使用模式、细粒度资源划分的方法来描述程序特征指标体系。其中，资源空间访问指标包括处理器、磁盘读、磁盘写、内存和网络带宽这五个维度来划分程序特征；多角度资源使用模式从资源使用量和资源敏感本文档来自技高网...

【技术保护点】
一种基于负载聚合的程序特征指标体系建立方法，其特征在于，包括：建立程序的资源空间访问指标，所述资源空间访问指标为多元指标；分析程序在所述资源空间访问指标中，每一指标下的资源使用量和资源敏感度；建立多元指标下，以程序的资源使用量和资源敏感度为基础的程序特征指标体系。

【技术特征摘要】
1.一种基于负载聚合的程序特征指标体系建立方法，其特征在于，包括：建立程序的资源空间访问指标，所述资源空间访问指标为多元指标；分析程序在所述资源空间访问指标中，每一指标下的资源使用量和资源敏感度；建立多元指标下，以程序的资源使用量和资源敏感度为基础的程序特征指标体系。2.根据权利要求1所述的方法，其特征在于，所述资源空间访问指标至少包括处理器、磁盘读、磁盘写、内存和网络带宽。3.根据权利要求1所述的方法，其特征在于，分析程序在所述资源空间访问指标中，每一指标下的资源使用量包括：采用虚拟机监测方法分析程序在每一指标下的资源使用量。4.根据权利要求1所述的方法，其特征在于，分析程序在所述资源空间访问指标中，每一指标下的资源敏感度包括：当程序A在任意一个资源空间访问指标下运行时，该资源空间访问指标被程序B抢占，若程...

【专利技术属性】
技术研发人员：王琳，耿世超，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：山东,37