一种云平台中资源利用率最大化的公平分配方法组成比例

本发明专利技术公开了一种云平台中资源利用率最大化的公平分配方法，在统计所有用户的资源需求的基础上，通过构造的最优化模型，在满足约束条件的情况下，求解最大化资源利用率下资源的虚拟价格以及用户的最大任务数，其中，资源价格是虚拟。这样在资源价格虚拟的基础上，获得资源分配均等约束下的用户最大任务数，保证了资源分配的公平，同时极大地提高了资源利用率。

【技术实现步骤摘要】
一种云平台中资源利用率最大化的公平分配方法
本专利技术属于云计算
，更为具体地讲，涉及一种云平台中资源利用率最大化的公平分配方法。
技术介绍
随着云计算的技术的成熟，越来越多的企业或个人将计算和存储任务提交到云计算平台上执行。2011年以前，云计算资源分配的方式主要是先进先出(FIFO)和比例公平(PF)分配两种方式。其中，先进先出分配方式(FIFO)为按照用户提交计算和存储任务的顺序，优先分配资源给先提交计算和存储任务的用户；比例公平分配方式(PF)通过求解一个满足资源约束且以用户任务数的对数之和最大化为目标的数学规划得到资源分配方案，该资源分配方案在兼顾收益之和最大化的同时，充分考虑了用户之间的公平性。这两种方式会造成资源的分布的不均和部分资源的闲置，以至资源的整体利用率较低。2011年，美国学者提出占优资源公平分配机制(DRF)，并迅速被应用Mesos平台和Yarn平台，成为资源分配的主流分配机制，并被应用于多个领域。占优资源公平分配机制(DRF)指提交计算或存储任务的用户的资源分配应该由用户的占优份额的资源决定，占优份额的资源是在所有已经分配给用户的多种资源中，占据最大份额的一种资源。简而言之，占优资源公平分配机制(DRF)试图最大化所有用户中最小的占优份额的资源。然而，占优资源公平分配机制在某些情形下并不能解决资源利用率过低的问题。目前，因为资源使用方的工作性质会严重依赖于某种资源，例如气象部门会特别依赖于CPU，媒体部门会特别依赖于存储或带宽资源，对于资源提供商来说会造成服务器CPU满负荷运载但大量内存闲置或者恰好相反的情况。所以将各类虚拟资源统一管理，建立高性能计算平台，能有效地提高资源利用率。但是如何公平有效地分配计算资源是管理者面临的主要问题之一。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种云平台中资源利用率最大化的公平分配方法，在保证公平的前提下，能极大地提高资源利用率。为实现上述专利技术目的，本专利技术云平台中资源利用率最大化的公平分配方法，其特征在于，包括以下步骤：(1)、用户向云平台的资源管理服务器提出资源需求(Di1,Di2,…,Dim)，其中，i为用户编号，i＝1,2,…,n，n为用户数量，m为资源种类数量；(2)、云平台的资源管理服务器获取云平台的数据中心每种资源可用总量Cr，r＝1,2,…,m；云平台的资源管理服务器获取用户资源需求，并计算其标准化资源需求(di1,di2,…,dim)，其中，dir＝Dir/Cr；令vr表示资源r的虚拟价格，令xi表示分配给用户i的能处理的最大任务数，即对资源dir的倍数，在云平台的资源管理服务器中构造一最优化模型，即最大化资源利用率c，约束条件为：资源利用率限制：对每种资源r＝1,2,…,m(1)；资源总量限制：对每种资源r＝1,2,…,m(2)；资源分配均等限制：其中，V为云平台对于所有资源的预期收益；价格非负限制:vr≥0,对每种资源r＝1,2,…,m(4)；云平台的资源管理服务器对最优化模型进行求解，得到最优解的资源r的虚拟价格vr以及用户i的最大任务数xi，然后根据最大任务数xi计算用户i应该分得的资源(Di1xi,Di2xi,…,Dimxi)，最后将资源r的虚拟价格vr,r＝1,2,…,m，以及应该分得的资源(Di1xi,Di2xi,…,Dimxi)传输给用户i；(3)、用户i获取资源r的虚拟价格vr以及应该分得的资源(Di1xi,Di2xi,…,Dimxi)，支付相应资源的费用即V/n的金额，云平台的资源管理服务器获得用户购买信息后，向云平台的数据中心请求资源；(4)、云平台的数据中心对资源进行分配，并将资源分配信息返回给资源管理服务器，如ip地址，用户登录名，密码等；(5)、资源管理服务器获得资源分配信息后，再返回给用户；(6)、用户获得资源分配信息后，提交任务提交给获取云平台的数据中心，使用云平台资源。本专利技术的目的是这样实现的。本专利技术云平台中资源利用率最大化的公平分配方法，在统计所有用户的资源需求的基础上，通过构造的最优化模型，在满足约束条件的情况下，求解最大化资源利用率下资源的虚拟价格以及用户的最大任务数，其中，资源价格是虚拟。这样在资源价格虚拟的基础上，获得资源分配均等约束下的用户最大任务数，保证了资源分配的公平，同时极大地提高了资源利用率。附图说明图1是本专利技术云平台中资源利用率最大化的公平分配方法一种具体实施例方式数据流图。具体实施方式下面结合附图对本专利技术的具体实施方式进行描述，以便本领域的技术人员更好地理解本专利技术。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本专利技术的主要内容时，这些描述在这里将被忽略。图1是本专利技术云平台中资源利用率最大化的公平分配方法一种具体实施例方式数据流图。在本实施例中，如图1所示，本专利技术云平台中资源利用率最大化的公平分配方法的数据流为：步骤S1：用户向云平台的资源管理服务器提出资源需求(Di1,Di2,…,Dim)，云平台的资源管理服务器获取云平台的数据中心每种资源可用总量Cr，构造的最优化模型，在满足约束条件的情况下，求解最大化资源利用率下资源的虚拟价格以及用户的最大任务数；在本实施例中，数据中心为Hadoop服务器集群；其中，求解过程可自行设计算法进行，也可采用IBM公司专用数学规划求解软件CPLEX进行；关于标准化资源需求，比如：某数据中心的资源主要有两种，一种是CPU，一种是内存，CPU的可用总量为12，内存的可用总量为12，在某一时刻，有两个用户有计算需求，用户1的资源需求为2个CPU，3个内存，表示为(2，3)，用户2的资源需求为5个CPU，8个内存，表示为(5，8)，这里为了方便处理，通过对其进行标准化处理，即标准化资源需求＝某个用户的资源需求/总的资源总量，这样通过标准化后用户1的资源需求为(2/12,3/12),用户2的资源需求为(5/12,8/12)。步骤S2：用户获取资源的虚拟价格以及应该分得的资源(Di1xi,Di2xi,…,Dimxi)，支付相应资源的费用即V/n的金额；步骤S3：云平台的资源管理服务器获得用户购买信息后，向云平台的数据中心请求资源；步骤S4：云平台的数据中心对资源进行分配，并将资源分配信息返回给资源管理服务器，如ip地址，用户登录名，密码等；步骤S5：资源管理服务器获得资源分配信息后，再返回给用户；步骤S6：用户获得资源分配信息后，提交任务提交给获取云平台的数据中心，使用云平台资源；步骤S7：云平台的数据中心执行任务。具体实例考虑某云平台的数据中心包含90CPU和90GB内存，共有3个用户提出需求，用户1和用户2处理一个任务需要5CPU和1GB内存，用户3处理一个任务需要1CPU和2GB内存,平台对这些资源的预期收益为90元。根据本专利技术会分别分配30CPU和6GB内存给用户1和用户2，分配30CPU和60GB内存给用户3，云平台中CPU的利用率为1，内存的利用率为80％。在实例中，本专利技术所提出的方法在满足公平性的前提下，资源利用率比现有的公平分配机制(如比例公平和占优资源公平)都高。其计算过程为：1.对用户提出的资源需求作标准化处理，得到用户1的资源需求为(5/90,1/90)，用户2的资源需求本文档来自技高网...

【技术保护点】
一种云平台中资源利用率最大化的公平分配方法，其特征在于，包括以下步骤：(1)、用户向云平台的资源管理服务器提出资源需求(Di1，Di2，…，Dim)，其中，i为用户编号，i＝1，2，...，n，n为用户数量，m为资源种类数量；(2)、云平台的资源管理服务器获取云平台的数据中心每种资源可用总量Cr，r＝1，2，...，m；云平台的资源管理服务器获取用户资源需求，并计算其标准化资源需求(di1，di2，…，dim)，其中，dir＝Dir/Cr；令vr表示资源r的虚拟价格，令xi表示分配给用户i的能处理的最大任务数，即对资源dir的倍数，在云平台的资源管理服务器中构造一最优化模型，即最大化资源利用率c，约束条件为：资源利用率限制：

【技术特征摘要】
1.一种云平台中资源利用率最大化的公平分配方法，其特征在于，包括以下步骤：(1)、用户向云平台的资源管理服务器提出资源需求(Di1，Di2，…，Dim)，其中，i为用户编号，i＝1，2，...，n，n为用户数量，m为资源种类数量；(2)、云平台的资源管理服务器获取云平台的数据中心每种资源可用总量Cr，r＝1，2，...，m；云平台的资源管理服务器获取用户资源需求，并计算其标准化资源需求(di1，di2，…，dim)，其中，dir＝Dir/Cr；令vr表示资源r的虚拟价格，令xi表示分配给用户i的能处理的最大任务数，即对资源dir的倍数，在云平台的资源管理服务器中构造一最优化模型，即最大化资源利用率c，约束条件为：资源利用率限制：对每种资源r＝1，2，…，m(1)；资源总量限制：对每种资源r＝1，2，…，m(2)；资源分配均等限制：其中，V为云平台对于所有资源的预期收...

【专利技术属性】
技术研发人员：李伟东，张学杰，张骥先，李贵兵，
申请(专利权)人：云南大学，
类型：发明
国别省市：云南,53