一种面向分布式数据中心能耗开销优化的作业调度方法技术

本发明专利技术公开了一种分布式数据中心中面向能耗开销优化的作业调度方法，该方法利用随机优化理论，充分考虑了系统的动态性以及不确定性，包括用户作业到达、后台处理效率、数据动态性、能耗开销等。基于随机优化理论，本发明专利技术充分挖掘了系统效率在分布式环境下地理及时间上的多样性和动态性，通过提出的作业调度方法，实现时间平均的系统能耗开销最小化。最重要的是，本发明专利技术中提出的作业调度策略的确定，并不需要对系统的动态性和不确定性因素进行预测，只需要实时测量当前的系统状态参数，包括业务到达量、后台队列长度、能耗开销权重。该方法通过控制参数能够实现系统开销最小化和业务处理延迟的权衡。

A Job Scheduling Method for Energy Consumption Cost Optimization in Distributed Data Center

【技术实现步骤摘要】
一种面向分布式数据中心能耗开销优化的作业调度方法
本专利技术属于数据中心节能
，具体涉及一种面向分布式数据中心能耗优化的任务调度方法。
技术介绍
越来越普及的网络应用和云服务已经成为人类生活中不可或缺的组成，典型的应用包括社交网络，内容分发网络，在线搜索，在线游戏等等。为了满足日益增长的用户需求并提供可靠服务，服务提供商往往将其服务器部署于地理分布的大规模计算设施上。这些计算设施通常由多个位于不同位置、由互联网连接的数据中心构成，每个数据中心包含了大量的服务器设备。尽管数据中心基础设施为相关系统和服务的运行提供了极大优势，伴随而来的是用于驱动大量的服务器设备、存储设备、网络设备、制冷设备等的巨大电能消耗。大量的电能消耗需要数据中心的持有者或者服务提供商支付高额的费用。据调查发现电费开销在整个数据中心系统开销中占有极高的比例。因此，即使很小比例的能耗节省也能带来非常可观的成本降低。另外，巨大的能耗同时为间接的造成环境污染的问题。2008年全球数据中心的碳排放约占总量的0.6％，而这个比例在2020年预计将达到2.6％。因此，如何有效地减小数据中心的能耗以及相应的成本引起了研究人员的高度关注。实现数据中心能耗优化的一种有效方法是结合位于不同地理位置的数据中心的本地能量效率、电价、电能使用率等多样性特征，将用户作业请求以一种最优的方式映射到不同的数据中心来执行。已有解决方法中，大多数的经典方法基于确定的系统状态信息或者可预测的系统参数，这与真实数据中心中系统状态的随机性以及潜在的不可预测性并不符合。另外，在近期的一些研究工作中，一些解决方法基于随机优化方法考虑了系统中的一些不确定性，但在于请求作业相关的数据分布方面都基于默认的假设，即数据在所有分布式数据中心中都存在完整副本。这种假设与真实分布式数据中心中数据的存储方式严重不符，同时忽略了数据的动态性。相应地，这些已有的解决方法无法适用于分布式数据中心系统中数据不确定性的作业。分布式数据中心中数据的动态性主要体现在以下两个方面：第一，数据放置动态性。考虑到数据存储的高额代价及数据库管理的复杂性，数据库中的数据通常情况下不会在所有后台数据中心中进行完全备份。在很多实际系统中，每个数据块动态的产生，并且只有在部分后台数据中心进行备份。第二，数据访问动态性。在很多数据动态的系统中，远程数据的访问通常需要从一个或多个分布式数据中心服务器来请求相应的服务。远程的数据访问造成了系统的服务率和响应时间的极大不确定性。因此，上述的数据动态性而对于前端的作业服务器而言，准确的识别每个作业的具体操作并预测其所需数据的分布面临极大的困难。
技术实现思路
本专利技术的目的在于解决上述问题，在各种系统不确定性特别是数据不确定性场景下，通过将用户作业请求以一种最优的方式映射到不同的数据中心来执行，实现能耗的降低的问题。本专利技术采用如下技术方案实现：一种面向分布式数据中心能耗开销优化的作业调度方法，每个前端服务器的作业分配方法以时间t为间隔，周期性的进行决策操作，作为任意前端服务器Fi，其实施作业调度方法以下步骤：步骤1、在分布式数据中心初始化时隙，每个前端服务器随机将到达的作业请求发送至后台数据中心进行处理；步骤2、前端服务器Fi在每个时隙t收集用户随机发送的作业请求，该时隙到达前端服务器的作业请求数量，记为Ji(t)；步骤3、统计当前时隙t所有后台服务器中积累的未处理作业的队列长度，任意数据中心Di当前时隙t的队列长度为Ui(t)；步骤4、后台系统的运行参数查询，任意数据中心Di当前时隙t的PUE记为PUEi(t)，能耗权重为ωi(t)；步骤5、作业调度最优方案确定，根据上述三步中收集到的系统状态参数，这些参数包括每个后台数据中心当前时隙t的PUE和能耗权重，求解下述的线性规划问题获得作业调度方案；s.t.0≤jij(t)≤Ji(t)K：控制参数，实现系统能耗开销与平局队列长度的权衡f(t):数据中心的能耗开销Uj(t)：数据中心Di当前时隙t的队列长度为Aj(t)：所有前端服务器分配给该数据中心作业的总和jij(t)：分配给Dj的作业数量Ji(t)：当前时隙t的前端服务器的作业请求数量步骤6、作业发送和执行，根据第5步优化问题求解所获得的分配方案，将相应数量的作业请求发送至后台数据中心；步骤7、后台系统队列更新，所有后台数据中心处理前端服务器发送来的作业请求，并实时更新相应的队列长度。分布式数据中心包含了M个前端服务器(记为F＝{F1,F2,...,FM})，和N个后台数据中心(记为D＝{D1,D2,...,DN})，M和N的数量都大于1，前端服务器收集用户作业请求，并将这些作业请求分配到合适的后台数据中心进行处理；后端处理服务器处理分配作业，并且每个后端数据中心包含处理服务器和数据库服务器两个子模块，数据库服务器存储动态的相关数据，并支持作业处理相关的数据操作。步骤5中的所有数据中心的能耗开销f(t)，可计算为任意数据中心Dj在时隙t的能耗开销fj(t)，可计算为fj(t)＝ωj(t)Pj(t)，数据中心Dj在时隙t的总能耗Pj(t)，可计算为:其中PUEj是数据中心Dj的PUE，是数据中心Dj时隙t的IT设备的电能消耗，可计算如下：其中，和分别表示数据中心Dj在CPU在空载和满载时的电量消耗，θj表示数据中心Dj中处理每个用户作业所需的CPU占用率。步骤5中的控制参数K，用于实现系统能耗开销与平局队列长度的权衡。参数K能够有效地实现系统能耗开销和作业处理延迟的权衡。步骤5中线性规划问题求解，可通过单纯形法，大M法，内点法获得该问题的最优解。与现有技术相比，本专利技术至少具有以下有益的技术效果。首先，作业调度方案采用的是贪婪的决策方法，不需要对系统的随机状态参数进行预测。其次，理论和实验结果表明，控制参数K的增大可使得系统的时间平均能耗开销无限制的接近最优值；同时，参数K的增大反过来导致系统平均队列长度增大，进而增大作业处理的延迟。因此，通过参数K的选择可以使系统能耗开销达到期望的性能并同时实现与平均队列长度(也就是处理时延)的平衡。附图说明图1为本专利技术针对的分布式数据中心系统的运行结构示意图。图2为本专利技术中分布式作业请求和调度的模型图。具体实施方式下面结合上述的
技术实现思路
详细说明本专利技术中作业调度方法的具体实施方式。在本专利技术的描述中，需要理解的是除非另有说明，“多个”的含义是两个或两个以上。分布式作业处理系统具体的作业调度由所有前端的服务器执行，且以时间t为间隔，周期性的进行操作。在初始时刻(也就是t＝0时)，所有前端服务器将达到的作业请求随机的分配给所有的后端数据中心进行处理，之后任意前端服务器Fi进行作业调度。本方法针对的是如图1所示的分布式数据中心系统。这个系统的架构包括两个主要模块，分别是前端服务器(Front-endServers)和后端用于处理用户作业的服务器系统(Back-endsystem)。其中，前端服务器包含多个，负责收集用户的作业请求(JobRequest)，并将这些作业请求分配(Dispath)到合适的后台数据中心进行处理；后端的处理服务器由多个地理分布的数据中心，而服务提供者将自己的服务应用部署运行在所有的数据中心上。负责处理分配作业，每个后端数据中心包本文档来自技高网...

【技术保护点】
1.一种面向分布式数据中心能耗开销优化的作业调度方法，其特征在于：每个前端服务器的作业分配方法以时间t为间隔，周期性的进行决策操作，作为任意前端服务器Fi，其实施作业调度方法以下步骤：步骤1、在分布式数据中心初始化时隙，每个前端服务器随机将到达的作业请求发送至后台数据中心进行处理；步骤2、前端服务器Fi在每个时隙t收集用户随机发送的作业请求，该时隙到达前端服务器的作业请求数量，记为Ji(t)；步骤3、统计当前时隙t所有后台服务器中积累的未处理作业的队列长度，任意数据中心Di当前时隙t的队列长度为Ui(t)；步骤4、后台系统的运行参数查询，任意数据中心Di当前时隙t的PUE记为PUEi(t)，能耗权重为ωi(t)；步骤5、作业调度最优方案确定，根据上述三步中收集到的系统状态参数，这些参数包括每个后台数据中心当前时隙t的PUE和能耗权重，求解下述的线性规划问题获得作业调度方案；

【技术特征摘要】
1.一种面向分布式数据中心能耗开销优化的作业调度方法，其特征在于：每个前端服务器的作业分配方法以时间t为间隔，周期性的进行决策操作，作为任意前端服务器Fi，其实施作业调度方法以下步骤：步骤1、在分布式数据中心初始化时隙，每个前端服务器随机将到达的作业请求发送至后台数据中心进行处理；步骤2、前端服务器Fi在每个时隙t收集用户随机发送的作业请求，该时隙到达前端服务器的作业请求数量，记为Ji(t)；步骤3、统计当前时隙t所有后台服务器中积累的未处理作业的队列长度，任意数据中心Di当前时隙t的队列长度为Ui(t)；步骤4、后台系统的运行参数查询，任意数据中心Di当前时隙t的PUE记为PUEi(t)，能耗权重为ωi(t)；步骤5、作业调度最优方案确定，根据上述三步中收集到的系统状态参数，这些参数包括每个后台数据中心当前时隙t的PUE和能耗权重，求解下述的线性规划问题获得作业调度方案；s.t.0≤jij(t)≤Ji(t)K：控制参数，实现系统能耗开销与平局队列长度的权衡f(t):数据中心的能耗开销Uj(t)：数据中心Di当前时隙t的队列长度为Aj(t)：所有前端服务器分配给该数据中心作业的总和jij(t)：分配给Dj的作业数量Ji(t)：当前时隙t的前端服务器的作业请求数量步骤6、作业发送和执行，根据第5步优化问题求解所获得的分配方案，将相应数量的作业请求发送至后台数据中心；步骤7、后台系统队列更新，所有后台数据中心处理前端服务器发送来的作业请求，并实时更新相应的队列长度。2.根据权利要求1...

【专利技术属性】
技术研发人员：赵鹏，杨新宇，杨丽娜，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西,61