一种基于异构MapReduce集群的面向SLA的能耗管理方法技术

本发明专利技术涉及一种基于异构MapReduce集群的面向SLA的能耗管理方法，首先提出一种混合数据副本存储策略它允许关闭大量节点同时保证数据的完整性和集群的容错能力；其次设计了一种基于历史记录的响应时间预测方法它根据服务器节点的数量性能参数和运行时间的历史信息准确估计程序的响应时间相对误差大都在6％以下；最后通过选择性地关闭部分节点以达到最小化能耗同时保证应用程序的实时性能，并提出了一种启发式的节点关闭策略；从而在节点关闭策略下MapReduce应用的实时性得以保证同时降低了大量的能耗。

【技术实现步骤摘要】

本专利技术涉及大规模数据处理
，尤其涉及一种基于异构MapReduce集群的 面向SLA的能耗管理方法。
技术介绍
随着数据中心规模的不断扩大和网络应用服务的急剧膨胀能源消耗日益增长所 带来的开销不仅占了数据中心总开销的很大比重同时限制了基础设施的扩容和使用性能 据统计数据中心的利用率大都维持在30%以下，但是服务器的能耗却很高并且大部分都被 浪费了。在此背景下工业界和学术界的研宄人员提出了在利用率较低的时段通过关闭部分 服务器来降低能耗。MapReduce作为目前主流的大规模数据处理模型已经广泛应用于各大 数据中心如Google，Yahoo!以及FaceBook等。MapReduce集群的特点是通过部署大量廉 价的机器来提供网络应用服务并且越来越趋于异构化。然而在MapReduce集群中关闭节点 会严重受限，数据的完整性遭到破坏，应用的实时性得不到保证，并且这些计算和存储的因 素需要同时考虑加大了能耗管理的难度。 研宄者大多致力于重新设计CPU网络以及存储子系统使它们的能耗与利用率成 正比即Energy-Proportional减少不必要的浪费。然而这些工作都是针对单一子系统，并 没有充分考虑MapReduce集群中计算与存储系统相结合带来的问题。 在MapReduce集群中关闭节点的目标是尽可能地降低能耗同时兼顾计算和存储 带来的问题包括数据完整性容错能力和应用的实时性能。数据完整性指数据是可连通的， 在关闭节点的情况下数据至少要保证有一个副本存储在活跃的节点上。容错能力指当服务 器意外宕机时丢失的数据可以快速恢复，尽管关闭节点可以减少能耗损失，然而在大规模 数据并行处理中会导致性能严重下降，使得应用的响应时间不可接受。在云基础服务设施 中云设施提供者为Internet应用者分配计算资源，签订并遵从服务级合约ServiceLevel Agreement(SLA)。云设施提供者应该分配合适的资源以满足应用的服务级目标，这里的SLA 指用户的应用程序在指定时间内运行完。
技术实现思路
本专利技术为克服上述的不足之处，目的在于提供一种基于异构MapReduce集群的面 向SLA的能耗管理方法，首先提出一种混合数据副本存储策略，它允许关闭大量节点同时 保证数据的完整性和集群的容错能力；其次设计了一种基于历史记录的相对误差低的响应 时间预测方法；最后通过选择性地关闭部分节点以达到最小化能耗同时保证应用程序的实 时性能。本专利技术旨在控制相关成本的急剧增长，保证在大规模数据处理时最小化能耗同时 保证应用程序的实时性能。 本专利技术是通过以下技术方案达到上述目的：一种基于异构MapReduce集群的面向 SLA的能耗管理方法，包括如下步骤： (1)针对异构MapReduce集群提出一种混合数据副本存储策略； (2)设计基于历史记录的响应时间预测方法，用于得到MapReduce程序运行响应 时间； (3)基于上述存储策略和响应时间结果选择性地关闭节点，将能耗控制到最小化。 作为优选，所述的混合数据副本存储策略集成了顺序存储策略和随机存储策略的 优点，混合数据副本存储策略为同一机架内的副本按照顺序方式存储，机架间的副本按照 随机方式存储，交替采用顺序和随机存储策略直到所有数据副本找到存放位置。 作为优选，所述步骤⑵设计的基于历史记录的响应时间预测方法如下： MapReduce程序的运行时间由两部分时间构成，如下式所示： T(X, ?) =Tmap (X,w)+Ttransfer (X, ?)； 其中，Tmap(X，《)表示计算时间，Ttranste(X，《)表示额外的数据传输时间； (a)根据如下式子计算得到计算时间：【主权项】1. ，其特征在于包括如下步 骤： (1) 针对异构MapReduce集群提出一种混合数据副本存储策略； (2) 设计基于历史记录的响应时间预测方法，用于得到MapReduce程序运行响应时间； (3) 基于上述存储策略和响应时间结果选择性地关闭节点，将能耗控制到最小化。2. 根据权利要求1所述的， 其特征在于：所述的混合数据副本存储策略集成了顺序存储策略和随机存储策略的优点， 混合数据副本存储策略为同一机架内的副本按照顺序方式存储，机架间的副本按照随机方 式存储，交替采用顺序和随机存储策略直到所有数据副本找到存放位置。3. 根据权利要求1所述的， 其特征在于：所述步骤（2)设计的基于历史记录的响应时间预测方法如下：MapReduce程序 的运行时间由两部分时间构成，如下式所示： Τ(Χ, ω) = Tmap (X, ω)+Ttransfer (X, ω)； 其中，Imap(X，ω)表示计算时间，Ttransfw(X，ω)表示额外的数据传输时间； (a) 根据如下式子计算得到计算时间：其中，Tavg(Q)是节点全开时程序的运行时间，）表示集群的计算能力， i d表示关闭某些节点后集群的计算能力； 2=1 (b) 设机架i内需要重新分配的Map任务数量为M(i，w)，则机架i引入的时间开销 Ttransfer (X，i，ω)为取最大值表示不同机架间的数据传输是并行的，则整个集群的数据传输时间 Ttransfer (X，ω)为4. 根据权利要求1所述的一种基于异构MapReduce集群的面向SLA的能耗管理方 法，其特征在于：所述步骤（3)选择性地关闭节点的方法为在整个异构MapReduce集群中 选择关闭不会导致数据丢失的机架的节点，在剩下的机架集合中选择使△ E/△ T最大化的 机架，从使△ E/△ T最大化的机架中遵从不同时关闭两个相邻节点的原则选择一个节点关 闭，直到数据完整性或SLA无法满足时退出步骤（3)。【专利摘要】本专利技术涉及，首先提出一种混合数据副本存储策略它允许关闭大量节点同时保证数据的完整性和集群的容错能力；其次设计了一种基于历史记录的响应时间预测方法它根据服务器节点的数量性能参数和运行时间的历史信息准确估计程序的响应时间相对误差大都在6％以下；最后通过选择性地关闭部分节点以达到最小化能耗同时保证应用程序的实时性能，并提出了一种启发式的节点关闭策略；从而在节点关闭策略下MapReduce应用的实时性得以保证同时降低了大量的能耗。【IPC分类】G06F17-30, H04L29-08, H04L12-24【公开号】CN104852819【申请号】CN201510267508【专利技术人】周天和, 蔡荣, 张元元, 卢晓飞 【申请人】杭州天宽科技有限公司【公开日】2015年8月19日【申请日】2015年5月21日本文档来自技高网...

【技术保护点】
一种基于异构MapReduce集群的面向SLA的能耗管理方法，其特征在于包括如下步骤：(1)针对异构MapReduce集群提出一种混合数据副本存储策略；(2)设计基于历史记录的响应时间预测方法，用于得到MapReduce程序运行响应时间；(3)基于上述存储策略和响应时间结果选择性地关闭节点，将能耗控制到最小化。

【技术特征摘要】

【专利技术属性】
技术研发人员：周天和，蔡荣，张元元，卢晓飞，
申请(专利权)人：杭州天宽科技有限公司，
类型：发明
国别省市：浙江;33