基于集成学习的分布式计算环境性能预测方法技术

技术编号:10369786 阅读:193 留言:0更新日期:2014-08-28 12:27
本发明专利技术公开了一种基于集成学习的分布式计算环境性能预测方法,针对分布式服务器性能的特点,使用集成学习方法对服务器性能进行预测。在集成学习过程中,采用对每种预测器的参数进行优化,并从预测中优选选择一些效果较好的预测器,并把这些预测器集成起来,集成的方法采用加权或者评分算法得到最后的集成结果,该集成预测模型不仅降低了预测误差,同时又达到了对不同数据集的很好的适应性。

【技术实现步骤摘要】

本专利技术涉及计算机数据处理
,特别涉及一种。
技术介绍
随着计算机网络的迅速发展,各种服务器越来越难以满足用户的需求。负载均衡集群的出现,在一定程度上解决了这个问题。负载均衡算法作为影响负载均衡的三大要素之一,在很大程度上决定了负载均衡集群的性能。但由于当前的算法没有考虑到服务器的当前和将来的负载情况,很难做到真正的负载均衡。在分布式系统中,计算能力并不是独占的,而是被多用户的若干任务所共享,负载随着任务的提交和结束而不断变化,负载的预测会更加复杂。对于系统性能的预测主要集中在主机CPU负载的研究,这在国外开始于上世纪九十年代后期,其中以Peter A.Dinda的研究最为系统。他从不同的机器集群,包括用于生产或研究的服务器组和工作站,收集了大量负载样本,并对这些样本进行细致的分析,提出了基于时间序列预测的预测理论。他建立了主机资源预测系统RPS,并把RPS应用于CMU Remos资源管理系统和BBN QuO分布式秒质量服务系统。另外,Campos根据负载的变化率提出了进行动态负载预测的方法,SmithW.and Wong P.提出利用任务的执行时间和队列等待时间进行负载预测,Wolski提出对分时UNIX系统的CPU利用率预测方法。预测模型设置在预测器中,现在的大部分预测模型都不具备适应性,这意味着一旦开始预测,预测模型就是固定的。然而,如果预测的资源具有时变特性,这些模型将不能够做出精确的预测。也就是说,他们都认为未来CPU负载是与历史数据呈现相同的分布,但在分布式系统中这可能并不成立。另一方面,历史数据可能不足以反映整个CPU负载的变化规律,这就导致基于历史数据训练的模型不能做出准确的预测。
技术实现思路
本专利技术针对现有技术存在的上述不足,提供了一种。本专利技术通过以下技术方案实现:一种,对预测器进行优化和集成,以得到预测结果;对预测器进行优化包括:S11、对每种预测器维持一候选集合,候选集合包含若干预测器,每个预测器对应唯一的一组参数值;S12、从候选集合选择若干预测误差最小的预测器;S13、每隔一定时间执行一次S12,从候选集合中剔除预测误差最大的若干预测器,同时对候选集合进行补充,以保持候选集合内参数值的组合数量不变;对预测器进行集成包括:S21、采用Scoring算法为每个预测器都建立一个分数,每次预测前对预测器上次的预测结果进行评价,根据预测结果的好坏,对分数进行相应的增加或降低,选择分数高于一上限值的预测器作为预测器代表,预测器代表的输出作为最终的预测结果;或者,S22、选择分数最高的若干预测器,对他们赋予不同的权重进行加权平均,每一预测器的权重等于(所选择的分数最高的若干预测器中预测误差最大值-次预测器的误差值)/ (所选择的分数最高的若干预测器中预测误差最大值-所选择的分数最高的若干预测器中预测误差最小值);S23、预测结果|>为本文档来自技高网
...

【技术保护点】
一种基于集成学习的分布式计算环境性能预测方法,其特征在于,对预测器进行优化和集成,以得到预测结果;对预测器进行优化包括:S11、对每种预测器维持一候选集合,候选集合包含若干预测器,每个预测器对应唯一的一组参数值;S12、从候选集合选择若干预测误差最小的预测器;S13、每隔一定时间执行一次S12,从候选集合中剔除预测误差最大的若干预测器,同时对候选集合进行补充,以保持候选集合内参数值的组合数量不变;对预测器进行集成包括:S21、采用Scoring算法为每个预测器都建立一个分数,每次预测前对预测器上次的预测结果进行评价,根据预测结果的好坏,对分数进行相应的增加或降低,选择分数高于一上限值的预测器作为预测器代表,预测器代表的输出作为最终的预测结果;或者,S22、选择分数最高的若干预测器,对他们赋予不同的权重进行加权平均,每一预测器的权重等于(所选择的分数最高的若干预测器中预测误差最大值‑次预测器的误差值)/(所选择的分数最高的若干预测器中预测误差最大值‑所选择的分数最高的若干预测器中预测误差最小值);S23、预测结果为其中,L为所选择的分数最高的若干预测器的数量,αi为L个预测器中预测器i的权重,Pi(x)为预测器i的预测值。...

【技术特征摘要】
1.一种基于集成学习的分布式计算环境性能预测方法,其特征在于,对预测器进行优化和集成,以得到预测结果; 对预测器进行优化包括: S11、对每种预测器维持一候选集合,候选集合包含若干预测器,每个预测器对应唯一的一组参数值; S12、从候选集合选择若干预测误差最小的预测器; S13、每隔一定时间执行一次S12,从候选集合中剔除预测误差最大的若干预测器,同时对候选集合进行补充,以保持候选集合内参数值的组合数量不变; 对预测器进行集成包括: S21、采用Scoring算法为每个预测器都建立一个分数,每次预测前对预测器上次的预测结果进行评价,根据预测结果的好坏,对分数进行相应的增加或降低,选择分数高于一上限值的预测器作为预测器代表,预测器代表的输出作为最终的预测结果; 或者,S22、选择分数最高的若干预测器,对他们赋予不同的权重进行加权平均,每一预测器的权重等于(所选择的分数最高的若干预测器中预测误差最大值-次预测器的误差值)/ (所选择的分数最高的若干预测器中预测误差最大值-所选择的分数最高的若干预测器中...

【专利技术属性】
技术研发人员:曹健杨定裕董樑顾骅沈琪骏王烺
申请(专利权)人:上海交通大学
类型:发明
国别省市:上海;31

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1