混合云中基于文件收益及优先级权重的LRU缓存优化算法制造技术

本发明专利技术公开了一种混合云中基于文件收益及优先级权重的LRU缓存优化算法，根据文件相关利益的大小，有选择性地对文件执行三种不同操作：不添加该文件到混合云缓存；添加该文件到混合云中任务执行所在云端缓存中；添加该文件到任务执行所在云端缓存的同时，将其预取到混合云中的各个云端，增加其缓存副本；然后实现基于优先级的LRU缓存替换算法，即将缓存空间划分为多个优先级队列，在每一个队列中分别使用LRU缓存替换算法选择待替换文件，在这些文件中选择再次被访问概率最小的文件进行替换。本发明专利技术是一种适合于混合云环境的缓存替换方法，能够有效节约成本代价，也极大提高了字节命中率、延迟节约率和缓存命中率。

【技术实现步骤摘要】
混合云中基于文件收益及优先级权重的LRU缓存优化算法
本专利技术涉及计算机云存储
，特别涉及一种混合云中基于文件收益及优先级权重的LRU缓存优化算法。
技术介绍
云计算是分布处理、并行处理和网格计算的综合发展，或者说是这些计算机科学概念的商业实现，也是效用计算、虚拟计算、硬件即服务、软件即服务、平台即服务等概念结合创新的结果。云计算是一种革命性的突破，它表示计算能力也可以作为一种商品进行流通，当然这种商品是通过互联网进行传输的。云计算的最主要目标就是，在未来只需要一台笔记本或者一个手机,就可以通过网络服务来得到我们需要的一切服务，甚至包括实现超级计算这样的任务。从这个角度而言，最终用户将成为云计算的真正拥有者。简单的说，云计算就是利用互联网上的大型数据中心的软件和处理数据的能力,把复杂的运算从用户终端转移到网络。目前云计算模式主要有三类：私有云、公有云和混合云。私有云是针对特定的组织或企业内部提供云计算服务的一种云计算模式，能够根据资源节点数量、性能等不同的建设需求而定制，具有数据安全性好、服务质量高、单次计算成本较低的特点；公有云是在公共网络环境(Internet)上，以第三方服务供应商的方式，为用户提供可租用服务及基础设施，具有节点数量大、可用资源多、按计算使用情况计费、对通信质量较为敏感等特点；而混合云则由两个或多个云(私有云、公有云或社区云)组成，它们之间相对独立但又可协同工作。云计算系统的缓存算法优化是当前重要的研究课题，研究混合云环境下的缓存替换方法具有重要意义。在混合云环境中选择合适的缓存替换方法，可以有效提高缓存命中率和任务执行效率。近年来，混合云中的缓存问题得到了学者们的广泛关注，很多学者在缓存替换方面已经做了大量的工作，并基于此提出了多种缓存替换算法，传统的缓存替换策略多是基于数据访问的时间和空间局部性作为缓存替换的主要依据，它们大多只是单独基于时间局部性或者空间局部性作为缓存替换的依据，没有将二者结合起来进行考虑。传统的缓存替换算法多是基于数据访问的时间和空间局部性作为缓存替换的主要依据，主要存在以下不足：(1)现有的缓存替换算法缺乏在缓存前预先对文件进行筛选和排除的考虑，所有的文件都可以添加到缓存中，造成资源的浪费，在一定程度上也降低了缓存命中率；(2)现有的缓存替换算法缺乏将某些特定文件预取到不同云端，增加其缓存副本的考虑，造成空闲网络带宽的浪费，也降低了缓存命中率；(3)现有的缓存替换算法在均衡回收成本代价、缓存命中率、字节命中率和延迟节约率方面考虑不足，特别是对回收成本代价的考虑存在一定缺陷，大多只考虑了公有云的使用成本，忽略了当前网络带宽，对于回收成本代价的评估存在一定误差，造成回收成本代价的浪费。本专利提出的基于文件预先选择和缓存预取的LRU优化算法在添加文件进入缓存前预先对文件进行选择和预取，然后将文件大小、文件类型、文件访问频率和文件回收成本代价等因素考虑在内，在考虑文件回收成本代价时又将当前网络带宽考虑进去，使其更加精确。不仅有效节约了成本代价，也极大提高了字节命中率、延迟节约率和缓存命中率。
技术实现思路
本专利技术的目的是针对现有技术的不足，提出一种混合云中基于文件收益及优先级权重的LRU缓存优化算法，是在充分考虑文件预先选择和缓存预取的基础上，实现基于优先级的LRU缓存替换算法。为实现上述目的，本专利技术所设计的混合云中基于文件收益及优先级权重的LRU缓存优化算法，其特殊之处在于，所述算法包括如下步骤：1)添加一个待缓存文件，如果缓存区域能够容纳，则直接将待缓存文件添加到缓存中，如果缓存区域不能够容纳，则转步骤2)；2)计算所述待缓存文件的相关利益值profit，并将相关利益值profit与下限阈值profit1、上限阈值profit2作比较，当profit＜profit1时执行步骤3)，当profit1≤profit≤profit2时执行步骤4)，当profit＞profit2时执行步骤5)；3)不执行添加操作；4)将所述待缓存文件添加到混合云缓存中，转步骤6)；5)将所述待缓存文件添加到混合云缓存中并将其预取到混合云中的各个云端，增加其缓存副本，转步骤6)；6)执行基于优先级的LRU缓存替换算法，具体包括：6.1)计算每个文件的优先级权重V，把所有取值相同的文件划分为一个优先级队列；6.2)将所述待缓存文件添加到相应的优先级队列，若所述待缓存文件的优先级权重V大于最大优先级权重Vmax，则令Vmax＝V，新建优先级队列L＝logpV；6.3)在每个优先权队列中执行LRU替换算法，选择位于队尾的文件；6.4)分别计算每个优先权队列中队尾文件的再次被访问权重Vi，将其中最小优先级权重对应的文件删除。优选地，所述步骤2)中相关利益值profit的计算方法为：其中f为文件访问概率，l为该文件类型在总的文件中占的比重，s为文件大小，λ1、λ2、λ3分别为第一、第二、第三调节参数。优选地，所述步骤6.4)中优先级队列中每个文件的再次被访问优先级权重Vi的计算方法为：Vi＝(|sizei-sizeavg|/sizeavg*C1+percentage(typei)*C2+(Intervalmax-Intervali)*C3+(counti-2)*C4)*(1-C)t*Pi其中，sizei表示文件i的大小；typei表示文件i的类型；counti表示文件i的访问次数；Intervali表示文件i的初次访问时间间隔；sizeavg表示缓存中文件的平均大小；percentage(X)表示缓存中类型为X的文件所占的比例；Intervalmax表示缓存中文件的最大初次访问时间间隔；C1、C2、C3、C4分别表示第一、第二、第三、第四常数，C1、C2、C3、C4的权重依次根据具体存储系统中文件大小、文件类型、文件访问时间间隔、文件访问次数在流行度中所占的重要性进行设置，Pi为文件再次被访问到的概率，t表示衰减周期，用于说明缓存队列为指数衰减窗口，每次有文件请求到来时，所有值都需要乘(1-C)进行衰减，C＝1/cachesize。优选地，所述文件再次被访问到的概率Pi的计算方法为：其中，n表示文件的访问次数，n≥1；max表示在T期间文件被访问的最多次数；fT为最近一段时间T内的访问频率；fi为文件的访问频率；count(n)表示在T期间被访问n次的文件的数量；为文件转化率，即访问量大于等于n次的文件中大于n次的文件比例。随着混合云环境的快速发展，传统的缓存替换算法已经不能很好的适用于混合云环境。本专利技术提出的混合云中基于文件收益及优先级权重的LRU缓存优化算法，结合传统的LRU缓存替换算法和混合云的特性提出来一种混合云中基于文件预先选择和缓存预取的LRU优化算法。本算法适用于混合云环境下的缓存替换。在加入缓存前对文件进行判断来决定是否加入缓存以及是否预取到混合云不同云端，当缓存容量不足，文件又符合加入缓存条件时，实现基于优先级的LRU缓存替换算法替换符合条件的文件。在实现基于优先级的LRU缓存替换算法时综合考虑了文件大小、文件类型、文件访问频率和文件回收成本代价等因素，也将当前网络带宽考虑到回收成本代价中，可以有效节约成本代价，同时极大提高了字节命中率、延迟节约率和缓存命中率。本文档来自技高网...

【技术保护点】
一种混合云中基于文件收益及优先级权重的LRU缓存优化算法，其特征在于：所述算法包括如下步骤：1)添加一个待缓存文件，如果缓存区域能够容纳，则直接将待缓存文件添加到缓存中，如果缓存区域不能够容纳，则转步骤2)；2)计算所述待缓存文件的相关利益值profit，并将相关利益值profit与下限阈值profit1、上限阈值profit2作比较，当profit＜profit1时执行步骤3)，当profit1≤profit≤profit2时执行步骤4)，当profit＞profit2时执行步骤5)；3)不执行添加操作；4)将所述待缓存文件添加到混合云缓存中，转步骤6)；5)将所述待缓存文件添加到混合云缓存中并将其预取到混合云中的各个云端，增加其缓存副本，转步骤6)；6)执行基于优先级的LRU缓存替换算法，具体包括：6.1)计算每个文件的优先级权重V，把所有logpV取值相同的文件划分为一个优先级队列；6.2)将所述待缓存文件添加到相应的优先级队列，若所述待缓存文件的优先级权重V大于最大优先级权重Vmax，则令Vmax＝V，新建优先级队列L＝logpV；6.3)在每个优先权队列中执行LRU替换算法，选择位于队尾的文件；6.4)分别计算每个优先权队列中队尾文件的再次被访问权重Vi，将其中最小优先级权重对应的文件删除。...

【技术特征摘要】
1.一种混合云中基于文件收益及优先级权重的LRU缓存优化算法，其特征在于：所述算法包括如下步骤：1)添加一个待缓存文件，如果缓存区域能够容纳，则直接将待缓存文件添加到缓存中，如果缓存区域不能够容纳，则转步骤2)；2)计算所述待缓存文件的相关利益值profit，并将相关利益值profit与下限阈值profit1、上限阈值profit2作比较，当profit＜profit1时执行步骤3)，当profit1≤profit≤profit2时执行步骤4)，当profit＞profit2时执行步骤5)；3)不执行添加操作；4)将所述待缓存文件添加到混合云缓存中，转步骤6)；5)将所述待缓存文件添加到混合云缓存中并将其预取到混合云中的各个云端，增加其缓存副本，转步骤6)；6)执行基于优先级的LRU缓存替换算法，具体包括：6.1)计算每个文件的优先级权重V，把所有logpV取值相同的文件划分为一个优先级队列；6.2)将所述待缓存文件添加到相应的优先级队列，若所述待缓存文件的优先级权重V大于最大优先级权重Vmax，则令Vmax＝V，新建优先级队列L＝logpV；6.3)在每个优先权队列中执行LRU替换算法，选择位于队尾的文件；6.4)分别计算每个优先权队列中队尾文件的再次被访问权重Vi，将其中最小优先级权重对应的文件删除。2.根据权利要求1所述的混合云中基于文件收益及优先级权重的LRU缓存优化算法，其特征在于：所述步骤2)中相关利益值profit的计算方法为：其中f为文件访问概率，l为该文件类型在总的文件中占的比重，s为文件大小，λ1、λ2、λ3分别为第一、第二、第三调节参数。3.根据权利要求1所述的混合云中基于文件收益及优先级权重的LRU缓存优化算法，其特征在于：所述步骤...

【专利技术属性】
技术研发人员：李春林，黄晓涵，杜书猛，毛习均，赵亚辉，张鹏，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：湖北,42