【技术实现步骤摘要】
本专利技术涉及一种算法，具体是一种基于在线强化学习的自适应lrfu算法。
技术介绍
1、随着互联网和大数据的快速发展，人们对数据的高效访问和处理需求日益增长。缓存系统作为一种重要的性能优化手段，被广泛应用于各种计算机系统和网络应用中，以提高数据访问效率、减轻服务器负载和降低用户响应时间。在缓存系统中，缓存替换算法的作用是在缓存容量接近上限时根据一定的规则淘汰掉部分数据，其性能往往直接影响到缓存系统的存取效率。因此，设计一个高效的缓存替换算法在缓存系统中显得尤为重要，尽管该研究已出现多年，但现有的缓存替换算法中仍存在许多值得改进的地方，对缓存替换算法的优化至今仍成为数据库等计算机系统领域的研究热点。
2、现有的缓存替换算法根据所考虑的数据特征种类的不同，大致可以分为三种：基于访问时间的、基于访问频率的以及结合访问时间和访问频率的。基于访问时间的算法有lru、clock、lirs等，其中最具代表性的是lru算法，该算法根据数据的最近访问时间来判断数据接下来被访问的可能性，当缓存容量达到上限时，最久未被访问的数据将会被淘汰。lru算法在局部性较强的访问模式下具有很高的命中率并且实现简单，但是在连续扫描、循环访问模式下表现不佳。基于访问频率的算法有lfu、window-lfu、lfu-aging等，其中最经典的是lfu算法，该算法根据数据的访问次数来判断数据的热度，访问次数最小的数据将在缓存容量满时被淘汰。lfu算法在概率访问模式下表现非常好并且能解决lru算法强局部性困扰，但是该算法可能会受到缓存污染(时间局部性的影响)：
3、lrfu算法给出了一个将访问时间和访问频率较好结合的例子，但是在一个特定的lrfu算法中，λ值是固定的，这就意味着该算法只是lru算法和lfu算法的一个折中方案，无法适应不断变化的访问模式。
技术实现思路
1、本专利技术的目的在于克服上述
技术介绍
中提出的问题，提供了一种基于在线强化学习的自适应lrfu算法，具备了自适应性，从而在实际环境中能够更灵活地应对不同的工作负载，同时拥有更好的性能。
2、本专利技术的目的主要通过以下技术方案实现：
3、一种基于在线强化学习的自适应lrfu算法，包括在缓存中为每个对象都维护了一个crf属性值，当缓存溢出时，具有最小crf值的对象将被置换出去，crf值的计算公式为：
4、
5、其中，表示对象b在tbase时间点的crf值，f(x)是权重函数，{tb1,tb2,...,tbk}表示对象b被访问的时间点且tb1<tb2<...<tbk≤tbase；
6、访问次数和访问时间重要性由权值函数决定，权值函数的通用形式为：
7、
8、由公式(6)可知，当λ接近0时，访问频率比访问时间更为重要，当λ＝0时，f(x)＝1，访问频率和访问时间相同；而当λ接近1时，访问时间比访问频率更重要，当λ＝1时，f(x)＝(1/p)x，由于此函数满足以下条件：
9、
10、此时，上次访问时间距离当前时间越近的对象具有越大的crf值。
11、λ更新时：
12、输入：当前时间点t，更新周期d，时间点i的λ值，λi，时间点i的学习率αi，时间点i-d到时间点i期间的命中率hri；
13、输出：更新后的λ值
14、if hrt<hrt-d then
15、if λt-d<λt-2d then
16、
17、λt＝min(λt,1)
18、if λt-d>λt-2d then
19、
20、else
21、λt＝λt-d
22、λt-d＝λt-2d
23、return λt
24、在每个包含d个请求的周期(d＝cache size)结束时，λ值根据前两个周期内命中率的变化来更新λ值，如果前两个周期内命中率出现了下降趋势，λ值更新算法将根据上一次λ值的更新情况做出相反的调整，即假如命中率下降是由增大λ值造成的，则将当前的λ值减小，反之亦然，如果命中率没有变化或出现上升趋势，算法则不会更新当前λ值。
25、进行学习率更新时：
26、输入：当前时间点t,更新周期d，时间点i的学习率αi，时间点i-d到时间点i期间的命中率hri；
27、输出：更新后的学习率；
28、
29、
30、
31、
32、
33、else
34、
35、unlearncount＝0
36、else
37、
38、unlearncount＝unlearncount+1
39、if unlearncount≥10then
40、unlearncount＝0
41、αt＝random number between 10-3and 1
42、return max(αt,10-3)
43、在每个请求周期结束时，根据前两个周期内命中率和学习率的变化情况来更新学习率，首先，计算前两个周期内命中率对于学习率的梯度，如果梯度是正的，那么学习率的变化方向也是正的，反之亦然，学习率的变化大小与前两个周期内学习率的变化幅度成正比，学习率最小值为10-3，其次，学习率在10-3和1之间随机初始化，当命中率连续10个周期下降时，说明此时学习率学习效果不好，算法将学习率重置为初始值，并重新开始学习。
44、综上，本专利技术与现有技术相比具有以下有益效果：该算法具备了自适应性，从而在实际环境中能够更灵活地应对不同的工作负载，同时拥有更好的性能。
本文档来自技高网...【技术保护点】
1.一种基于在线强化学习的自适应LRFU算法，其特征在于：包括在缓存中为每个对象都维护了一个CRF属性值，当缓存溢出时，具有最小CRF值的对象将被置换出去，CRF值的计算公式为：
2.根据权利要求1所述的一种基于在线强化学习的自适应LRFU算法，其特征在于：所述λ更新时：
3.根据权利要求1所述的一种基于在线强化学习的自适应LRFU算法，其特征在于：所述进行学习率更新时：
【技术特征摘要】
1.一种基于在线强化学习的自适应lrfu算法，其特征在于：包括在缓存中为每个对象都维护了一个crf属性值，当缓存溢出时，具有最小crf值的对象将被置换出去，crf值的计算公式为：
2.根据...
【专利技术属性】
技术研发人员：郭兵，周望月，方嘉豪，曹智超，陈飞，赵明洁，
申请(专利权)人：四川大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。