System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种CDN缓存文件淘汰方法技术_技高网

一种CDN缓存文件淘汰方法技术

技术编号:40925990 阅读:5 留言:0更新日期:2024-04-18 14:49
本发明专利技术涉及内容分发网络技术领域,公开了一种CDN缓存文件淘汰方法,通过独立于现有索引表之外,新增一个以索引为Key值的热度积分表,针对原有缓存淘汰方法的局限性,增加了热度积分表;对已有业务进行业务分类,根据业务分类和日志的统计进行定制化配置;收到业务请求后,查询缓存文件的索引在热度积分表中的存在情况;定时遍历热度积分表;每一次冷却处理后,根据冷却处理后的热度积分对整个热度积分表进行降序排列,对热度积分进行加权和冷却,较原方法适应性更强,可以应对更加复杂的业务场景;判断磁盘剩余缓存空间,淘汰缓存文件,从而达到更好地利用有限的磁盘空间,提高缓存命中率的目的。

【技术实现步骤摘要】

本专利技术涉及内容分发网络,尤其涉及一种cdn缓存文件淘汰方法。


技术介绍

1、内容分发网络,其原理是利用cdn各个层级的节点,将远端源站的资源缓存到离用户更近的节点,用户可以就近获取资源,从而达到减少源站压力,提高访问速度的目的。

2、在cdn系统中,磁盘容量是有限的,当缓存到本地的文件越来越多,达到磁盘容量上限时,需要按照一定淘汰方法对缓存文件进行删除,释放缓存空间,常见的淘汰方法是lru,即淘汰旧的很少使用的。

3、lru淘汰算法最早是针对操作系统的缓存页管理提出来的,它的算法规则包括:新数据插入到链表头部;当缓存命中,即缓存文件被访问,该数据移动到链表头部;当链表满时,将链表尾部的数据淘汰删除。

4、假设某台缓存设备服务有短视频业务和大文件下载业务,其中短视频业务的文件特点为文件小、数量多、每天新增量大,传播特点为请求量大、冷却周期短、请求集中、冷却速度快;大文件下载业务的文件特点为文件大、数量少、每天新增量小,传播特点为请求量小、冷却周期长、请求分散、冷却速度慢;线上实际使用中,若针对上述两个特点迥异的业务类型,均使用lru淘汰算法,可能会使得庞杂的、更迭速度快的短视频文件短时间内集中在链表头部,请求分散的、新增速度慢的下载类大文件排在链表尾部,从而导致下载类大文件更容易被淘汰删除,而重新缓存这种大文件耗时更长,网络开销更大。

5、从以上描述可以看出,实际使用中,若使用简单的lru算法进行缓存淘汰,面对越来越多的客户,越来越复杂多样的业务模型,已达不到符合预期的结果,同时也浪费成本,影响用户体验。

6、如授权公告号为cn115051996b的中国专利公开了一种多接入边缘计算下基于本地视频效用值的视频缓存管理方法,该方法用于mec服务器的视频缓存管理,当mec服务器剩余缓存空间不足以存储待缓存视频时,结合全网流行度和本地流行度变化计算本地视频热度;接着,结合本地视频热度、视频大小和信息熵理论,计算本地视频效用值;然后,基于本地视频效用值进行降序排序,将效用值最低的视频依次删除,直到剩余缓存空间能存储待缓存视频,并存储之;最后,如果该待缓存视频是全网新发布视频,那么将其全网流行度设置为top_r2;否则,从中心服务器获取其全网流行度。该缓存管理方法可有效提升mec服务器的缓存命中率,降低传输延迟,提升用户体验质量,减少回程流量,降低核心网压力。

7、如授权公告号为cn106657196b的中国专利公开了一种缓存内容淘汰方法及缓存装置,涉及通信
,能够解决现有技术中由于历史访问量高,但是当前或将来访问量可能较低的内容长期占用cdn边缘节点的缓存空间,导致缓存空间不足的问题。具体方案为:cdn边缘节点根据历史访问量将缓存中的内容划分为热门内容和非热门内容,任一热门内容的历史访问量高于任一非热门内容的历史访问量,当确定在当前时间窗内需要启动缓存中的内容淘汰流程时,若确定热门内容中存在满足第一淘汰条件的第一内容集合,则将第一内容集合中的待淘汰内容从热门内容中淘汰,待淘汰内容包括至少一个内容,第一淘汰条件用于确定热门内容中内容的访问量呈下降趋势。本专利技术实施例用于淘汰缓存中的内容。

8、以上专利存在本
技术介绍
提出的问题:若使用简单的lru算法进行缓存淘汰,面对越来越多的客户,越来越复杂多样的业务模型,已达不到符合预期的结果,同时也浪费成本,影响用户体验。为解决这一问题,本专利技术提出一种cdn缓存文件淘汰方法。


技术实现思路

1、本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊,而这种简化或省略不能用于限制本专利技术的范围。

2、鉴于上述现有一种cdn缓存文件淘汰方法存在的问题,提出了本专利技术。

3、因此,本专利技术目的是提供一种cdn缓存文件淘汰方法。

4、为解决上述技术问题,本专利技术提供如下技术方案:独立于现有索引表之外,新增一个以索引为key值的热度积分表;

5、对已有业务进行业务分类,根据所述业务分类和日志的统计进行定制化配置;

6、收到业务请求后,查询所述缓存文件的索引在所述热度积分表中的存在情况;

7、定时遍历所述热度积分表;

8、每一次所述冷却处理后,根据所述冷却处理后的所述热度积分对整个所述热度积分表进行降序排列;

9、判断磁盘剩余缓存空间,淘汰所述缓存文件。

10、作为本专利技术所述一种cdn缓存文件淘汰方法的一种优选方案,其中:所述热度积分表的value是缓存文件的热度积分和插入时间;

11、所述热度积分增加和降低的计分方法如下所示:

12、若所述热度积分为增加积分,则某个缓存文件第一次插入时,设置热度初始值,接下来的每一次命中会进行一次加权;

13、若所述热度积分为降低积分,则利用牛顿冷却定律进行自然冷却。

14、作为本专利技术所述一种cdn缓存文件淘汰方法的一种优选方案,其中:所述业务分类不同,具体的配置值不同,其中配置项包括:热度初始值、命中一次的加权值和冷却系数。

15、作为本专利技术所述一种cdn缓存文件淘汰方法的一种优选方案,其中:查询所述缓存文件的索引在所述热度积分表的存在情况的规则如下所示:

16、若所述缓存文件的索引不存在于所述热度积分表中,则将所述索引、所述热度初始值和所述插入时间插入到所述热度积分表中;

17、若所述缓存文件的索引存在于所述热度积分表中,则在所述热度积分表原有热度积分的基础上,加上命中一次的加权值。

18、作为本专利技术所述一种cdn缓存文件淘汰方法的一种优选方案,其中:每隔一个时间刻度,从头到尾顺序遍历一次所述热度积分表,所述遍历的规则如下所示:

19、从所述热度积分表的第一个元素开始,若某个元素的所述插入时间当前没有超过一个所述时间刻度,则按照当前热度值进行排序;

20、若某个元素的所述插入时间距离当前已超过一个所述时间刻度,则触发一次冷却处理,并按照冷却后的热度积分进行排序,所述冷却处理的方法参考牛顿冷却定律。

21、作为本专利技术所述一种cdn缓存文件淘汰方法的一种优选方案,其中:所述冷却处理的计算表达式如下所示:

22、hc=h/exp(α·n);

23、式中,hc表示冷却后的热度,h表示当前热度,exp表示以自然常数e为底的指数函数,α表示冷却系数,n表示时间刻度个数;

24、其中,所述冷却系数是指物体冷却速度的一种度量,根据业务分类事先配置的值,所述冷却系数越小,随时间热度值下降越慢;所述时间刻度个数是指插入时间距离当前时间经历的时间刻度个数,取整数部分。

25、作为本专利技术所述一种cdn缓存文件淘汰方法的一种优选方案,其中:所述降序排列的具体方法包括:从所述热度积分表中选择一个元素,本文档来自技高网...

【技术保护点】

1.一种CDN缓存文件淘汰方法,其特征在于:包括,

2.如权利要求1所述的一种CDN缓存文件淘汰方法,其特征在于:所述热度积分表的value是缓存文件的热度积分和插入时间;

3.如权利要求2所述的一种CDN缓存文件淘汰方法,其特征在于:所述业务分类不同,具体的配置值不同,其中配置项包括:热度初始值、命中一次的加权值和冷却系数。

4.如权利要求3所述的一种CDN缓存文件淘汰方法,其特征在于:查询所述缓存文件的索引在所述热度积分表的存在情况的规则如下所示:

5.如权利要求4所述的一种CDN缓存文件淘汰方法,其特征在于:每隔一个时间刻度,从头到尾顺序遍历一次所述热度积分表,所述遍历的规则如下所示:

6.如权利要求5所述的一种CDN缓存文件淘汰方法,其特征在于:所述冷却处理的计算表达式如下所示:

7.如权利要求6所述的一种CDN缓存文件淘汰方法,其特征在于:所述降序排列的具体方法包括:从所述热度积分表中选择一个元素,使用所述元素的所述热度积分作为基准值;将所有比所述基准值大的元素放在所述元素的前面,将所有比所述基准值小的元素放在所述元素的后面;递归地对前后两个子序列进行快速排序,当前后两个部分的数据排序完成后,则完成所述热度积分表的遍历和排序。

8.如权利要求7所述的一种CDN缓存文件淘汰方法,其特征在于:判断所述磁盘剩余缓存空间的规则如下所示:

9.一种计算机设备,其特征在于:包括,

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:该计算机程序被执行时,实现如权利要求1-8中任一项所述的一种CDN缓存文件淘汰方法。

...

【技术特征摘要】

1.一种cdn缓存文件淘汰方法,其特征在于:包括,

2.如权利要求1所述的一种cdn缓存文件淘汰方法,其特征在于:所述热度积分表的value是缓存文件的热度积分和插入时间;

3.如权利要求2所述的一种cdn缓存文件淘汰方法,其特征在于:所述业务分类不同,具体的配置值不同,其中配置项包括:热度初始值、命中一次的加权值和冷却系数。

4.如权利要求3所述的一种cdn缓存文件淘汰方法,其特征在于:查询所述缓存文件的索引在所述热度积分表的存在情况的规则如下所示:

5.如权利要求4所述的一种cdn缓存文件淘汰方法,其特征在于:每隔一个时间刻度,从头到尾顺序遍历一次所述热度积分表,所述遍历的规则如下所示:

6.如权利要求5所述的一种cdn缓存文件淘汰方法,其特征在于:所述冷...

【专利技术属性】
技术研发人员:许磊姜明欣叶珍毕天枢
申请(专利权)人:天翼云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1