访问热度统计方法及装置制造方法及图纸

本发明专利技术公开了一种访问热度统计方法及装置，该方法包括：从接收的访问热度统计请求中获取当前统计对象的URL；根据URL判断当前统计对象的队列类型，其中，队列类型包括：过滤队列和LFU队列，过滤队列采用LRU算法进行排序，用于存储访问次数低于预定门限的统计对象，LFU队列用于存储访问次数高于预定门限的统计对象，过滤队列和LFU队列均为固定长度；根据队列类型将当前统计对象存储至对应的队列。通过本发明专利技术，采用定长过滤队列和定长LFU队列相结合的方式，过滤队列采用LRU算法排序方式，主要用于过滤互联网低频访问对象，与传统LFU算法相比，节省了内存空间，优化了LFU算法。

【技术实现步骤摘要】
访问热度统计方法及装置
本专利技术涉及通信领域，具体而言，涉及一种访问热度统计方法及装置。
技术介绍
根据思科（Cisco）视觉网络指数（VisualNetworkIndex，简称为VNI）统计预测，互联网流量中90%以上的流量都是互联网数据（WebData）、文件共享、视频类的可重复内容，这些流量采用缓存、转发的模式更为高效，通过Web缓存，将用户所需的内容缓存到离用户尽可能近的地点，用来缩短传输距离、降低骨干网传输开销，提升客户体验。通过分析Web对象的访问模型，可以有效提高缓存的有效性，这样有利于缓存器缓存的对象与未来Web访问尽可能的相似性。互联网内容访问的特点是大部分访问集中于最热的小部分内容（如二八分布、三七分布等），且分布具有明显的长尾效应，即绝大部分的内容被访问的频度很低。以上描述的分布特点可采用齐普夫（Zipf）定律来描述。根据这个特性，Web缓存器可以通过缓存最流行的Web对象，通过最不经常使用的缓存替换算法（LeastFrequentlyUsed，简称为LFU）来提高缓存命中率。但这种算法存在两个明显的缺点：为了实施LFU，需要收集所有对象的访问信息；为了提供缓存命中率，必须有足够大的缓存空间。针对相关技术中LFU算法消耗存储空间过大的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术提供了一种访问热度统计方法及装置，以至少解决相关技术中LFU算法消耗存储空间过大的问题。根据本专利技术的一个方面，提供了一种访问热度统计方法，包括：从接收的访问热度统计请求中获取当前统计对象的统一资源定位符（UniformResourceLocator，简称为URL）；根据所述URL判断所述当前统计对象的队列类型，其中，所述队列类型包括：过滤队列和最不经常使用（LeastFrequentlyUsed，简称为LFU）队列，所述过滤队列采用最少最近使用（LeastRecentlyUsed，简称为LRU）算法进行排序，用于存储访问次数低于预定门限的统计对象，所述LFU队列用于存储访问次数高于所述预定门限的统计对象，所述过滤队列和所述LFU队列均为固定长度；根据所述队列类型将所述当前统计对象存储至对应的队列。优选地，根据所述URL判断所述当前统计对象的队列类型包括：如果所述当前统计对象是新增的统计对象，确定所述当前统计对象的队列类型为过滤队列；如果所述当前统计对象已经在所述过滤队列中，根据所述当前统计对象的访问次数与所述LFU队列的队尾统计对象的访问次数的大小，确定所述当前统计对象的队列类型；如果所述当前统计对象已经在所述LFU队列中，确定所述当前统计对象的队列类型为LFU队列。优选地，根据所述当前统计对象的访问次数与所述LFU队列的队尾统计对象的访问次数的大小，确定所述当前统计对象的队列类型包括：判断所述当前统计对象的访问次数是否不低于所述LFU队列的队尾统计对象的访问次数；如果所述当前统计对象的访问次数不低于所述LFU队列的队尾统计对象的访问次数，确定所述当前统计对象的队列类型为LFU队列；如果所述当前统计对象的访问次数低于所述LFU队列的队尾统计对象的访问次数，确定所述当前统计对象的队列类型为过滤队列。优选地，根据所述队列类型将所述当前统计对象存储至对应的队列包括：如果所述当前统计对象的队列类型为过滤队列，将所述当前统计对象存储至所述过滤队列；如果所述当前统计对象的队列类型为LFU队列，通过排序算法将所述当前统计对象存储至所述LFU队列。优选地，将所述当前统计对象存储至所述过滤队列包括：将所述当前统计对象存储至所述过滤队列的队首；如果所述过滤队列已满，清除所述过滤队列的队尾统计对象。优选地，通过排序算法将所述当前统计对象存储至所述LFU队列包括：按照访问信息对所述LFU队列中的统计对象进行排序，其中，所述访问信息包括以下至少之一：访问次数、最近访问时间；如果所述LFU队列已满，将所述LFU队列的队尾统计对象迁移至所述过滤队列的队首。优选地，所述过滤队列中的每个统计对象都包括访问次数计数器，所述访问次数计数器用于统计其对应的统计对象的累计访问次数。优选地，所述过滤队列包括第一队列和第二队列，其中，所述第一队列用于存储所述过滤队列中的访问次数为1的统计对象，当所述第一队列中的统计对象被第二次访问时，将所述该统计对象迁移至所述第二队列的队首。优选地，所述第一队列的长度和所述第二队列的长度根据网络资源负荷进行调整，其中，所述网络资源负荷包括以下至少之一：网络流量、网络硬件资源消耗。优选地，所述访问热度统计方法应用于路由器或服务器上。根据本专利技术的另一方面，提供了一种访问热度统计装置，包括：获取模块，用于从接收的访问热度统计请求中获取当前统计对象的URL；判断模块，用于根据所述URL判断所述当前统计对象的队列类型，其中，所述队列类型包括：过滤队列和LFU队列，所述过滤队列采用LRU算法进行排序，用于存储访问次数低于预定门限的统计对象，所述LFU队列用于存储访问次数高于所述预定门限的统计对象，所述过滤队列和所述LFU队列均为固定长度；存储模块，用于根据所述队列类型将所述当前统计对象存储至对应的队列。优选地，所述判断模块包括：第一确定单元，用于在所述当前统计对象是新增的统计对象的情况下，确定所述当前统计对象的队列类型为过滤队列；第二确定单元，用于在所述当前统计对象已经在所述过滤队列的情况下，根据所述当前统计对象的访问次数与所述LFU队列的队尾统计对象的访问次数的大小，确定所述当前统计对象的队列类型；第三确定单元，用于在所述当前统计对象已经在所述LFU队列的情况下，确定所述当前统计对象的队列类型为LFU队列。优选地，所述第二确定单元包括：判断子单元，用于判断所述当前统计对象的访问次数是否不低于所述LFU队列的队尾统计对象的访问次数；第一确定子单元，用于在所述当前统计对象的访问次数不低于所述LFU队列的队尾统计对象的访问次数的情况下，确定所述当前统计对象的队列类型为LFU队列；第二确定子单元，用于在所述当前统计对象的访问次数低于所述LFU队列的队尾统计对象的访问次数的情况下，确定所述当前统计对象的队列类型为过滤队列。优选地，所述存储模块包括：第一存储单元，用于在所述当前统计对象的队列类型为过滤队列的情况下，将所述当前统计对象存储至所述过滤队列；第二存储单元，用于在所述当前统计对象的队列类型为LFU队列的情况下，通过排序算法将所述当前统计对象存储至所述LFU队列。通过本专利技术，采用定长过滤队列和定长LFU队列相结合的方式，过滤队列采用LRU算法排序方式，主要用于过滤互联网低频访问对象，与传统LFU算法相比，节省了内存空间，优化了LFU算法。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是根据本专利技术实施例的访问热度统计方法的流程图；图2是根据本专利技术实施例的访问热度统计装置的结构框图；图3是根据本专利技术实施例的访问热度统计装置的优选结构框图；图4是根据本专利技术优选实施例一的过滤队列与LFU队列的示意图；图5是根据本专利技术优选实施例二的过滤队列与LFU队列的示意图；图6是根据本专利技术优选实施例三的算法实现的示意图；图7本文档来自技高网...

【技术保护点】
一种访问热度统计方法，其特征在于包括：从接收的访问热度统计请求中获取当前统计对象的统一资源定位符URL；根据所述URL判断所述当前统计对象的队列类型，其中，所述队列类型包括：过滤队列和最不经常使用LFU队列，所述过滤队列采用最少最近使用LRU算法进行排序，用于存储访问次数低于预定门限的统计对象，所述LFU队列用于存储访问次数高于所述预定门限的统计对象，所述过滤队列和所述LFU队列均为固定长度；根据所述队列类型将所述当前统计对象存储至对应的队列。

【技术特征摘要】
1.一种访问热度统计方法，其特征在于包括：从接收的访问热度统计请求中获取当前统计对象的统一资源定位符URL；根据所述URL判断所述当前统计对象的队列类型，其中，所述队列类型包括：过滤队列和最不经常使用LFU队列，所述过滤队列采用最少最近使用LRU算法进行排序，用于存储访问次数低于预定门限的统计对象，所述LFU队列用于存储访问次数高于所述预定门限的统计对象，所述过滤队列和所述LFU队列均为固定长度；根据所述队列类型将所述当前统计对象存储至对应的队列；其中，根据所述URL判断所述当前统计对象的队列类型包括：如果所述当前统计对象是新增的统计对象，确定所述当前统计对象的队列类型为过滤队列；如果所述当前统计对象已经在所述过滤队列中，根据所述当前统计对象的访问次数与所述LFU队列的队尾统计对象的访问次数的大小，确定所述当前统计对象的队列类型；如果所述当前统计对象已经在所述LFU队列中，确定所述当前统计对象的队列类型为LFU队列。2.根据权利要求1所述的方法，其特征在于，根据所述当前统计对象的访问次数与所述LFU队列的队尾统计对象的访问次数的大小，确定所述当前统计对象的队列类型包括：判断所述当前统计对象的访问次数是否不低于所述LFU队列的队尾统计对象的访问次数；如果所述当前统计对象的访问次数不低于所述LFU队列的队尾统计对象的访问次数，确定所述当前统计对象的队列类型为LFU队列；如果所述当前统计对象的访问次数低于所述LFU队列的队尾统计对象的访问次数，确定所述当前统计对象的队列类型为过滤队列。3.根据权利要求1或2所述的方法，其特征在于，根据所述队列类型将所述当前统计对象存储至对应的队列包括：如果所述当前统计对象的队列类型为过滤队列，将所述当前统计对象存储至所述过滤队列；如果所述当前统计对象的队列类型为LFU队列，通过排序算法将所述当前统计对象存储至所述LFU队列。4.根据权利要求3所述的方法，其特征在于，将所述当前统计对象存储至所述过滤队列包括：将所述当前统计对象存储至所述过滤队列的队首；如果所述过滤队列已满，清除所述过滤队列的队尾统计对象。5.根据权利要求3所述的方法，其特征在于，通过排序算法将所述当前统计对象存储至所述LFU队列包括：按照访问信息对所述LFU队列中的统计对象进行排序，其中，所述访问信息包括以下至少之一：访问次数、最近访问时间；如果所述LFU队列已满，将所述LFU队列的队尾统计对象迁移至所述过滤队列的队首。6.根据权利要求1或2所述的方法，其特征在于，所述过滤队列中的每个统计对象都包括访问次数计数器，所述访问次数计数器用于统计其...

【专利技术属性】
技术研发人员：陶峑郡，郭立伟，彭永林，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：