一种条目提取方法和装置制造方法及图纸

本发明专利技术公开了一种条目提取方法和装置，属于信息技术领域，以在获取访问频率高的条目的过程中节省存储空间。所述方法包括：从第一个采样周期开始直到最后一个采样周期的前一个采样周期，执行以下步骤：a.获取当前采样周期内对各个条目的访问次数；b.根据所述当前采样周期内对各个条目的访问次数，确定所述当前采样周期内条目访问的平均值；c.移除所述当前采样周期内访问次数小于所述平均值的条目，并将访问次数不小于所述平均值的条目作为下一采样周期内的条目；重复步骤a～c，直到下一采样周期为最后一个采样周期；当下一采样周期为最后一个采样周期时，按照访问次数从高到低的顺序提取最后一个采样周期中的指定个条目。本发明专利技术用于条目提取。

Method and device for extracting articles

The invention discloses a method and a device for extracting articles, belonging to the field of information technology so as to save storage space in the process of obtaining entries with high access frequency. The method includes: from the first sampling period until the end of a sampling period before a sampling period, perform the following steps: A. get the current sampling period of each item visits; B. according to the current sampling period of each item access times, the average value of determining the entry access the current sampling period; C. removal of the number is less than the average value of the entry access period of the current sampling, and the number of visits is not less than the average value of the items as the items the next sampling period; repeat steps a to C, until the next sampling period for the last sampling period; current a sampling period for the last sample period, according to the number of visits from high to low in order to extract the specified items in the last sampling period. The invention is used for item extraction.

【技术实现步骤摘要】
一种条目提取方法和装置
本专利技术涉及信息
，特别涉及一种条目提取方法和装置。
技术介绍
在大规模表存储结构中，经常需要获取访问频率高的一些条目，例如，最经常访问的前8个条目，以对条目进行分析和进行控制操作。相关技术中，为获取访问频率最高的一些条目，通常为每一个条目增加一个计数器和一个初始计数记录，在指定的时间后观察统计每一个条目的初始计数与当前计数之间的计数差值，进行排序后取得访问频率最高的前N(例如，10个)个条目。但是，这种获取访问频率高的条目的方法会耗费极大的存储空间。
技术实现思路
为了解决现有技术的问题，本专利技术实施例提供了一种条目提取方法和装置，以在获取访问频率高的条目的过程中节省存储空间。一方面，提供一种条目提取方法，其特征在于，所述方法包括：从第一个采样周期开始直到最后一个采样周期的前一个采样周期，执行以下步骤：a.获取当前采样周期内对各个条目的访问次数；b.根据所述当前采样周期内对各个条目的访问次数，确定所述当前采样周期内条目访问的平均值；c.移除所述当前采样周期内访问次数小于所述平均值的条目，并将访问次数不小于所述平均值的条目作为下一采样周期内的条目；d.确定下一采样周期是否为最后一个采样周期；若下一采样周期不为最后一个采样周期，重复步骤a～d，直到下一采样周期为最后一个采样周期；当下一采样周期为最后一个采样周期时，按照访问次数从高到低的顺序提取最后一个采样周期中的指定个条目。可选地，在一个实施例中，所述方法还包括：确定提取的所述指定个条目中的各个条目的访问次数是否超过阈值；将提取的所述指定个条目中超过阈值的条目封锁指定时间。可选地，在另一个实施例中，在步骤c之后，所述方法还包括：针对当前采样周期，确定访问次数不小于所述平均值的条目中的各个条目的访问次数是否超过阈值；将访问次数超过阈值的条目进行封锁。可选地，在另一个实施例中，所述方法还包括：当封锁的条目数目达到指定的条目数目的情况下，对于后续各个采样周期，将后续各个采样周期内需要封锁的条目进行封锁，同时将已封锁的条目中的至少一个条目进行解封锁；其中，封锁的条目数目等于解封锁的条目数目；其中，所述需要封锁的条目为访问次数超过所述阈值的条目。可选地，在另一个实施例中，所述将后续各个采样周期内需要封锁的条目进行封锁，同时将已封锁的条目中的至少一个条目进行解封锁包括：在进行条目封锁时，按照访问次数从高到低的顺序选取条目进行封锁；在进行条目解封锁时，按照访问次数从低到高的顺序或者按照封锁时间从先到后的顺序进行解封锁。可选地，在本专利技术实施例中，所述条目为IP地址或统一资源定位符(URL)地址，所述阈值为每秒数据包(PPS)的阈值或每秒请求(RPS)的阈值。可选地，在另一个实施例中，所述方法还包括：以固定大小的存储空间存储提取的所述指定个条目。另一方面，提供一种条目提取装置，所述装置包括获取模块和处理模块；从第一个采样周期开始直到最后一个采样周期的前一个采样周期：所述获取模块，用于获取当前采样周期内对各个条目的访问次数；所述处理模块，用于根据所述当前采样周期内对各个条目的访问次数，确定所述当前采样周期内条目访问的平均值；所述处理模块，还用于移除所述当前采样周期内访问次数小于所述平均值的条目，并将访问次数不小于所述平均值的条目作为下一采样周期内的条目；所述处理模块，还用于当下一采样周期为最后一个采样周期时，按照访问次数从高到低的顺序提取最后一个采样周期中的指定个条目。可选地，在一个实施例中，所述处理模块还用于：确定提取的所述指定个条目中的各个条目的访问次数是否超过阈值；将提取的所述指定个条目中超过阈值的条目封锁指定时间。可选地，在另一个实施例中，所述处理模块还用于：针对当前采样周期，确定访问次数不小于所述平均值的条目中的各个条目的访问次数是否超过阈值；将访问次数超过阈值的条目进行封锁。可选地，在另一个实施例中，所述处理模块具体用于：当封锁的条目数目达到指定的条目数目的情况下，对于后续各个采样周期，将后续各个采样周期内需要封锁的条目进行封锁，同时将已封锁的条目中的至少一个条目进行解封锁；其中，封锁的条目数目等于解封锁的条目数目；其中，所述需要封锁的条目为访问次数超过所述阈值的条目。可选地，在另一个实施例中，所述处理模块具体用于：在进行条目封锁时，按照访问次数从高到低的顺序选取条目进行封锁；在进行条目解封锁时，按照访问次数从低到高的顺序或者按照封锁时间从先到后的顺序进行解封锁。其中，在本专利技术实施例中，所述条目为IP地址或统一资源定位符(URL)地址，所述阈值为每秒数据包(PPS)的阈值或每秒请求(RPS)的阈值。可选地，在另一个实施例中，所述装置还包括：存储模块，用于以固定大小的存储空间存储提取的所述指定个条目。另一方面，提供一种终端设备，所述终端设备包括存储器和处理器，所述存储器上存储有计算机程序，当所述处理器执行所述计算机程序时执行本专利技术实施例中的任一种条目提取方法。另一方面，提供一种非临时性存储介质，所述非临时性存储介质上存储有计算机程序，当所述计算机程序被处理器执行时执行本专利技术实施例中的任一种条目提取方法。本专利技术实施例提供的技术方案带来的有益效果是：通过对每个采样周期内各个条目的访问次数求平均、去除访问次数在平均值以下的条目，并将当前处理后得到的条目作为下一采样周期的条目，如此循环处理，可以保证最后一个采样周期内得到的条目是访问次数高的条目，且占用的存储空间较小。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的条目提取方法的流程图。图2是本专利技术实施例提供的条目提取装置的结构框图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地详细描述。图1是本专利技术实施例提供的条目提取方法的流程图。参照图1，从第一个采样周期开始直到最后一个采样周期的前一个采样周期，本专利技术实施例提供的条目提取方法可包括：11、获取当前采样周期内对各个条目的访问次数。其中，本专利技术实施例中的“条目”可以为各种不同形式的条目，例如，所述条目为IP地址或URL地址等等。本专利技术实施例对条目的具体形式不做具体限定。本专利技术实施例中，条目可以为服务端中的条目。对条目的访问一般是指客户端对服务端条目的访问。12、根据所述当前采样周期内对各个条目的访问次数，确定所述当前采样周期内条目访问的平均值。13、移除所述当前采样周期内访问次数小于所述平均值的条目，并将访问次数不小于所述平均值的条目作为下一采样周期内的条目。14、确定下一采样周期是否为最后一个采样周期。若下一采样周期不为最后一个采样周期，重复步骤a～d，直到下一采样周期为最后一个采样周期。在下一采样周期为最后一个采样周期时，执行步骤15。15、按照访问次数从高到低的顺序提取最后一个采样周期中的指定个条目。在本专利技术实施例中，以三个采样周期t1-t3为例，举例而言，条目提取的过程可以为：先获取第一个采样周期t1中各个条目的访问次数，并计算第一采样周期内条目访问的第一平均值v本文档来自技高网...

【技术保护点】
一种条目提取方法，其特征在于，所述方法包括：从第一个采样周期开始直到最后一个采样周期的前一个采样周期，执行以下步骤：a.获取当前采样周期内对各个条目的访问次数；b.根据所述当前采样周期内对各个条目的访问次数，确定所述当前采样周期内条目访问的平均值；c.移除所述当前采样周期内访问次数小于所述平均值的条目，并将访问次数不小于所述平均值的条目作为下一采样周期内的条目；d.确定下一采样周期是否为最后一个采样周期；若下一采样周期不为最后一个采样周期，重复步骤a～d，直到下一采样周期为最后一个采样周期；当下一采样周期为最后一个采样周期时，按照访问次数从高到低的顺序提取最后一个采样周期中的指定个条目。

【技术特征摘要】
1.一种条目提取方法，其特征在于，所述方法包括：从第一个采样周期开始直到最后一个采样周期的前一个采样周期，执行以下步骤：a.获取当前采样周期内对各个条目的访问次数；b.根据所述当前采样周期内对各个条目的访问次数，确定所述当前采样周期内条目访问的平均值；c.移除所述当前采样周期内访问次数小于所述平均值的条目，并将访问次数不小于所述平均值的条目作为下一采样周期内的条目；d.确定下一采样周期是否为最后一个采样周期；若下一采样周期不为最后一个采样周期，重复步骤a～d，直到下一采样周期为最后一个采样周期；当下一采样周期为最后一个采样周期时，按照访问次数从高到低的顺序提取最后一个采样周期中的指定个条目。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：确定提取的所述指定个条目中的各个条目的访问次数是否超过阈值；将提取的所述指定个条目中超过阈值的条目封锁指定时间。3.根据权利要求1所述的方法，其特征在于，在步骤c之后，所述方法还包括：针对当前采样周期，确定访问次数不小于所述平均值的条目中的各个条目的访问次数是否超过阈值；将访问次数超过阈值的条目进行封锁。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：当封锁的条目数目达到指定的条目数目的情况下，对于后续各个采样周期，将后续各个采样周期内需要封锁的条目进行封锁，同时将已封锁的条目中的至少一个条目进行解封锁；其中，封锁的条目数目等于解封锁的条目数目；其中，所述需要封锁的条目为访问次数超过所述阈值的条目；其中，在进行条目封锁时，按照访问次数从高到低的顺序选取条目进行封锁；在进行条目解封锁时，按照访问次数从低到高的顺序或者按照封锁时间从先到后的顺序进行解封锁。5.根据权利要求1-4任一所述的方法，其特征在于，所述方法还包括：以固定大小的存储空间存...

【专利技术属性】
技术研发人员：刘京洋，
申请(专利权)人：广州华多网络科技有限公司，
类型：发明
国别省市：广东,44