网页分类存储系统及方法技术方案

本发明专利技术公开了一种网页分类存储系统，涉及互联网技术领域，该系统包括：页面框架ID计算模块，适于抽取预先获取的网页的页面框架，计算页面框架ID；页面框架存储模块，适于将相同页面框架I?D的页面框架存储在以所述页面框架ID为名称的目录下。本发明专利技术还公开了一种网页分类存储方法。本发明专利技术的网页分类存储系统及方法可以将相同类别的网页存储在同一个目录下，由此解决了全网搜索的结果不会按网页类别存储的问题，由于将搜索结果按网页类别存储，降低了垂直搜索对页面框架模式识别时的干扰因素。

【技术实现步骤摘要】
本专利技术涉及互联网
，具体涉及一种网页分类存储系统及方法。
技术介绍
在搜索技术中，基本上分为两大类。一类是以整个互联网为对象，抓取全部网页(目前在一个站点内会限制抓取深度，且一般不处理js (Java script)，而且只是处理部分动态页面)，并对网页进行处理和分析的网页搜索，即全网搜索。另一类是只针对某类别的页面进行抓取和分析处理的垂直搜索，如图片搜索、视频搜索、博客搜索、论坛搜索、新闻搜索等。对于大部分垂直搜索来说，目前都是基于种子(也称作列表页)进行处理。垂直搜索的处理可分为两个部分其一是找种子；其二是从种子页面上发现具体产品页面，即不同类别(图片、视频、新闻等)的页面，然后对这些产品页面进行处理。现有的全网搜索，基本上不考虑垂直搜索的需求，无法区分网页类别，且对每一个 页面的处理原则基本上是一致的。因此全网搜索时抓取的网页都是统一存储，不会按网页类别存储如果类别不同页面放在一起进行模式识别，干扰因素太多，结果很难预料。若是垂直搜索想利用全网搜索的搜索结果，就必须将全网搜索的结果按网页类别分类，且按类别存储，以方便网页分类时的对网页页面框架的模式识别，如果把毫不相干的站点页面放在一起进行模式识别，干扰因素太多，结果很难预料。因此，对全网搜索的结果按网页类别分类存储是亟待解决的问题。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的网页分类存储系统及方法。依据本专利技术的一个方面，提供了一种网页分类存储系统，包括页面框架ID计算模块，适于抽取预先获取的网页的页面框架，计算页面框架ID ；页面框架存储模块，适于将相同页面框架ID的页面框架存储在以所述页面框架ID为名称的目录下。可选地，所述页面框架存储模块具体适于在当前子目录下查找以所述页面框架ID为名称的目录是否存在，若存在，则将页面框架存储在相应ID的目录下，若不存在，则创建以所述页面框架ID为名称的目录，再将页面框架存储在相应ID的目录下。可选地，所述系统还包括框架数量统计模块，适于统计所述页面框架ID为名称的目录下页面框架数量；网页内容存储模块，适于若达到阈值则计算页面框架模式，并按计算出的页面框架模式对该目录下的页面框架对应的网页进行数据内容下载，并将下载的数据内容存储在指定的目录下。可选地，所述网页内容存储模块进一步包括快速页面存储模块，适于将需要快速处理的下载页面存储在指定的快速处理目录下，所述需要快速处理的下载页面为网站首页及其直接下层页面中出现的新页面。可选地，网页内容存储模块进一步包括阈值调节模块，适于判断在预定时间内对应一 ID的页面框架数量是否累计达到所述阈值，若没有，则将该ID对应的阈值以一定的步长递减。可选地，所述页面框架ID计算模块进一步包括哈希计算模块，适于采用哈希函数计算所述页面框架，并以哈希值的后n bit作为页面框架ID。可选地，所述系统还包括域名目录创建模块，适于对于同一站点的不同域名按不同优先级建立优先级目录，以所述页面框架ID为名称的目录位于每个域名下对应优先级目录下。可选地，所述系统还包括网页获取模块，适于通过全网搜索获取网页，并以站点为单位获取网页，同一站点下不同域名的对应的网页存储在相同的根目录下。 根据本专利技术的另一方面，提供了一种网页分类存储方法，包括以下步骤抽取预先获取的网页的页面框架，计算页面框架ID ；将相同页面框架ID的页面框架存储在以所述页面框架ID为名称的目录下。可选地，所述将相同页面框架ID的页面框架存储在以所述页面框架ID为名称的目录下具体包括在当前子目录下查找以所述页面框架ID为名称的目录是否存在，若存在，则将页面框架存储在相应ID的目录下，若不存在，则创建以所述页面框架ID为名称的目录，再将页面框架存储在相应ID的目录下。可选地，页面框架存储在所述页面框架ID为名称的目录下之后还包括步骤统计所述页面框架ID为名称的目录下页面框架数量，若达到阈值则计算页面框架模式，并按计算出的页面框架模式对该目录下的页面框架对应的网页进行数据内容下载，并将下载的数据内容存储在指定的目录下；若未达到所述阈值，则继续统计该目录下页面框架数量。可选地，将所述需要快速处理的下载页面存储在指定的快速处理目录下，所述需要快速处理的下载页面为网站首页及其直接下层页面中出现的新页面。可选地，判断在预定时间内对应一 ID的页面框架数量是否累计达到所述阈值，若没有，则将该ID对应的阈值以一定的步长递减。可选地，采用哈希函数计算所述页面框架，并以哈希值的后n bit作为页面框架ID0可选地，在将相同页面框架ID的页面框架存储在以所述页面框架ID为名称的目录下之前还包括对于同一站点的不同域名按不同优先级建立优先级目录，以所述页面框架ID为名称的目录位于每个域名下对应优先级目录下。可选地，通过全网搜索抓取网页，并以站点为单位抓取网页，同一站点下不同域名的对应的网页存储在相同的根目录下。根据本专利技术的网页分类存储系统及方法可以将相同类别的网页存储在同一个目录下，由此解决了全网搜索的结果不会按网页类别存储的问题，由于将搜索结果按网页类别存储，降低了垂直搜索对页面框架模式识别时的干扰因素。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中图I示出了根据本专利技术一个实施例的网页分类存储方法流程图；图2示出了根据本专利技术一个实施例的网页分类存储系统结构示意图。具体实施例方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开·的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。本实施例的网页分类存储方法流程如图I所示，包括步骤S110，抽取预先获取的网页的页面框架，计算页面框架ID。预先获取的网页可以是全网搜索抓取的网页。抽取所述网页的页面框架的方式为根据网页源代码中的html语言标签抽取所述网页的页面框架，抽取时只保留html语言标签中框架类的标记，如frame、table等，同时保留id、name、class属性,去掉其余属性。还可以按标点识别出网页正文，去除正文以得到网页的页面框架。抽取页面框架后将页面内属性根据哈希算法计算页面框架的hash值，即为页面框架ID，例如抽取页面框架后利用MD5或FNV等哈希技术方法计算页面框架的hash值，即将框架类的标记,如frame、table及其id、name、class属性等按哈希算法进行计算，所得结果值即为页面框架ID。由于采用相同的哈希函数，相同的页面框架计算出的页面框架ID也相同。本实施例中，优选采用哈希函数计算页面框架，并以哈希值的后n bit作为页面框架ID。其中η的取值使得不同页面框架计算出的页面框架ID的后n bit哈希值本文档来自技高网...

【技术保护点】
一种网页分类存储系统，包括：页面框架ID计算模块，适于抽取预先获取的网页的页面框架，计算页面框架ID；页面框架存储模块，适于将相同页面框架ID的页面框架存储在以所述页面框架ID为名称的目录下。

【技术特征摘要】
1.一种网页分类存储系统，包括 页面框架ID计算模块，适于抽取预先获取的网页的页面框架，计算页面框架ID ； 页面框架存储模块，适于将相同页面框架ID的页面框架存储在以所述页面框架ID为名称的目录下。2.如权利要求I所述的网页分类存储系统，其特征在于，所述页面框架存储模块具体适于在当前子目录下查找以所述页面框架ID为名称的目录是否存在，若存在，则将页面框架存储在相应ID的目录下，若不存在，则创建以所述页面框架ID为名称的目录，再将页面框架存储在相应ID的目录下。3.如权利要求I或2所述的网页分类存储系统，其特征在于，所述系统还包括 框架数量统计模块，适于统计所述页面框架ID为名称的目录下页面框架数量； 式对该目录下的页面框架对应的网页进行数据内容下载，并将下载的数据内容存储在指定的目录下。4.如权利要求广3中任一项所述的网页分类存储系统，其特征在于，所述网页内容存储模块进一步包括快速页面存储模块，适于将需要快速处理的下载页面存储在指定的快速处理目录下，所述需要快速处理的下载页面为网站首页及其直接下层页面中出现的新页面。5.如权利要求广4中任一项所述的网页分类存储系统，其特征在于，网页内容存储模块进一步包括阈值调节模块，适于判断在预定时间内对应一 ID的页面框架数量是否累计达到所述阈值，若没有，则将该ID对应的阈值以一定的步长递减。6.如权利要求广5中任一项所述的网页分类存储系统，其特征在于，所述页面框架ID计算模块进一步包括哈希计算模块，适于采用哈希函数计算所述页面框架，并以哈希值的后n bit作为页面框架ID。7.如权利要求1飞中任一项所述的网页分类存储系统，其特征在于，所述系统还包括域名目录创建模块，适于对于同一站点的不同域名按不同优先级建立优先级目录，以所述页面框架ID为名称的目录位于每个域名下对应优先级目录下。8.如权利要求广8中任一项所述的网页分类存储系统，其特征在于，所述系统还包括网页获取模块，适于通过全网搜索获取网页，并以站点为单位获取网页，同一站点下不同域名的对应的网页存储在相同的根目录下。9.一种网页分...

【专利技术属性】
技术研发人员：卢宏林，
申请(专利权)人：北京奇虎科技有限公司，奇智软件北京有限公司，
类型：发明
国别省市：