网页类别知识库的建立系统及方法技术方案

本发明专利技术公开了一种网页类别知识库的建立系统，涉及互联网技术领域，该系统包括：样本页面框架ID计算模块，适于抽取样本网页的页面框架，计算样本网页的页面框架ID；模式累计模块，适于累计相同ID的页面框架数量达到阈值时，计算样本网页的页面框架模式；知识库建立模块，适于建立样本网页的类别和所述页面框架模式的映射关系以生成网页类别知识库。本发明专利技术还公开了一种网页类别知识库的建立方法。根据本发明专利技术的网页类别知识库的建立系统及方法可以建立识别网页类别的知识库以快速识别网页类别，由此解决了全网搜索无法区分网页类别的问题，取得了快速识别网页类别的有益效果。

【技术实现步骤摘要】

本专利技术涉及互联网
，具体涉及一种。
技术介绍
在搜索技术中，基本上分为两大类。一类是以整个互联网为对象，抓取全部网页(目前在一个站点内会限制抓取深度，且一般不处理js (Java script)，而且只是处理部分动态页面)，并对网页进行处理和分析的网页搜索，即全网搜索。另一类是只针对某类页面进行抓取和分析处理的垂直搜索，如图片搜索、视频搜索、博客搜索、论坛搜索、新闻搜索等。对于大部分垂直搜索来说，目前都是基于种子(也称作列表页)进行处理。垂直搜索的 处理可分为两个部分其一是找种子；其二是从种子页面上发现具体产品页面，即不同类另IJ (图片、视频、新闻等)的页面，然后对这些产品页面进行处理。现有的全网搜索，基本上不考虑垂直搜索的需求，无法分类不同的产品，即无法区分网页类别，只能为垂直搜索辅助发掘一些有用的信息。如果既有垂直搜索，由于网页搜索，两者的分析处理方式不同。系统之间互相独立，全网搜索下载、分析处理过的页面，垂直搜索还会独立的进行下载和分析处理，无法共享资源，两者不能有机的整合使垂直搜索共享全网搜索的资源。因此，建立能够自动识别网页类别的知识库是亟待解决的问题。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的。依据本专利技术的一个方面，提供了网页类别知识库的建立系统，包括样本页面框架ID计算模块，适于抽取样本网页的页面框架，计算样本网页的页面框架ID ；模式累计模块，适于累计相同ID的页面框架数量达到阈值时，计算样本网页的页面框架模式；知识库建立模块，适于建立样本网页的类别和所述页面框架模式的映射关系以生成网页类别知识库。可选地，所述知识库建立模块进一步包括权重设定模块，适于按照不同样本网页的类别，为该类别的页面框架模式中的各个网页特征赋予预先设定权重；映射表建立模块，适于建立样本网页的类别与该类别的各个网页特征及权重的关系映射表，以生成网页类别知识库。可选地，页面框架ID计算模块进一步包括页面框架抽取模块，适于根据样本网页源代码中的html语言标签抽取所述样本网页的页面框架。可选地，页面框架ID计算模块进一步包括页面框架抽取模块，适于按标点识别出样本网页的正文，去除正文以得到所述样本网页的页面框架。可选地，所述模式累计模块进一步包括待定列表页识别模块，适于判断是否有位于页面内固定位置块内且稳定存在一定时间的链接，若有，则设定所述样本网页为待定列表页；列表页框架模式确定模块，适于每隔一段时间内调度一次所述待定列表页，如果所述链接不断更新为新链接，就将所述样本网页的页面框架模式设为列表页框架模式。根据本专利技术的另一方面，提供了网页类别知识库的建立方法，包括以下步骤抽取样本网页的页面框架，计算样本网页的页面框架ID ； 累计相同ID的页面框架数量达到阈值时，计算样本网页的页面框架模式；建立样本网页的类别和所述页面框架模式的映射关系，以生成网页类别知识库。可选地，所述建立样本网页的类别和所述页面框架模式的映射关系以生成网页类别知识库具体包括按照不同样本网页的类别，为该类别的页面框架模式中的各个网页特征赋予预先设定权重；建立样本网页的类别与该类别的各个网页特征及权重的关系映射表，以生成网页类别知识库。可选地，抽取所述样本网页的页面框架的方式为根据样本网页源代码中的html语言标签抽取所述样本网页的页面框架。可选地，抽取所述样本网页的页面框架的方式为按标点识别出样本网页的正文，去除正文以得到所述样本网页的页面框架。可选地，列表页框架模式计算的方式为判断是否有位于页面内固定位置块内且稳定存在一定时间的链接，若有，则设定所述样本网页为待定列表页；每隔一段时间内调度一次所述待定列表页，如果所述链接不断更新为新链接，就将所述样本网页的页面框架模式设为列表页框架模式。根据本专利技术的可以建立识别网页类别的知识库以快速识别网页类别，由此解决了全网搜索无法区分网页类别的问题，取得了快速识别网页类别的有益效果。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中图I示出了根据本专利技术一个实施例的网页类别知识库的建立方法流程图；图2示出了图I中步骤S130的具体流程图；图3示出了根据本专利技术一个实施例的网页类别知识库的建立系统结构示意图；图4示出了图3中知识库建立模块具体结构示意图。具体实施例方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。本实施例的网页类别知识库的建立方法流程如图I所示，包括步骤S110，抽取样本网页的页面框架，并计算样本网页的页面框架ID。样本网页是预先选取的已知其网页类别的网页。抽取样本网页的页面框架的方式为根据网页源代码中的html语言标签抽取样本网页的页面框架，抽取时只保留html语言标签中框架类的标记，如frame> table等，同时保留id、name、class属性,去掉其余属性。还可以按标点识别出网页正文，去除正文以得到样本网页的页面框架。抽取页面框架后将页面内属性根 据哈希算法计算页面框架的hash值，即为页面框架ID，例如抽取页面框架后利用MD5或FNV等哈希技术方法计算页面框架的hash值，即将框架类的标记。如frame、table及其id、name、class属性等按哈希算法进行计算，所得结果值即为样本网页的页面框架ID。由于采用相同的哈希函数，相同的页面框架计算出的页面框架ID也相同。步骤S 120，累计相同ID的页面框架数量达到阈值时，计算样本网页的页面框架模式。计算时分标题、时间、正文等分别计算，计算方法可以采用机器自动学习机制，如采用支持向量机(support vector machine, SVM)计算页面框架模式。学习时将样本网页转换成基于Html语言的源代码，并抽取html语言标签关键标记，得到页面框架，这一步在步骤SllO中已经实现。将页面框架输入SVM进行学习，即对页面框架进行html语言标签关键标记的匹配，若干相同ID的页面框架中的html语言标签关键标记能够完全匹配，因此，对于相同ID的页面框架学习到上述阈值的数量后，SVM便输出相应页面框架的页面框架模式。在学习之前对于页面框架还需要做如下操作将标题与title或anchor (锚点)里的可变内容匹配；时间要按照时间的格式计算；正文要有一定的可变比率和长度要求，这样可以剔除广告等垃圾内容。为了防止某些样本网页长时间得不到处理，判断在预定时间内对应同一 I D的样本网页的页面框架数量是否累计达到该阈值，若没有，则将该I D对应的阈值以一定的步长递减。其中该阈值优选为23。步骤S130，建立样本本文档来自技高网...

【技术保护点】
一种网页类别知识库的建立系统，包括：样本页面框架ID计算模块，适于抽取样本网页的页面框架，计算样本网页的页面框架ID；模式累计模块，适于累计相同ID的页面框架数量达到阈值时，计算样本网页的页面框架模式；知识库建立模块，适于建立样本网页的类别和所述页面框架模式的映射关系以生成网页类别知识库。

【技术特征摘要】

【专利技术属性】
技术研发人员：卢宏林，
申请(专利权)人：北京奇虎科技有限公司，奇智软件北京有限公司，
类型：发明
国别省市：