网页分类系统及方法技术方案

本发明专利技术公开了一种网页分类系统，涉及搜索引擎技术领域，包括以下步骤：页面框架ID计算模块，适于抽取预先获取的网页的页面框架，并计算页面框架ID；模式累计模块，适于累计相同ID的页面框架数量达到阈值时，计算页面框架模式；网页类别识别模块，适于将所述页面框架模式与事先建立的产品知识库中已知类别的页面框架模式比对，以识别出网页所属的类别。本发明专利技术还公开了一种网页分类方法。根据本发明专利技术的网页分类系统及方法可以将全网搜索与垂直搜索结合在一起，由此解决了过去通用算法抽取粗略而定向方式抽取精细但人工工作量大且适应性差的问题，能够抽取更精确的数据内容，同时解决了全网搜索和垂直搜索资源共享问题。

【技术实现步骤摘要】
网页分类系统及方法
本专利技术涉及互联网
，具体涉及一种网页分类系统及方法。
技术介绍
在搜索技术中，基本上分为两大类。一类是以整个互联网为对象，抓取全部网页（目前在一个站点内会限制抓取深度，且一般不处理js（javascript），而且只是处理部分动态页面），并对网页进行处理和分析的网页搜索，即全网搜索。另一类是只针对某类页面进行抓取和分析处理的垂直搜索，如：图片搜索、视频搜索、博客搜索、论坛搜索、新闻搜索等。对于大部分垂直搜索来说，目前都是基于种子（也称作列表页）进行处理。垂直搜索的处理可分为两个部分：其一是找种子；其二是从种子页面上发现具体产品页面，即不同类别（图片、视频、新闻等）的页面，然后对这些产品页面进行处理。现有的全网搜索，基本上不考虑垂直搜索的需求。对每一个页面的处理原则基本上是一致的。就是分析这个页面后，获取其上全部的链接。全网搜索系统不需要区别这些链接是本网站的链接，还是指向其他网站的链接。所有新发现的链接都会回馈给系统进行新一轮的调度、下载和分析处理。在抽取页面上的内容时，全网搜索基于单独页面进行处理。如果使用通用算法，只能抽取粗略的内容，无法仔细区分不同的数据项。如果采用定向模板的方式进行抽取，虽然可以精确抽取各种数据内容，却存在人工工作量大，且无法适用网站改版的问题。而且，现有的全网搜索无法区分网页类别，只能为垂直搜索辅助发掘一些有用的信息。如果既有垂直搜索，由于网页搜索，两者的分析处理方式不同。系统之间互相独立，全网搜索下载、分析处理过的页面，垂直搜索还会独立的进行下载和分析处理，无法共享资源。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的网页分类系统及方法。依据本专利技术的一个方面，提供了一种网页分类系统，包括：页面框架ID计算模块，适于抽取预先获取的网页的页面框架，计算页面框架ID；模式累计模块，适于累计相同ID的页面框架数量达到阈值时，计算页面框架模式；网页类别识别模块，适于将所述页面框架模式与事先建立的产品知识库中已知类别的页面框架模式比对，以识别出网页所属的类别。可选地，页面框架ID计算模块进一步包括：页面框架抽取模块，适于根据网页源代码中的html语言标签抽取所述网页的页面框架。可选地，页面框架ID计算模块进一步包括：页面框架抽取模块，适于按标点识别出网页正文，去除正文以得到所述网页的页面框架。可选地，所述模式累计模块进一步包括：阈值调节模块，适于判断在预定时间内对应同一ID的页面框架数量是否累计达到所述阈值，若没有，则将该ID对应的阈值以一定的步长递减。可选地，所述模式累计模块进一步包括：待定列表页识别模块，适于判断是否有位于页面内固定位置块内且稳定存在一定时间的链接，若有，则设定该网页为待定列表页；列表页框架模式确定模块，适于每隔一段时间内调度一次所述待定列表页，如果所述链接不断更新为新链接，就将所述网页的页面框架模式设为列表页框架模式。可选地，所述产品知识库存储有已知类别页面框架模式及该模式下各网页特征的权重，所述网页类别识别模块进一步包括：特征匹配模块，适于将所述页面框架模式的各网页特征与知识库中已知类别的页面框架模式的各网页特征进行匹配；特征评分模块，适于对匹配上的网页特征按不同的类别为所述页面框架模式增加相应的权重；权重累计模块，适于按类别累计所述页面框架模式在该类别下所得的权重，将所述页面框架模式归为对应最高权重的类别。可选地，所述系统还包括：列表页处理模块，适于若识别出网页为列表页，则提取所述列表页的内容，进一步获取所述列表页中列出的信息对应的网页。可选地，所述系统还包括：网页获取模块，适于通过全网搜索获取网页，并以站点为单位获取网页，同一站点下不同域名的对应的网页存储在相同的根目录下。根据本专利技术的另一方面，提供了一种网页分类方法，包括以下步骤：抽取预先获取的网页的页面框架，并计算页面框架ID；累计相同ID的页面框架数量达到阈值时，计算页面框架模式；将所述页面框架模式与事先建立的产品知识库中已知类别的页面框架模式比对，以识别出网页所属的类别。可选地，抽取所述网页的页面框架的方式为：根据网页源代码中的html语言标签抽取所述网页的页面框架。可选地，抽取所述网页的页面框架的方式为：按标点识别出网页正文，去除正文以得到所述网页的页面框架。可选地，判断在预定时间内对应同一ID的页面框架数量是否累计达到所述阈值，若没有，则将该ID对应的阈值以一定的步长递减。可选地，所述列表页框架模式的计算方式为：判断是否有位于页面内固定位置块内且稳定存在一定时间的链接，若有，则设定该网页为待定列表页；每隔一段时间内调度一次所述待定列表页，如果所述链接不断更新为新链接，就将所述网页的页面框架模式设为列表页框架模式。可选地，所述产品知识库存储有已知类别页面框架模式及该模式下各网页特征的权重，将所述页面框架模式与事先建立的产品知识库中已知类别的页面框架模式比对的方式为：将所述页面框架模式的各网页特征与知识库中已知类别的页面框架模式的各网页特征进行匹配；对匹配上的网页特征按不同的类别为所述页面框架模式增加相应的权重，按类别累计所述页面框架模式在该类别下所得的权重，将所述页面框架模式归为对应最高权重的类别。可选地，若识别出网页为列表页，则提取所述列表页的内容，进一步获取所述列表页中列出的信息对应的网页。可选地，通过全网搜索获取网页，并以站点为单位获取网页，同一站点下不同域名的对应的网页存储在相同的根目录下。根据本专利技术的网页分类系统及方法可以将全网搜索与垂直搜索结合在一起，对全网搜索的结果按网页类别进行分类，垂直搜索系统根据不同的类别采用不同的方式进行抽取，由此解决了过去通用算法抽取粗略而定向方式抽取精细但人工工作量大且适应性差的问题，能够抽取更精确的数据内容，同时解决了全网搜索和垂直搜索资源共享问题。不仅仅是提高了资源的利用效率，关键是能充分发挥网页搜索覆盖度全面的优点，明显提升垂直搜索的覆盖度。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了根据本专利技术一个实施例的一种网页分类方法流程图；图2示出了图1中步骤S130中识别网页类别的具体流程图；图3示出了根据本专利技术一个实施例的一种网页分类系统结构示意图；图4示出了图3中网页类别识别模块的具体结构示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。本实施例的网页分类方法流程如图1所示，包括：步骤S110，抽取预先获取的网页的页面框架，并计算页面框架ID。预先获取的网页可以是全网搜索抓取的网本文档来自技高网...

【技术保护点】
一种网页分类系统，包括：页面框架ID计算模块，适于抽取预先获取的网页的页面框架，计算页面框架ID；模式累计模块，适于累计相同I？D的页面框架数量达到阈值时，计算页面框架模式；网页类别识别模块，适于将所述页面框架模式与事先建立的产品知识库中已知类别的页面框架模式比对，以识别出网页所属的类别。

【技术特征摘要】
1.一种基于页面框架的网页分类系统，包括：页面框架ID计算模块，适于抽取已去除预先获取的网页正文的页面框架，计算页面框架ID；模式累计模块，适于累计相同ID的页面框架数量达到阈值时，计算页面框架模式；网页类别识别模块，适于将所述页面框架模式与事先建立的产品知识库中已知类别的页面框架模式比对，以识别出网页所属的类别。2.如权利要求1所述的网页分类系统，其特征在于，页面框架ID计算模块进一步包括：页面框架抽取模块，适于根据网页源代码中的html语言标签抽取所述网页的页面框架，相同的页面框架，采用相同的计算方法计算页面框架ID。3.如权利要求1所述的网页分类系统，其特征在于，页面框架ID计算模块进一步包括：页面框架抽取模块，适于按标点识别出网页正文，去除正文以得到所述网页的页面框架，相同的页面框架，采用相同的计算方法计算页面框架ID。4.如权利要求2所述的网页分类系统，其特征在于，页面框架ID计算模块进一步包括：页面框架抽取模块，适于按标点识别出网页正文，去除正文以得到所述网页的页面框架。5.如权利要求1～4中任一项所述的网页分类系统，其特征在于，所述模式累计模块进一步包括：阈值调节模块，适于判断在预定时间内对应同一ID的页面框架数量是否累计达到所述阈值，若没有，则将该ID对应的阈值以一定的步长递减；页面框架ID计算模块进一步包括：相同的页面框架，采用相同的计算方法计算页面框架ID。6.如权利要求1～4中任一项所述的网页分类系统，其特征在于，所述模式累计模块进一步包括：待定列表页识别模块，适于判断是否有位于页面内固定位置块内且稳定存在一定时间的链接，若有，则设定该网页为待定列表页；列表页框架模式确定模块，适于每隔一段时间内调度一次所述待定列表页，如果所述链接不断更新为新链接，就将所述网页的页面框架模式设为列表页框架模式；页面框架ID计算模块进一步包括：相同的页面框架，采用相同的计算方法计算页面框架ID。7.如权利要求5中所述的网页分类系统，其特征在于，所述模式累计模块进一步包括：待定列表页识别模块，适于判断是否有位于页面内固定位置块内且稳定存在一定时间的链接，若有，则设定该网页为待定列表页；列表页框架模式确定模块，适于每隔一段时间内调度一次所述待定列表页，如果所述链接不断更新为新链接，就将所述网页的页面框架模式设为列表页框架模式。8.如权利要求6中所述的网页分类系统，其特征在于，所述模式累计模块进一步包括：待定列表页识别模块，适于判断是否有位于页面内固定位置块内且稳定存在一定时间的链接，若有，则设定该网页为待定列表页；列表页框架模式确定模块，适于每隔一段时间内调度一次所述待定列表页，如果所述链接不断更新为新链接，就将所述网页的页面框架模式设为列表页框架模式。9.如权利要求1～4中任一项所述的网页分类系统，其特征在于，所述产品知识库存储有已知类别页面框架模式及该模式下各网页特征的权重，所述网页类别识别模块进一步包括：特征匹配模块，适于将所述页面框架模式的各网页特征与知识库中已知类别的页面框架模式的各网页特征进行匹配；特征评分模块，适于对匹配上的网页特征按不同的类别为所述页面框架模式增加相应的权重；权重累计模块，适于按类别累计所述页面框架模式在该类别下所得的权重，将所述页面框架模式归为对应最高权重的类别；页面框架ID计算模块进一步包括：相同的页面框架，采用相同的计算方法计算页面框架ID。10.如权利要求5中所述的网页分类系统，其特征在于，所述产品知识库存储有已知类别页面框架模式及该模式下各网页特征的权重，所述网页类别识别模块进一步包括：特征匹配模块，适于将所述页面框架模式的各网页特征与知识库中已知类别的页面框架模式的各网页特征进行匹配；特征评分模块，适于对匹配上的网页特征按不同的类别为所述页面框架模式增加相应的权重；权重累计模块，适于按类别累计所述页面框架模式在该类别下所得的权重，将所述页面框架模式归为对应最高权重的类别。11.如权利要求6中所述的网页分类系统，其特征在于，所述产品知识库存储有已知类别页面框架模式及该模式下各网页特征的权重，所述网页类别识别模块进一步包括：特征匹配模块，适于将所述页面框架模式的各网页特征与知识库中已知类别的页面框架模式的各网页特征进行匹配；特征评分模块，适于对匹配上的网页特征按不同的类别为所述页面框架模式增加相应的权重；权重累计模块，适于按类别累计所述页面框架模式在该类别下所得的权重，将所述页面框架模式归为对应最高权重的类别。12.如权利要求7中所述的网页分类系统，其特征在于，所述产品知识库存储有已知类别页面框架模式及该模式下各网页特征的权重，所述网页类别识别模块进一步包括：特征匹配模块，适于将所述页面框架模式的各网页特征与知识库中已知类别的页面框架模式的各网页特征进行匹配；特征评分模块，适于对匹配上的网页特征按不同的类别为所述页面框架模式增加相应的权重；权重累计模块，适于按类别累计所述页面框架模式在该类别下所得的权重，将所述页面框架模式归为对应最高权重的类别。13.如权利要求8中所述的网页分类系统，其特征在于，所述产品知识库存储有已知类别页面框架模式及该模式下各网页特征的权重，所述网页类别识别模块进一步包括：特征匹配模块，适于将所述页面框架模式的各网页特征与知识库中已知类别的页面框架模式的各网页特征进行匹配；特征评分模块，适于对匹配上的网页特征按不同的类别为所述页面框架模式增加相应的权重；权重累计模块，适于按类别累计所述页面框架模式在该类别下所得的权重，将所述页面框架模式归为对应最高权重的类别。14.如权利要求1～4中任一项所述的网页分类系统，其特征在于，所述系统还包括：列表页处理模块，适于若识别出网页为列表页，则提取所述列表页的内容，进一步获取所述列表页中列出的信息对应的网页；页面框架ID计算模块进一步包括：相同的页面框架，采用相同的计算方法计算页面框架ID。15.如权利要求5所述的网页分类系统，其特征在于，所述系统还包括：列表页处理模块，适于若识别出网页为列表页，则提取所述列表页的内容，进一步获取所述列表页中列出的信息对应的网页。16.如权利要求6所述的网页分类系统，其特征在于，所述系统还包括：列表页处理模块，适于若识别出网页为列表页，则提取所述列表页的内容，进一步获取所述列表页中列出的信息对应的网页。17.如权利要求7所述的网页分类系统，其特征在于，所述系统还包括：列表页处理模块，适于若识别出网页为列表页，则提取所述列表页的内容，进一步获取所述列表页中列出的信息对应的网页。18.如权利要求8所述的网页分类系统，其特征在于，所述系统还包括：列表页处理模块，适于若识别出网页为列表页，则提取所述列表页的内容，进一步获取所述列表页中列出的信息对应的网页。19.如权利要求9所述的网页分类系统，其特征在于，所述系统还包括：列表页处理模块，适于若识别出网页为列表页，则提取所述列表页的内容，进一步获取所述列表页中列出的信息对应的网页。20.如权利要求10所述的网页分类系统，其特征在于，所述系统还包括：列表页处理模块，适于若识别出网页为列表页，则提取所述列表页的内容，进一步获取所述列表页中列出的信息对应的网页。21.如权利要求11所述的网页分类系统，其特征在于，所述系统还包括：列表页处理模块，适于若识别出网页为列表页，则提取所述列表页的内容，进一步获取所述列表页中列出的信息对应的网页。22.如权利要求12所述的网页分类系统，其特征在于，所述系统还包括：列表页处理模块，适于若识别出网页为列表页，则提取所述列表页的内容，进一步获取所述列表页中列出的信息对应的网页。23.如权利要求13所述的网页分类系统，其特征在于，所述系统还包括：列表页处理模块，适于若识别出网页为列表页，则提取所述列表页的内容，进一步获取所述列表页中列出的信息对应的网页。24.如权利要求1～4中任一项所述的网页分类系统，其特征在于，所述系统还包括：网页获取模块，适于通过全网搜索获取网页，并以站点为单位获取网页，同一站点下不同域名的对应的网页存储在相同的根目录下；页面框架ID计算模块进一步包括：相同的页面框架，采用相同的计算方法计算页面框架ID。25.如权利要求5所述的网页分类系统，其特征在于，所述系统还包括：网页获取模块，适于通过全网搜索获取网页，并以站点为单位获取网页，同一站点下不同域名的对应的网页存储在相同的根目录下。26.如权利要求6所述的网页分类系统，其特征在于，所述系统还包括：网页获取模块，适于通过全网搜索获取网页，并以站点为单位获取网页，同一站点下不同域名的对应的网页存储在相同的根目录下。27.如权利要求7所述的网页分类系统，其特征在于，所述系统还包括：网页获取模块，适于通过全网搜索获取网页，并以站点为单位获取网页，同一站点下不同域名的对应的网页存储在相同的根目录下。28.如权利要求8所述的网页分类系统，其特征在于，所述系统还包括：网页获取模块，适于通过全网搜索获取网页，并以站点为单位获取网页，同一站点下不同域名的对应的网页存储在相同的根目录下。29.如权利要求9所述的网页分类系统，其特征在于，所述系统还包括：网页获取模块，适于通过全网搜索获取网页，并以站点为单位获取网页，同一站点下不同域名的对应的网页存储在相同的根目录下。30.如权利要求10所述的网页分类系统，其特征在于，所述系统还包括：网页获取模块，适于通过全网搜索获取网页，并以站点为单位获取网页，同一站点下不同域名的对应的网页存储在相同的根目录下。31.如权利要求11所述的网页分类系统，其特征在于，所述系统还包括：网页获取模块，适于通过全网搜索获取网页，并以站点为单位获取网页，同一站点下不同域名的对应的网页存储在相同的根目录下。32.如权利要求12所述的网页分类系统，其特征在于，所述系统还包括：网页获取模块，适于通过全网搜索获取网页，并以站点为单位获取网页，同一站点下不同域名的对应的网页存储在相同的根目录下。33.如权利要求13所述的网页分类系统，其特征在于，所述系统还包括：网页获取模块，适于通过全网搜索获取网页，并以站点为单位获取网页，同一站点下不同域名的对应的网页存储在相同的根目录下。34.如权利要求14所述的网页分类系统，其特征在于，所述系统还包括：网页获取模块，适于通过全网搜索获取网页，并以站点为单位获取网页，同一站点下不同域名的对应的网页存储在相同的根目录下。35.如权利要求15所述的网页分类系统，其特征在于，所述系统还包括：网页获取模块，适于通过全网搜索获取网页，并以站点为单位获取网页，同一站点下不同域名的对应的网页存储在相同的根目录下。36.如权利要求16所述的网页分类系统，其特征在于，所述系统还包括：网页获取模块，适于通过全网搜索获取网页，并以站点为单位获取网页，同一站点下不同域名的对应的网页存储在相同的根目录下。37.如权利要求17所述的网页分类系统，其特征在于，所述系统还包括：网页获取模块，适于通过全网搜索获取网页，并以站点为单位获取网页，同一站点下不同域名的对应的网页存储在相同的根目录下。38.如权利要求18所述的网页分类系统，其特征在于，所述系统还包括：网页获取模块，适于通过全网搜索获取网页，并以站点为单位获取网页，同一站点下不同域名的对应的网页存储在相同的根目录下。39.如权利要求19所述的网页分类系统，其特征在于，所述系统还包括：网页获取模块，适于通过全网搜索获取网页，并以站点为单位获取网页，同一站点下不同域名的对应的网页存储在相同的根目录下。40.如权利要求20所述的网页分类系统，其特征在于，所述系统还包括：网页获取模块，适于通过全网搜索获取网页，...

【专利技术属性】
技术研发人员：卢宏林，
申请(专利权)人：北京奇虎科技有限公司，奇智软件北京有限公司，
类型：发明
国别省市：