一种对网页进行版式分类的方法和装置制造方法及图纸

本发明专利技术公开了一种对网页进行版式分类的方法和装置：当需要对任一Web网页进行分类时，进行以下处理：获取所述Web网页中能够体现页面版式特征的信息；根据获取到的信息确定所述Web网页分别属于预先设定的N个不同版式类别的概率，N为大于1的正整数；将取值最大的概率对应的版式类别作为所述Web网页所属的版式类别。应用本发明专利技术所述方案，能够提高分类结果的准确性。

【技术实现步骤摘要】
一种对网页进行版式分类的方法和装置
本专利技术涉及互联网技术，特别涉及一种对网页进行版式分类的方法和装置。
技术介绍
目前，针对Web网页，主要存在两种分类方式，一种是内容分类，另一种是版式分类。其中，内容分类是以页面正文内容的不同作为分类角度，可分为新闻页和问答页等；版式分类是以页面主体结构框架的不同作为分类角度，可分为博客页和论坛页等。对于内容分类，目前的研究已经比较成熟，但对于版式分类的研究则稍显不足。在实际应用中，版式分类的结果可用于建立网页模型，并可为页面信息抽取提供参考信息，还可用于搜索引擎结果的类别区分等，具有重要意义。现有技术中，主要通过名单加典型的统一资源定位符(URL，UniformResourceLocator)特征的方式来实现版式分类，具体实现包括：针对任一Web网页X，首先利用名单来对其URL进行匹配，所述名单中可包括一系列不同的域名以及分别对应的版式类别等，如名单中的一个域名为hi.baidu.com，对应的版式类别为博客页，那么，如果Web网页X的URL中包括“hi.baidu.com”，则可确定出Web网页X所属的版式类别为博客页；如果利用名单无法确定出Web网页X所属的版式类别，则可进一步利用一些典型的URL特征来进行确定，如Web网页X的URL中包括“bbs”，则可确定出Web网页X所属的版式类别为论坛页。但是，上述方式在实际应用中会存在一定的问题：由于名单中能够覆盖的域名非常有限，而且很多Web网页的URL中不会存在如“bbs”等典型的URL特征，因此将会导致很多的Web网页无法被正确分类。
技术实现思路
有鉴于此，本专利技术提供了一种对网页进行版式分类的方法和装置，能够提高分类结果的准确性。为达到上述目的，本专利技术的技术方案是这样实现的：一种对网页进行版式分类的方法，当需要对任一Web网页进行分类时，进行以下处理：获取所述Web网页中能够体现页面版式特征的信息；根据获取到的信息确定所述Web网页分别属于预先设定的N个不同版式类别的概率，N为大于1的正整数；将取值最大的概率对应的版式类别作为所述Web网页所属的版式类别。一种对网页进行版式分类的装置，包括：第一处理模块，用于当需要对任一Web网页进行分类时，进行以下处理：获取所述Web网页中能够体现页面版式特征的信息，并发送给第二处理模块；所述第二处理模块，用于根据获取到的信息确定所述Web网页分别属于预先设定的N个不同版式类别的概率，N为大于1的正整数；将取值最大的概率对应的版式类别作为所述Web网页所属的版式类别。可见，采用本专利技术所述方案，对于任一Web网页，可根据获取到的体现该Web网页的页面版式特征的信息确定该Web网页分别属于不同的版式类别的概率，并将取值最大的概率对应的版式类别作为该Web网页所属的版式类别。相比于现有技术，本专利技术所述方案无需依赖于名单和典型的URL特征，对任意的Web网页均适用，从而可较好地提高分类结果的准确性。而且，本专利技术所述方案实现起来简单方便，便于普及和推广。附图说明图1为本专利技术对网页进行版式分类的方法实施例的流程图。图2为本专利技术对网页进行版式分类的过程示意图。图3为本专利技术所述两级版式分类方式示意图。图4为本专利技术对网页进行版式分类的装置实施例的组成结构示意图。具体实施方式针对现有技术中存在的问题，本专利技术中提出一种改进后的对网页进行版式分类的方案。为使本专利技术的技术方案更加清楚、明白，以下参照附图并举实施例，对本专利技术所述方案作进一步地详细说明。图1为本专利技术对网页进行版式分类的方法实施例的流程图。当需要对任一Web网页进行分类时，分别按照图1所示流程进行处理。步骤11：获取Web网页X中能够体现页面版式特征的信息。为便于表述，用Web网页X来代表任一Web网页。本步骤中，可首先建立Web网页X的文本对象模型(DOM，DocumentObjectModel)树；之后，根据所建立的DOM树提取出Web网页X中的内容源信息以及结构特征信息。其中，内容源信息可包括：标签和短文本；结构特征信息可包括：URL、二级导航和标题。通常来说，页面版式特征不会体现在长文本，如正文和句子中，因此，可只提取Web网页X中的短文本和标签等，将其作为内容源信息，并提取Web网页X的URL、Web网页X中的二级导航以及标题等作为结构特征信息，标题即指Web网页X的网页标题，短文本是指网页超文本标记语言(HTML，HypertextMarkupLanguage)源文件中不包含标点且文本长度有限的字符串，一般用于描述网页的若干提示信息。如何建立DOM树以及如何提取内容源信息和结构特征信息可以参考现有技术，在此不赘述。步骤12：根据获取到的信息确定Web网页X分别属于预先设定的N个不同版式类别的概率，N为大于1的正整数；将取值最大的概率对应的版式类别作为Web网页X所属的版式类别。本步骤中，首先，可根据提取出的内容源信息生成一个文本向量，具体生成方式可为：对提取出的内容源信息进行分词；生成一个M维的文本向量，M的取值与预先生成的文本词典中包括的特征词数相同，文本向量中的每个分量分别对应于文本词典中的一个特征词，文本词典中记录有能够体现每个版式类别的页面版式特征的特征词；针对每个分词结果，分别确定其是否与文本词典中的一个特征词相同，如果是，则可将文本向量中与该特征词对应的分量设置为1，否则可为0。文本词典通常为人工编辑生成的。比如，假设Web网页X为论坛页，对从Web网页X中提取出的内容源信息进行分词处理后，得到以下分词结果：发帖、回复、版主、楼主，并假设这些分词结果均出现在了文本词典中，那么，则可将这些分词结果对应的分量设置为1。之后，可根据所生成的文本向量，利用预先生成的逻辑回归模型，分别计算出Web网页X对应于每个版式类别的倾向度，共得到N个计算结果。之后，可根据提取出的结构特征信息以及计算出的N个倾向度，利用预先生成的朴素贝叶斯模型，分别计算出Web网页X属于每个版式类别的概率，共得到N个计算结果。逻辑回归模型为一种线性分类模型，具有速度快、效果好等特点，本专利技术中利用其来确定Web网页X对应于不同版式类别的倾向度；朴素贝叶斯模型为一种基于特征间独立假设的预测模型，本专利技术中利用其来确定最终的页面版式类别概率。本专利技术实施例中，逻辑回归模型和朴素贝叶斯模型均为离线训练完成的，如何训练为现有技术，同样，如何计算倾向度和概率也为现有技术。另外，如步骤12中所示，在分别计算出Web网页X属于每个版式类别的概率之后，可将取值最大的概率对应的版式类别作为Web网页X所属的版式类别。或者，为进一步提高分类结果的准确性，也可在分别计算出Web网页X属于每个版式类别的概率之后，先确定取值最大的概率是否大于预定阈值，如果是，则将取值最大的概率对应的版式类别作为Web网页X所属的版式类别；否则，按照名单加典型的URL特征的现有方式确定Web网页X所属的版式类别。综上，图2为本专利技术对网页进行版式分类的过程示意图。通过图2所示过程，可实现对于网页的一级版式分类，在此基础上，还可进一步进行二级版式分类。相应地，在确定出Web网页X所属的版式类别后，还可进一步确定出Web网页X所属的子类别；Web网页X所属的版式类别进一步划分为Z个子类别，Z为大于本文档来自技高网...

【技术保护点】
一种对网页进行版式分类的方法，其特征在于，当需要对任一Web网页进行分类时，进行以下处理：获取所述Web网页中能够体现页面版式特征的信息；根据获取到的信息确定所述Web网页分别属于预先设定的N个不同版式类别的概率，N为大于1的正整数；将取值最大的概率对应的版式类别作为所述Web网页所属的版式类别。

【技术特征摘要】
1.一种对网页进行版式分类的方法，其特征在于，当需要对任一Web网页进行分类时，进行以下处理：获取所述Web网页中能够体现页面版式特征的信息；根据获取到的信息确定所述Web网页分别属于预先设定的N个不同版式类别的概率，N为大于1的正整数；将取值最大的概率对应的版式类别作为所述Web网页所属的版式类别；所述获取所述Web网页中能够体现页面版式特征的信息包括：建立所述Web网页的文本对象模型DOM树；根据所述DOM树提取出所述Web网页中的内容源信息以及结构特征信息；所述根据获取到的信息确定所述Web网页分别属于预先设定的N个不同版式类别的概率包括：根据所述内容源信息生成文本向量；根据所述文本向量，利用预先生成的逻辑回归模型，分别计算出所述Web网页对应于每个版式类别的倾向度；根据所述结构特征信息以及所述倾向度，利用预先生成的朴素贝叶斯模型，分别计算出所述Web网页属于每个版式类别的概率。2.根据权利要求1所述的方法，其特征在于，所述内容源信息包括：标签和短文本；所述结构特征信息包括：统一资源定位符URL、二级导航和标题。3.根据权利要求1所述的方法，其特征在于，所述根据所述内容源信息生成文本向量包括：对所述内容源信息进行分词；生成M维的文本向量，M的取值与预先生成的文本词典中包括的特征词数相同，所述文本向量中的每个分量分别对应于所述文本词典中的一个特征词，所述文本词典中记录有能够体现每个版式类别的页面版式特征的特征词；针对每个分词结果，分别确定其是否与所述文本词典中的一个特征词相同，如果是，则将所述文本向量中与该特征词对应的分量设置为1，否则为0。4.根据权利要求1所述的方法，其特征在于，所述将取值最大的概率对应的版式类别作为所述Web网页所属的版式类别之前，进一步包括：确定取值最大的概率是否大于预定阈值；如果是，则将取值最大的概率对应的版式类别作为所述Web网页所属的版式类别；否则，按照名单加典型的URL特征的方式确定所述Web网页所属的版式类别。5.根据权利要求1～4中任一项所述的方法，其特征在于，所述确定出所述Web网页所属的版式类别之后，进一步包括：基于适用于所述Web网页所属的版式类别的至少一个判别特征，确定所述Web网页所属的子类别；其中，所述判别特征包括：文字链接比、URL特征或特定块；所述Web网页所属的版式类别包括Z个子类别，Z为大于1的正整数。6.根据权利要求5所述的方法，其特征在于，所述版式类别包括：博客页、小说页或论坛页；其中，所述博客页的子类别包括：博客内容页或博客列表页；所述小说页的子类别包括：小说列表页、小说内容页或小说介绍页；所述论坛页的子类别包括：论坛帖子页或论坛列表页。7.一种对网页进行版式分类的装置，其特征在...

【专利技术属性】
技术研发人员：蔡兵，黄钰，徐羽，张凯，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：