【技术实现步骤摘要】
一种对网页进行版式分类的方法和装置
本专利技术涉及互联网技术,特别涉及一种对网页进行版式分类的方法和装置。
技术介绍
目前,针对Web网页,主要存在两种分类方式,一种是内容分类,另一种是版式分类。其中,内容分类是以页面正文内容的不同作为分类角度,可分为新闻页和问答页等;版式分类是以页面主体结构框架的不同作为分类角度,可分为博客页和论坛页等。对于内容分类,目前的研究已经比较成熟,但对于版式分类的研究则稍显不足。在实际应用中,版式分类的结果可用于建立网页模型,并可为页面信息抽取提供参考信息,还可用于搜索引擎结果的类别区分等,具有重要意义。现有技术中,主要通过名单加典型的统一资源定位符(URL,UniformResourceLocator)特征的方式来实现版式分类,具体实现包括:针对任一Web网页X,首先利用名单来对其URL进行匹配,所述名单中可包括一系列不同的域名以及分别对应的版式类别等,如名单中的一个域名为hi.baidu.com,对应的版式类别为博客页,那么,如果Web网页X的URL中包括“hi.baidu.com”,则可确定出Web网页X所属的版式类别为博客页;如果利用名单无法确定出Web网页X所属的版式类别,则可进一步利用一些典型的URL特征来进行确定,如Web网页X的URL中包括“bbs”,则可确定出Web网页X所属的版式类别为论坛页。但是,上述方式在实际应用中会存在一定的问题:由于名单中能够覆盖的域名非常有限,而且很多Web网页的URL中不会存在如“bbs”等典型的URL特征,因此将会导致很多的Web网页无法被正确分类。
技术实现思路
有鉴于此,本专利 ...
【技术保护点】
一种对网页进行版式分类的方法,其特征在于,当需要对任一Web网页进行分类时,进行以下处理:获取所述Web网页中能够体现页面版式特征的信息;根据获取到的信息确定所述Web网页分别属于预先设定的N个不同版式类别的概率,N为大于1的正整数;将取值最大的概率对应的版式类别作为所述Web网页所属的版式类别。
【技术特征摘要】
1.一种对网页进行版式分类的方法,其特征在于,当需要对任一Web网页进行分类时,进行以下处理:获取所述Web网页中能够体现页面版式特征的信息;根据获取到的信息确定所述Web网页分别属于预先设定的N个不同版式类别的概率,N为大于1的正整数;将取值最大的概率对应的版式类别作为所述Web网页所属的版式类别;所述获取所述Web网页中能够体现页面版式特征的信息包括:建立所述Web网页的文本对象模型DOM树;根据所述DOM树提取出所述Web网页中的内容源信息以及结构特征信息;所述根据获取到的信息确定所述Web网页分别属于预先设定的N个不同版式类别的概率包括:根据所述内容源信息生成文本向量;根据所述文本向量,利用预先生成的逻辑回归模型,分别计算出所述Web网页对应于每个版式类别的倾向度;根据所述结构特征信息以及所述倾向度,利用预先生成的朴素贝叶斯模型,分别计算出所述Web网页属于每个版式类别的概率。2.根据权利要求1所述的方法,其特征在于,所述内容源信息包括:标签和短文本;所述结构特征信息包括:统一资源定位符URL、二级导航和标题。3.根据权利要求1所述的方法,其特征在于,所述根据所述内容源信息生成文本向量包括:对所述内容源信息进行分词;生成M维的文本向量,M的取值与预先生成的文本词典中包括的特征词数相同,所述文本向量中的每个分量分别对应于所述文本词典中的一个特征词,所述文本词典中记录有能够体现每个版式类别的页面版式特征的特征词;针对每个分词结果,分别确定其是否与所述文本词典中的一个特征词相同,如果是,则将所述文本向量中与该特征词对应的分量设置为1,否则为0。4.根据权利要求1所述的方法,其特征在于,所述将取值最大的概率对应的版式类别作为所述Web网页所属的版式类别之前,进一步包括:确定取值最大的概率是否大于预定阈值;如果是,则将取值最大的概率对应的版式类别作为所述Web网页所属的版式类别;否则,按照名单加典型的URL特征的方式确定所述Web网页所属的版式类别。5.根据权利要求1~4中任一项所述的方法,其特征在于,所述确定出所述Web网页所属的版式类别之后,进一步包括:基于适用于所述Web网页所属的版式类别的至少一个判别特征,确定所述Web网页所属的子类别;其中,所述判别特征包括:文字链接比、URL特征或特定块;所述Web网页所属的版式类别包括Z个子类别,Z为大于1的正整数。6.根据权利要求5所述的方法,其特征在于,所述版式类别包括:博客页、小说页或论坛页;其中,所述博客页的子类别包括:博客内容页或博客列表页;所述小说页的子类别包括:小说列表页、小说内容页或小说介绍页;所述论坛页的子类别包括:论坛帖子页或论坛列表页。7.一种对网页进行版式分类的装置,其特征在...
【专利技术属性】
技术研发人员:蔡兵,黄钰,徐羽,张凯,
申请(专利权)人:腾讯科技深圳有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。