本发明专利技术提供了一种使用网页标签聚类提取新闻网页内容的方法和系统。所述方法包括：对网页内容进行预处理，包括将所述网页内容解析成DOM树和统计所述DOM树的各节点的信息；启发式删除所述DOM树的节点；规则式删除所述DOM树的节点；以及基于标签结构聚类删除所述DOM树的节点，从而生成最终的DOM树以输出。
【技术实现步骤摘要】
本专利技术总体地涉及新闻网页内容提取领域，更具体地说，本专利技术涉及一种使用网页标签聚类提取新闻网页内容的方法和系统。
技术介绍
在新闻(或者资讯)搜索领域，新闻正文提取是必不可少的环节，其正文提取的质量高低决定了新闻搜索的质量和用户体验。目前新闻正文提取方法各式各样，按是否使用模板的方式分为两大类基于模板 (或包装器)方式提取和基于非模板方式提取。在基于模板方式提取中，首先定义模板，然后编写程序解析执行模板得到数据。根据模板生成方式又可分为人工模板提取和自动模板提取。在人工模板提取中，针对提取的目标站点，人工手工编写模板，模板可以是正则匹配方式，也可以是简单的字符串匹配首位匹配方式。在自动模板提取中，利用机器学习算法，先从目标网站获取一部分网页数据进行学习训练，获取模板，然后程序利用模板提取数据。非模板方式提取大多基于统计和学习方式来实现。目前主要的算法有基于规则的、基于分块的、基于视觉的等。比较有代表性的是微软的基于视觉的页面分割算法，经过页面块提取，分隔条提取以及语义块重构3步，确定网页的主要语义块。人工编写模板方式的缺点是需要耗费巨大人力资源来撰写模板，并且随着目标网站的变化，维护模板的成本也非常大。自动模板方式的缺点是算法复杂，同时也需要对目标网站周期监控，以维护模板的变化。无论是人工还是自动产生模板，其假设网站的数据是通过模板产生，一些大型的网站基本问题不大，也就是不同的入口可能模板不同，但对众多的中小网站而言，其模板化不是很好，利用模板提取只能提取大部分的信息，有较多的机会包含垃圾信息。基于视觉的页面分割算法由于规则复杂，性能不高，不太适合新闻搜索引擎的应用。因此，需要一种有效提取新闻网页内容的方法。
技术实现思路
为了解决现有技术中的上述缺点和问题而提出本专利技术。本专利技术针对新闻网页内容提取技术的不足，设计基于标签聚类的算法来提取新闻内容，避免人工规则及其模板的弊端。根据本专利技术的一个方面，提供了一种使用网页标签聚类提取新闻网页内容的方法，包括对网页内容进行预处理，包括将所述网页内容解析成DOM树和统计所述DOM树的各节点的信息；启发式删除所述DOM树的节点；规则式删除所述DOM树的节点；以及基于标签结构聚类删除所述DOM树的节点，从而生成最终的DOM树以输出。在所述方法中，基于标签结构聚类删除所述DOM树的节点可以包括对经过启发3式删除和规则式删除的所述DOM树的所有节点统计标签结构信息；对所统计的标签结构信息进行相似聚类计算，从而获得多个类；选取所述多个类中内容最大的类，并且将所选取的类中节点的共同父节点作为内容节点；以及根据所述内容节点，处理所有其它节点，以形成所述最终的DOM树。所述方法可以进一步包括对所述网页内容进行精细处理。所述方法可以包括对所统计的标签结构信息取MD5哈希，通过MD5值相同进行严格聚类。所述信息包括标点、符号数，字符数，链接数，图片数。并且所述符号和字符数按链接分为锚文本中的中文符号数，锚文本中的英文符号数，锚文本中的中文字数，锚文本中的英文字数；非锚文本中的中文符号数，非锚文本中的英文符号数，非锚文本中的中文字数，非锚文本中的英文字数。在所述方法中，规则式删除所述DOM树的节点可以包括统计节点的链接数和非锚文本字符数的比值，如果所述比值大于阈值，则将该节点标记为可删除节点。所述阈值基于本网页全局链接数和全局非锚文本字符数的比值或根据经验值。根据本专利技术的另一个方面，提供了一种使用网页标签聚类提取新闻网页内容的系统，包括预处理模块，用于对网页内容进行预处理，以将所述网页内容解析成DOM树并且统计所述DOM树的各节点的信息；启发式删除模块，用于启发式删除与所述DOM树中指定的标签对象相对应的节点；规则式删除模块，用于规则式删除链接数和非锚文本字符数的比值大于指定阈值的节点；以及标签结构聚类删除模块，用于基于标签结构聚类删除节点。所述系统可以进一步包括精细处理模块，用于对所述网页内容进行精细处理。附图说明通过下面结合附图进行的描述，本专利技术一些示范性实施例的上述和其他方面、特征和优点对于本领域技术人员来说将变得显而易见，其中图1是示出根据本专利技术一个示范性实施例的提取新闻网页内容的方法的流程图；图2是示出根据本专利技术一个示范性实施例的基于标签结构聚类删除节点的过程的流程图；以及图3是示出根据本专利技术示范性实施例的系统的框图。 具体实施例方式提供参考附图的下面描述以帮助全面理解本专利技术的示范性实施例。其包括各种细节以助于理解，而应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本专利技术的范围和精神。同样，为了清楚和简明，省略了对公知功能和结构的描述。下面将参考附图详细描述本专利技术。图1是示出根据本专利技术一个示范性实施例的提取新闻网页内容的方法100的流程图。如图1中所示，方法100开始于步骤110。在步骤110中，对网页内容进行预处理， 以将网页内容解析成DOM(Document Object Model，文档对象模型)树并且统计DOM树的各节点的信息。如何将网页内容解析成DOM树对于本领域技术人员是公知的，因此在此不进行详细描述。对网页内容进行预处理可以包括整理网页内容标签，将不匹配或者不闭合的标签按规则整理成闭合标签，之后将整理好的网页内容解析成DOM树；以及统计各个节点的fn息ο节点的信息可以包括标点、符号数，字符数(例如，中文、英文、数字、其他等)，链接数，图片数等。其中，符号和字符又可按链接分为锚文本中的中文符号数，锚文本中的英文符号数，锚文本中的中文字数，锚文本中的英文字数；非锚文本中的中文符号数，非锚文本中的英文符号数，非锚文本中的中文字数，非锚文本中的英文字数。在步骤120中，启发式删除节点。该步骤的操作对象为DOM树中指定的标签对象。 例如，启发式移除涉及的HTML标签主要有META、HR、IMG、STYLE、SCRIPT、NOSCRIPT、INPUT、 SELECT、EMBED、BUTTON、OPTION、0PTGR0UP。之所以要删除上述HTML标签对象，是因为它们不会影响内容本身。例如，kript 脚本部分中标点和内容较多，但是不是页面本身展示内容，style样式是展示内容，也不会影响内容本身，因此在DOM树上，将这两类节点标记为可删除节点。删除方式采取自低而上的方式，同时保证在删除该节点时，本节点的统计信息也在其父节点中删除。在步骤130中，规则式删除节点。该步骤的操作对象为table，div等内容标签。 在该步骤中，可以计算节点的链接数和非锚文本字符数的比值，如果比值大于阈值(例如， 阈值可以为0. 05)，则可以该节点标记为可删除节点。在步骤140中，基于标签结构聚类删除节点，从而生成最终的DOM树以输出。下面将参考图2描述基于标签结构聚类来删除节点的过程。图2是示出根据本专利技术一个示范性实施例的基于标签结构聚类删除节点的过程 200的流程图。在步骤210中，对经过启发式删除和规则式删除的DOM树的所有节点统计标签结构信息。在步骤220中，对所统计的标签结构信息进行相似聚类计算，从而获得多个类。对于每个节点而言，自其父节点至节点本身有一条路径，该路径称之为节点的结构路径，路径上的所有标本文档来自技高网...
【技术保护点】
１．一种使用网页标签聚类提取新闻网页内容的方法，包括：对网页内容进行预处理，包括将所述网页内容解析成ＤＯＭ树和统计所述ＤＯＭ树的各节点的信息；启发式删除所述ＤＯＭ树的节点；规则式删除所述ＤＯＭ树的节点；以及基于标签结构聚类删除所述ＤＯＭ树的节点，从而生成最终的ＤＯＭ树以输出。
【技术特征摘要】
【专利技术属性】
技术研发人员：高勇，王放，许欢庆，郭永福，陈沛，
申请(专利权)人：北京中搜网络技术股份有限公司，
类型：发明
国别省市：11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。