本发明专利技术公开了一种有效网页内容的抓取方法及装置，所述方法包括以下步骤：步骤S1：导入超文本链接标示语言HTML网页；步骤S2：将所述HTML网页转换成相应的文档树结构；步骤S3：根据所述文档树结构找出有效内容的标题标签，将找出的标题标签内的文本内容作为标题；步骤S4：在所述文档树结构的标签中，按照与所述标题标签由小到大的标签距离依次查找文本标签，将包含有与正文有关的特定字符并具有大于预定长度的文本长度的文本标签作为正文文本标签，然后将所述正文文本标签的文本内容作为正文。本发明专利技术能够简单、方便地实现对通用的HTML结构网页进行有效信息的抽取。
【技术实现步骤摘要】
本专利技术涉及互联网信息处理领域，尤其涉及一种有效网页内容的抓取方法及装置。
技术介绍
目前互联网上存有目前人类所知的最大的信息库，其中绝大部分信息都是以 HTML (Hyper Text Mark-up Lanugage，超文本链接标记语言)格式网页存在。HTML被用来结构化信息——例如标题、段落和列表，能够丰富的表现文本，图片以及其他多媒体信息。 结合HTML阅读工具“浏览器”人们能够很方便地查看在HTML结构中的信息。但是从信息记录方面，HTML网页包含了大量的用来结构化信息的标签，同时网页中可能包含很多无用的信息。并且，随着各种移动终端的蓬勃发展，移动终端对上网的需求越来越高，若直接通过移动终端访问HTML页面时，由于移动终端设备本身的性能限制，会使每次访问HTML的连接时间较长，速度较慢，并且由于大量无用信息的存在会导致数据传输流量较大，使用户获取网页的时间和费用都会较高，因而如何把有用信息从HTML格式网页中准确快速地抽取出来对移动终端设备来说变得非常重要。目前的文本信息抽取技术只能通过HTML标签信息对特定HTML标签内的内容进行获取，针对于目标处理网页需要事先考察网页HTML标签结构，事先定制抽取模板。而对于事先无法获知HTML结构的网页，文本信息抽取将无法进行。
技术实现思路
为了解决上述问题，本专利技术主要目的是提供一种有效网页内容的抓取方法及装置，使其能够简单、方便地实现对通用HTML结构的网页进行有效信息的抽取。为了实现上述目的，本专利技术提供了一种有效网页内容的抓取方法，所述方法包括以下步骤步骤Sl 导入超文本标示语言HTML网页；步骤S2 将所述HTML网页转换成相应的文档树结构；步骤S3 根据所述文档树结构找出有效内容的标题标签，将找出的标题标签内的文本内容作为标题；步骤S4 在所述文档树结构的<body>标签中，按照与所述标题标签由小到大的标签距离依次查找文本标签，将包含有与正文有关的特定字符并具有大于预定长度的文本长度的文本标签作为正文文本标签，然后将所述正文文本标签的文本内容作为正文。根据本专利技术的一个实施例，在所述步骤S2中，所述生成相应的文档树只包括与所述有效网页内容有关的标签，将其它无关的标签删除。根据本专利技术的一个实施例，所述步骤S3可具体为在所述文档树结构中找出〈title〉标签；在所述〈title〉标签中查找与所述文档树中<body>标签中相同或者编辑距离相近的文本内容，若查找到，则将所述文本内容确定为标题，否则，在所述〈title〉标签中查找距离所述<body>标签最近的有效文本标签，将所述有效文本标签内的文本作为标题；其中所述有效文本标签为标签<hl>、<h2>或者所述有效文本标签内的文本内容字体大于预定字体号，其中所述预定字体号优选为5号，并且所述有效文本标签内孩子文本标签中的不间断文本超过另一预定值，其中所述另一预定值优选为5个字。根据本专利技术的一个实施例，在步骤S3中找出〈title〉标签之后，还包括过滤处理步骤对所述〈title〉标签内的文本标签进行连字符拆分和/或停用词处理，将其中的广告词或者不是标题的其它信息过滤掉。根据本专利技术的另一个实施例，所述步骤S4还包括过滤步骤S41 在查找文本标签过程中，将具有与广告信息有关的另一些特定字符而不包括所述与正文有关的特定字符的文本标签删除掉，然后再查找下个文本标签。其中所述与正文有关的特定字符优选包括 、<br>、<div>或〈table〉等，所述预定长度优选为50个字。根据本专利技术的另一个实施例，所述步骤S4还包括步骤S42 在查找文本标签过程中，根据链接文本长度和非链接文本长度的占比来判断所述文本标签内的文本内容是否为正文，若所述占比大于0并小于1，则直接判断该文本标签内的文本内容为正文；否则判断所述文本标签内的文本内容不是正文。根据本专利技术的另一个实施例，所述在步骤S3和S4之间还包括时间抽取步骤S31 首先定义时间信息的正则表达式根据步骤S3中已经获得的标题标签，查找距离所述标题标签最近的符合所述时间信息正则表达式的标签，将查找到的所述标签中的内容作为时间。根据本专利技术的再一个实施例，在步骤S4之后包括图片抽取步骤S5 将步骤S4中获得正文标签中的孩子标签进行排序，记录第一个孩子标签和最后一个孩子标签；在所述第一孩子标签和所述最后一个孩子标签中寻找<img>标签，将查找到的<img>标签中的内容作为有效内容的图片。本专利技术还提供一种有效网页内容的抓取装置，所述装置包括导入模块，用于导入超文本链接标示语言HTML网页；生成模块，用于将所述HTML网页生成相应的文档树结构；标题抽取模块，用于根据所述文档树结构找出有效内容的标题标签，将找出的标题标签内的文本内容作为标题；文本抽取模块，用于在所述文档树结构的<body>标签中，按照与所述标题标签由小到大的标签距离依次查找文本标签，将包含有与正文有关的特定字符和具有大于预定长度的文本长度的文本标签作为正文文本标签，然后将所述正文文本标签的文本内容作为正文。进一步地，所述标题抽取模块包括Title标签查找单元用于在所述文档树结构中找出〈title〉标签；标题确定单元，用于在所述〈title〉标签中查找与所述文档树中<body>标签中相同或者编辑距离相近的文本内容，若查找到，则将所述文本内容确定为标题，否则，在所述 〈title〉标签中查找距离所述<body>标签最近的有效文本标签，将所述有效文本标签内的文本作为新闻标题。其中在所述标题确定单元中的所述有效文本标签为标签<hl>、<h2>或者所述有效文本标签内的文本内容字体大于预定字体号，并且所述有效文本标签内孩子文本标签中的不间断文本超过另一预定值。进一步地，在所述Title标签查找单元和标题确定单元之间还包括过滤处理模块，用于对所述〈title〉标签内的文本标签进行连字符拆分和/或停用词处理，将其中的广告词或者不是标题的其它信息过滤掉。进一步地，所述文本抽取模块还包括过滤模块，用于在查找文本标签过程中，将具有与广告信息有关的另一些特定字符而不包括所述与正文有关的特定字符的文本标签删除掉，然后再查找下个文本标签。进一步地，所述文本抽取模块还包括占比判断单元，用于在查找文本标签过程中， 根据链接文本长度和非链接文本长度的占比来判断所述文本标签内的文本内容是否为正文，若所述占比大于0并小于1，则直接判断该文本标签内的文本内容为正文；否则判断所述文本标签内的文本内容不是正文。进一步地，所述装置还包括时间抽取模块，用于先定义时间信息的正则表达式，再根据所述标题抽取模块中已经获得的标题标签，查找距离所述标题标签最近的符合所述时间信息正则表达式的标签，将查找到的所述标签中的内容作为时间。进一步地，所述装置还包括图片抽取模块，用于对所述文本抽取模块中所获得正文标签中的孩子标签进行排序，并记录第一个孩子标签和最后一个孩子标签，在所述第一孩子标签和所述最后一个孩子标签中寻找<img>标签，将查找到的<img>标签中的内容作为有效内容的图片。本发本文档来自技高网...
【技术保护点】
１．一种有效网页内容的抓取方法，其特征在于，所述方法包括以下步骤：步骤Ｓ１：导入超文本链接标示语言ＨＴＭＬ网页；步骤Ｓ２：将所述ＨＴＭＬ网页转换成相应的文档树结构；步骤Ｓ３：根据所述文档树结构找出有效内容的标题标签，将找出的标题标签内的文本内容作为标题；步骤Ｓ４：在所述文档树结构的（ｂｏｄｙ）标签中，按照与所述标题标签由小到大的标签距离依次查找文本标签，将包含有与正文有关的特定字符并具有大于预定长度的文本长度的文本标签作为正文文本标签，然后将所述正文文本标签的文本内容作为正文。
【技术特征摘要】
【专利技术属性】
技术研发人员：贾海禄，
申请(专利权)人：北京迅捷英翔网络科技有限公司，
类型：发明
国别省市：11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。