本发明专利技术公开了一种抓取网页内容的方法及装置，用于解决目前在对不同类型网页内容进行抓取的过程中，存在网页内容抓取复杂度高，以及网页内容抓取效率低的问题。本发明专利技术实施例中，当检测到待抓取网页时，即从预设的抓取规则库中查找上述待抓取网页的URL，当该抓取规则库中不存在URL对应的抓取规则时，对待抓取网页中的内容进行分析，并对满足条件的待抓取网页生成抓取规则。采用本发明专利技术技术方案，对待抓取网页中的内容进行分析，根据分析结果自动生成待抓取网页对应的抓取规则，无须人工设置抓取规则，有效降低了网页内容抓取的复杂度，提高了网页内容抓取的效率。
【技术实现步骤摘要】
本专利技术设及计算机应用
，尤其设及一种抓取网页内容的方法及装置。
技术介绍
网络爬虫是捜索引擎技术的基础组成部分。网络爬虫技术是从一个或若干初始网 页的册LOJniformResourceLocator,统一资源定位符）开始，获得初始网页上的册L，在 抓取网页信息的过程中，根据网页的抓取规则，不断从当前页面上抽取新的U化放入队列， 直到满足某种停止条件。然后将抓取到的网页信息存储在捜索引擎的服务器中，从而可W 加快用户的捜索速度。 目前，在采用网络爬虫技术对网页进行抓取过程中，抓取规则为人工设置，针对不 同类型的网页，需要人工设置相应的抓取规则，当需要抓取的网页类型众多时，将耗费大量 的人力去设置抓取规则，从而增加了网页内容抓取的复杂度。 由此可见，目前在对不同类型网页内容进行抓取的过程中，存在网页内容抓取复 杂度高，W及网页内容抓取效率低的问题。
技术实现思路
本专利技术实施例提供一种抓取网页内容的方法及装置，用W解决目前在对不同类型 网页内容进行抓取的过程中，存在网页内容抓取复杂度高，W及网页内容抓取效率低的问 题。 本专利技术实施例提供的具体技术方案如下： 一种抓取网页内容的方法，包括：[000引获取待抓取网页的U化； 在抓取规则库中，获取所述待抓取网页的URL对应的抓取规则； 当无法获取到对应于所述待抓取网页的U化的抓取规则时，对所述待抓取网页中 的内容进行分析，并对满足抓取条件的所述待抓取网页生成抓取规则； 将所述待抓取网页的m?LW及对应于生成的所述待抓取网页抓取规则在所述抓 取规则库中进行更新。 可选的，对所述待抓取网页中包含的内容进行分词划分，生成分词组；计算所述分 词组与每一个预先建立的主题语义库之间的相似度；当计算得到的所述分词组与任一所述 主题语义库之间的相似度大于等于第一预设阔值时，对所述待抓取网页对应的抓取规则进 行生成。 可选的，获取所述计算得到的相似度所对应的至少一个主题语义库；获取所述待 抓取网页对应的HTML文档，将所述HTML文档中最高层级的分段标签作为根节点，其他层级 对应的分段标签作为分节点，构建树状结构；由根节点开始，逐层遍历所述树状结构；在所 述树状结构中，当存在任一分节点对应的文本内容与所述至少一个主题语义库之间的相似 度大于等于第二预设阔值时，获取所述任一分节点的标识；将所述任一分节点的标识及其 对应的分段标签，作为所述待抓取网页的抓取规则。 进一步的，将所述待抓取网页的URLW及对应于生成的所述待抓取网页抓取规则 在所述抓取规则库中进行更新之后，将所述待抓取网页对应的分词组中包含的指定词性的 分词组保存至主题内容库中；按照预设周期统计所述主题内容库中，每一个分词组的出现 频率；从所述主题内容库中的所有分词组中，选取出现频率大于等于预设频率阔值的分词 组，存储至所述主题语义库中。 可选的，所述抓取规则库的生成方法，包括：获取样本网页的U化；建立所述样本 网页对应的预设抓取规则与所述样本网页的URL之间的对应关系，将所述对应关系存储至 抓取规则库中；并获取样本网页中包含的样本内容W及所述样本网页类型；根据所述样 本网页中包含的样本内容，对所述样本内容进行分词划分，将生成的每一个样本分词组均 作为特征值；将所有特征值存储至与所述样本网页类型相对应的预设的主题语义库中 一种抓取网页内容的装置，包括： 第一获取单元，用于获取待抓取网页的U化；[001引第二获取单元，用于在抓取规则库中，获取所述待抓取网页的URL对应的抓取规 则； 抓取规则生成单元，用于当无法获取到对应于所述待抓取网页的URL的抓取规则 时，对所述待抓取网页中的内容进行分析，并对满足抓取条件的所述待抓取网页生成抓取 规则； 更新单元，用于将所述待抓取网页的m?LW及对应于生成的所述待抓取网页抓取 规则在所述抓取规则库中进行更新。 可选的，所述抓取规则生成单元，具体用于；对所述待抓取网页中包含的内容进行 分词划分，生成分词组；计算所述分词组与每一个预先建立的主题语义库之间的相似度； 当计算得到的所述分词组与任一所述主题语义库之间的相似度大于等于第一预设阔值时， 对所述待抓取网页对应的抓取规则进行生成。 可选的，所述抓取规则生成单元，具体用于；获取所述计算得到的相似度所对应的 至少一个主题语义库；获取所述待抓取网页对应的HTML文档，将所述HTML文档中最高层 级的分段标签作为根节点，其他层级对应的分段标签作为分节点，构建树状结构；由根节点 开始，逐层遍历所述树状结构；在所述树状结构中，当存在任一分节点对应的文本内容与所 述至少一个主题语义库之间的相似度大于等于第二预设阔值时，获取所述任一分节点的标 识；将所述任一分节点的标识及其对应的分段标签，作为所述待抓取网页的抓取规则。 进一步的，上述装置还包括存储单元，用于；将所述待抓取网页的U化W及对应于 生成的所述待抓取网页抓取规则在所述抓取规则库中进行更新之后，将所述待抓取网页对 应的分词组中包含的指定词性的分词组保存至主题内容库中；按照预设周期统计所述主 题内容库中，每一个分词组的出现频率；从所述主题内容库中的所有分词组中，选取出现频 率大于等于预设频率阔值的分词组，存储至所述主题语义库中。 进一步的，上述装置还包括抓取规则库生成单元，还用于：获取样本网页的U化； 建立所述样本网页对应的预设抓取规则与所述样本网页的U化之间的对应关系，将所述对 应关系存储至抓取规则库中；并获取样本网页中包含的样本内容W及所述样本网页类型； 根据所述样本网页中包含的样本内容，对所述样本内容进行分词划分，将生成的每一个样 本分词组均作为特征值；将所有特征值存储至与所述样本网页类型相对应的预设的主题语 义库中。 本专利技术实施例中，当检测到待抓取网页时，即从预设的抓取规则库中查找上述待 抓取网页的URU当该抓取规则库中不存在URL对应的抓取规则时，对待抓取网页中的内容 进行分析，并对满足条件的待抓取网页生成抓取规则。采用本专利技术技术方案，对待抓取网页 中的内容进行分析，根据分析结果自动生成待抓取网页对应的抓取规则，无须人工设置抓 取规则，有效降低了网页内容抓取的复杂度，提高了网页内容抓取的效率。【附图说明】 图1为本专利技术实施例中通信系统架构示意图； 图2为本专利技术实施例中网页内容抓取流程图；[002引图3为本专利技术实施例中依存句法树示意图； 图4为本专利技术实施例中具体应用场景下的网页内容抓取流程图； 图5为本专利技术实施例中网页内容抓取装置结构示意图。【具体实施方式】 为了解决目前在对不同类型网页内容进行抓取的过程中，存在网页内容抓取复杂 度高，W及网页内容抓取效率低的问题。本专利技术实施例中，当检测到待抓取网页时，即从预 设的抓取规则库中查找上述待抓取网页的URU当该抓取规则库中不存在URL对应的抓取 规则时，对待抓取网页中的内容进行分析，并对满足条件的待抓取网页生成抓取规则。采用 本专利技术技术方案，对待抓取网页中的内容进行分析，根据分析结果自动生成待抓取网页对 应的抓取规则，无须人工设置抓取规则，有效降低了网页内容抓取的复杂度，提高了网页内 容抓取的效率。 参阅图1所示，为本专利技术实施例中通信系统示意图，该通信系统包括客户端和至 少一个web服务器；客户端包含用户界面，本文档来自技高网...
【技术保护点】
一种抓取网页内容的方法，其特征在于，包括：获取待抓取网页的URL；在抓取规则库中，获取所述待抓取网页的URL对应的抓取规则；当无法获取到对应于所述待抓取网页的URL的抓取规则时，对所述待抓取网页中的内容进行分析，并对满足抓取条件的所述待抓取网页生成抓取规则；将所述待抓取网页的URL以及对应于生成的所述待抓取网页抓取规则在所述抓取规则库中进行更新。
【技术特征摘要】
【专利技术属性】
技术研发人员：狄东杰，孙德山，姚臻，
申请(专利权)人：智慧城市信息技术有限公司，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。