网页信息获得方法及系统技术方案

本发明专利技术实施例提供了一种网页信息获得方法及装置，可以获得用户输入的网页关键词，通过搜索引擎对所述网页关键词进行检索，获得与该网页关键词对应的多个网页的网络链接，通过所述网络链接获得所述多个网页的网页源代码，对所述网页源代码进行分析处理，从所述网页源代码中获得正文网页列表页的网络链接。可见，本发明专利技术实现了正文网页列表页的自动获取，可以快速、准确的获得大量网站的正文网页列表页。

【技术实现步骤摘要】
网页信息获得方法及系统
本专利技术涉及信息处理
，特别是涉及网页信息获得方法及系统。
技术介绍
新闻是互联网信息的主要承载体，从各大门户、媒体等新闻生产者处获取新闻后，可以对其进行研究，从而得出互联网信息的某些特征及趋势。为了获取大量的新闻，需要对新闻列表页进行监控。现有技术下需要通过人工寻找各大门户、媒体的新闻列表页，无法快速、准确的获得大量网站的新闻列表页。
技术实现思路
本专利技术实施例的目的在于提供一种网页信息获得方法及系统，以实快速、准确的获得大量网站的新闻列表页。具体技术方案如下：一种网页信息获得方法，包括：获得用户输入的网页关键词；通过搜索引擎对所述网页关键词进行检索，获得与该网页关键词对应的多个网页的网络链接；通过所述网络链接获得所述多个网页的网页源代码；对所述网页源代码进行分析处理，从所述网页源代码中获得正文网页列表页的网络链接。可选的，在所述通过所述网络链接获得所述多个网页的网页源代码之前，所述方法还包括：从所述网络链接中选出正文网页的网络链接；所述通过所述网络链接获得所述多个网页的网页源代码，包括：通过所述正文网页的网络链接获得所述正文网页的网页源代码。可选的本文档来自技高网...

【技术保护点】
一种网页信息获得方法，其特征在于，所述方法包括：获得用户输入的网页关键词；通过搜索引擎对所述网页关键词进行检索，获得与该网页关键词对应的多个网页的网络链接；通过所述网络链接获得所述多个网页的网页源代码；对所述网页源代码进行分析处理，从所述网页源代码中获得正文网页列表页的网络链接。

【技术特征摘要】
1.一种网页信息获得方法，其特征在于，所述方法包括：获得用户输入的网页关键词；通过搜索引擎对所述网页关键词进行检索，获得与该网页关键词对应的多个网页的网络链接；通过所述网络链接获得所述多个网页的网页源代码；对所述网页源代码进行分析处理，从所述网页源代码中获得正文网页列表页的网络链接。2.根据权利要求1所述的方法，其特征在于，在所述通过所述网络链接获得所述多个网页的网页源代码之前，所述方法还包括：从所述网络链接中选出正文网页的网络链接；所述通过所述网络链接获得所述多个网页的网页源代码，包括：通过所述正文网页的网络链接获得所述正文网页的网页源代码。3.根据权利要求1或2所述的方法，其特征在于，所述对所述网页源代码进行分析处理，从所述网页源代码中获得正文网页列表页的网络链接，包括：对所述网页源代码进行分析处理，获得网页的文档对象模型HTMLDOM；对所述HTMLDOM中的所有节点进行遍历，获得网页的导航栏标签列表，其中，所述导航栏标签列表中各导航栏标签依次排列；将所述导航栏标签列表中的倒数第二个导航栏标签对应的网络链接确定为该网页对应的正文网页列表页的网络链接。4.根据权利要求3所述的方法，其特征在于，所述对所述HTMLDOM中的所有节点进行遍历，获得网页的导航栏标签列表，包括：判断所述HTMLDOM中的body节点是否存在子节点，如果存在，则将所述body节点的一个子节点确定为当前节点；判断当前节点的文本text中是否包含有导航栏的间隔符，如果包含有导航栏的间隔符，则判断当前节点是否存在未遍历的兄弟节点；如果不包含有导航栏的间隔符，则将所述body节点的另一子节点确定为当前节点并返回执行所述判断当前节点的text中是否包含有导航栏的间隔符的步骤；如果存在未遍历的兄弟节点，则将当前节点的未遍历的兄弟节点确定为当前节点并判断当前节点是否具有预设的标签特征，如果具有预设的标签特征，则将当前节点放入网页的导航栏标签列表中并返回执行所述判断当前节点是否存在未遍历的兄弟节点的步骤；如果不具有预设的标签特征，则返回执行所述判断当前节点是否存在未遍历的兄弟节点的步骤；如果不存在未遍历的兄弟节点，则判断是否已对所述body节点的所有子节点进行遍历，如果已对所述body节点的所有子节点进行遍历，则确定放入网页的导航栏标签列表中的节点即为网页的导航栏标签列表中的全部节点；如果未对所述body节点的所有子节点进行遍历，则将所述body节点的另一子节点确定为当前节点并返回执行所述判断当前节点的text中是否包含有导航栏的间隔符的步骤。5.根据权利要求4所述的方法，其特征在于，所述预设的标签特征，包括如下特征中的任意个：位于标题上方；与导航链接之间设置有标识符；具有标签形式。6.一种网页信息获得装置，其特征在于，所述装置包括：关键词获得单元、检索单元、源代码获得单元和源代码分析单元，所述关键词获得单元，用于所述获得用户输入的网页关键词；所述检索单元，用于通过搜索引擎对所述网页关键词进行检索，获得与该网页关键词对应的多个网页的网络链接；所述...

【专利技术属性】
技术研发人员：李天与，刘海龙，郗家贞，
申请(专利权)人：北京搜狐新媒体信息技术有限公司，
类型：发明
国别省市：北京,11