【技术实现步骤摘要】
本专利技术涉及信息检索领域，特别是涉及一种网页内容抓取方法及装置。
技术介绍
互联网网页信息每天都在快速地增长，为了能够让搜索引擎快速、全面地索引网页信息，网络爬虫需要每天抓取大量的网页。但是，出于对网站目录方便管理等目的，很多情况下会对网页参数进行优化。对网页参数进行优化后，会造成参数不同的统一资源定位符(Universal Resource Locator,URL)对应相同的页面。例如:为了统计访问news, baidu.com的用户的来源信息,通常会在原本的URL基础上增加一个参数“fr”。具体的，当原本的URL为http://news.baidu.com/时，可以将原本的URL修改为http://news.baidu.com/ fr=baiduer。上面的两个URL,虽然包含的参数不同，但是对应的页面是相同的。其中，分隔符fr=baiduer这部分参数对于网络爬虫来说，由于并不影响网络爬虫抓取到的网页内容，所以可以称为无效参数。现有技术中，在抓取网页内容时，对于参数不同的URL，都会进行一次抓取。由于无效参数的存在，所以会导致对于参数不同的URL指向的相...
【技术保护点】
一种网页内容抓取方法，其特征在于，包括：获取网页的URL信息；识别所述URL信息中包含的路径信息和参数信息；对于路径信息相同的URL信息进行聚类，得到包含多个URL信息的URL信息集；将所述URL信息集中，在每个URL信息中均出现并且参数值不变的参数，确定为有效参数；抓取有效URL信息对应的网页内容；其中，所述有效URL信息中的参数均为有效参数。
【技术特征摘要】
1.一种网页内容抓取方法，其特征在于，包括: 获取网页的URL信息； 识别所述URL信息中包含的路径信息和参数信息； 对于路径信息相同的URL信息进行聚类，得到包含多个URL信息的URL信息集； 将所述URL信息集中，在每个URL信息中均出现并且参数值不变的参数，确定为有效参数； 抓取有效URL信息对应的网页内容； 其中，所述有效URL信息中的参数均为有效参数。2.根据权利要求1所述的方法，其特征在于，还包括: 将所述URL信息集中，在每个URL信息中均出现但是参数值变化的参数，或者未在全部URL信息中均出现的参数，确定为无效参数； 对于包含无效参数的URL信息对应的网页内容，不再进行抓取。3.根据权利要求2所述的方法，其特征在于，确定无效参数的过程，还包括: 获取所述URL信息集中的第一 URL信息和第二 URL信息；所述第一 URL信息和第二 URL信息中包含相同的第一参数，且所述第一参数在所述第一 URL信息和第二 URL信息中具有不同的参数值； 获取所述第一 URL信息 对应的第一网页内容以及所述第二 URL信息对应的第二网页内容； 判断所述第一网页内容与所述第二网页内容是否相同； 如果相同，则将所述第一参数确定为无效参数。4.根据权利要求2所述的方法，其特征在于，还包括: 在确定出所述无效参数后，在预设时间内对所述无效参数进行验证，判断是否出现反例； 如果出现反例，则将所述无效参数确定为有效参数。5.根据权利要求4所述的方法，其特征在于，所述对所述无效参数进行验证，判断是否出现反例，包括: 获取包含无效参数的第三URL信息对应的第三网页内容； 删除所述第三URL信息中的无效参数，得到第四URL信息； 获取所述第四URL信息对应的第四网页内容； 判断所述第三网页内容与所述第四网页内容是否相同； 如果不相同，则确定出现反例。6.一种网页内容抓取装置，其特征在于，包括: 信息获取模块，用于获取网页的URL信息； 信息识别模块，用于识别所述URL信息中包含的路径信息和参数信息； 聚类模块，用于对于路径信息相同的URL信息...
【专利技术属性】
技术研发人员：张宗宇，崔世起，杨青，
申请(专利权)人：人民搜索网络股份公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。