爬虫种子获取方法与设备及爬虫爬取方法与设备技术

本发明专利技术提供一种爬虫种子获取方法与设备及爬虫爬去方法与设备。爬虫种子获取方法包括：根据预设检索词词典和目标导航网站的URL特性，构造动态页面请求；将动态页面请求发送给目标导航网站的服务器；根据预设提取策略，从服务器根据动态页面请求返回的检索结果页面中提取目标URL，目标URL为检索结果页面中的URL的主域名地址；对目标URL进行唯一化处理，获取唯一化目标URL，将唯一化目标URL作为爬虫种子。本发明专利技术技术方案能够提供大量的、离散度大的爬虫种子，从而缩短形成主流URL的时间，提高主流URL的覆盖性，降低爬虫系统进行爬取时的时间成本。

【技术实现步骤摘要】

【技术保护点】
１．一种爬虫种子获取方法，其特征在于，包括：根据预设检索词词典和目标导航网站的统一资源定位符ＵＲＬ特性，构造动态页面请求；将所述动态页面请求发送给所述目标导航网站的服务器；根据预设提取策略，从所述服务器根据所述动态页面请求返回的检索结果页面中提取目标ＵＲＬ，所述目标ＵＲＬ为所述检索结果页面中的ＵＲＬ的主域名地址；对所述目标ＵＲＬ进行唯一化处理，获取唯一化目标ＵＲＬ，将所述唯一化目标ＵＲＬ作为爬虫种子。

【技术特征摘要】

【专利技术属性】
技术研发人员：吴滨华，王祖海，
申请(专利权)人：北京星网锐捷网络技术有限公司，
类型：发明
国别省市：11