下载一种网页爬虫协作方法的技术资料

文档序号:7391769

温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。

本发明公开了一种网页爬虫协作方法,所述的方法步骤如下:首先,爬虫节点依据在线时间段形成若干采集组,所有的各采集组能实现一个周期的连续在线;然后,采集组间通过消息交换的方法采集网页;最后,所有的采集组协作存储被采集的网页。所述每个采集组采用自...
该专利属于中国科学院声学研究所所有,仅供学习研究参考,未经过中国科学院声学研究所授权不得商用。

详细技术文档下载地址

温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。