温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。
本发明是一种基于分布式的互联网数据采集方法,接收用户创建数据采集任务的请求并创建数据采集任务,将用户创建的数据采集任务分配给多个爬虫线程,并启动所述多个爬虫线程;在所述每个爬虫线程接收到数据采集任务并且被启动后,从待抓取URL队列中获取UR...该专利属于北京国信宏数科技有限责任公司所有,仅供学习研究参考,未经过北京国信宏数科技有限责任公司授权不得商用。
温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。
本发明是一种基于分布式的互联网数据采集方法,接收用户创建数据采集任务的请求并创建数据采集任务,将用户创建的数据采集任务分配给多个爬虫线程,并启动所述多个爬虫线程;在所述每个爬虫线程接收到数据采集任务并且被启动后,从待抓取URL队列中获取UR...