温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。
本发明公开了一种负载均衡分布式的爬虫方法、爬虫系统,包括主服务器和多个与主服务器互通的爬虫服务器,每个所述爬虫服务器的下游设置多个爬虫采集节点,包括系统分布式爬虫负载均衡过程:所述主服务器将一个爬虫任务分解成请求页面任务和分析页面任务,请求...该专利属于广东科杰通信息科技有限公司所有,仅供学习研究参考,未经过广东科杰通信息科技有限公司授权不得商用。
温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。
本发明公开了一种负载均衡分布式的爬虫方法、爬虫系统,包括主服务器和多个与主服务器互通的爬虫服务器,每个所述爬虫服务器的下游设置多个爬虫采集节点,包括系统分布式爬虫负载均衡过程:所述主服务器将一个爬虫任务分解成请求页面任务和分析页面任务,请求...