温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。
本申请公开了一种基于远程过程调用实现的分布式爬虫调度方法、装置、服务端、系统及可读存储介质,该方案基于Thrift通信框架实现爬虫调度,能够实现远程跨语言调用;在存储方面,将爬虫种子以散列结构的形式存储在redis集群,提升了爬虫种子的存储...该专利属于杭州安恒信息技术股份有限公司所有,仅供学习研究参考,未经过杭州安恒信息技术股份有限公司授权不得商用。
温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。
本申请公开了一种基于远程过程调用实现的分布式爬虫调度方法、装置、服务端、系统及可读存储介质,该方案基于Thrift通信框架实现爬虫调度,能够实现远程跨语言调用;在存储方面,将爬虫种子以散列结构的形式存储在redis集群,提升了爬虫种子的存储...