下载数据采集系统和方法的技术资料

文档序号:26597953

温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。

本发明实施例提供一种数据采集系统和方法,该系统包括:爬虫管理模块,采集集群模块和数据落地模块;所述爬虫管理模块中部署有多个爬虫线程,不同爬虫线程对应的数据采集方式不同;所述爬虫管理模块用于:基于调度机制,控制相应爬虫线程通过所述采集集群模块...
该专利属于北大方正集团有限公司;北京北大方正电子有限公司所有,仅供学习研究参考,未经过北大方正集团有限公司;北京北大方正电子有限公司授权不得商用。

详细技术文档下载地址

温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。