下载一种基于分发器和配置表组合的泛型爬虫系统的技术资料

文档序号:24574928

温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。

本发明公开了一种基于分发器和配置表组合的泛型爬虫系统,包括爬虫引擎、URL管理器、网页下载器、内容解析器、数据存储器和线程控制器,爬虫引擎包括配置表填写模块、分发器组合模块;网页下载器包括泛型接口分发器、安全绕过管理器和下载器;内容解析器包...
该专利属于西安热工研究院有限公司所有,仅供学习研究参考,未经过西安热工研究院有限公司授权不得商用。

详细技术文档下载地址

温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。