温馨提示：您尚未登录，请点 登陆 后下载，如果您还没有账户请点 注册 ，登陆完成后，请刷新本页查看技术详细信息。

本发明公开了一种基于Spark Streaming的双周期爬虫系统及其运行方法，页面下载模块负责下载页面，下载时调用DNS缓存模块里缓存的DNS信息，加速DNS解析以缩短页面下载时长；URL分发调度模块负责调用URL抽取模块，从新下载好的页...
该专利属于河海大学所有，仅供学习研究参考，未经过河海大学授权不得商用。

详细技术文档下载地址

温馨提示：您尚未登录，请点 登陆 后下载，如果您还没有账户请点 注册 ，登陆完成后，请刷新本页查看技术详细信息。