下载一种网站数据抓取装置及方法的技术资料

文档序号:5459529

温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。

本发明提供了一种网站数据抓取装置及方法,该方法包括:获取多条爬虫日志,以形成日志文件;以站点名称为基准将日志文件合并到合并日志文件;以IP地址为基准对合并日志文件进行倒排处理,以获取倒排日志文件;对倒排日志文件中每一IP地址下的站点名称进行...
该专利属于百度在线网络技术(北京)有限公司所有,仅供学习研究参考,未经过百度在线网络技术(北京)有限公司授权不得商用。

详细技术文档下载地址

温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。