温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。
本发明提供了一种网站数据抓取装置及方法,该方法包括:获取多条爬虫日志,以形成日志文件;以站点名称为基准将日志文件合并到合并日志文件;以IP地址为基准对合并日志文件进行倒排处理,以获取倒排日志文件;对倒排日志文件中每一IP地址下的站点名称进行...该专利属于百度在线网络技术(北京)有限公司所有,仅供学习研究参考,未经过百度在线网络技术(北京)有限公司授权不得商用。
温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。
本发明提供了一种网站数据抓取装置及方法,该方法包括:获取多条爬虫日志,以形成日志文件;以站点名称为基准将日志文件合并到合并日志文件;以IP地址为基准对合并日志文件进行倒排处理,以获取倒排日志文件;对倒排日志文件中每一IP地址下的站点名称进行...