温馨提示：您尚未登录，请点 登陆 后下载，如果您还没有账户请点 注册 ，登陆完成后，请刷新本页查看技术详细信息。

本发明涉及一种网络爬虫的数据处理系统及方法，通过接收针对待爬取网页URL的重复性校验请求，以及待爬取网页URL多个特征信息集合成的特征信息集；将所述待爬取网页URL的每个特征信息输入至校验布隆过滤器，通过所有特征信息同时判断URL的重复性，...
该专利属于顺丰科技有限公司所有，仅供学习研究参考，未经过顺丰科技有限公司授权不得商用。

详细技术文档下载地址

温馨提示：您尚未登录，请点 登陆 后下载，如果您还没有账户请点 注册 ，登陆完成后，请刷新本页查看技术详细信息。