深圳市鼎圣咨询科技有限公司专利技术

深圳市鼎圣咨询科技有限公司共有1项专利

  • 本申请提供了一种基于大数据的搜索结果推送方法及系统,运用于大数据分析技术领域,通过分布式增量爬虫实时采集多源异构数据,基于时间戳阈值判断与布隆过滤器去重机制实现增量数据抓取,采用Scrapy‑Redis框架构建分布式爬虫集群,通过协调组...
1