一种网络信息采集方法及装置制造方法及图纸

本发明专利技术提供了一种网络信息采集方法及装置，方法包括：确定待采集网络信息的目标网站；获取对应所述目标网站的统一资源定位符URL；针对每一个URL，抓取对应的网络信息，并获取每一个URL与其子URL的属性关系；根据抓取到的网络信息和获取的所述属性关系，确定是否存在漏采信息；在确定存在漏采信息时，对漏采信息进行重新采集。根据本方案，通过在抓取网络信息的过程中，获取每一个URL与其子URL的属性关系，可以根据抓取到的网络信息和属性关系来确定是否存在漏采信息，如果存在，可以对漏采信息进行重新采集，从而可以采集到完整的网络信息。

A Network Information Acquisition Method and Device

【技术实现步骤摘要】
一种网络信息采集方法及装置
本专利技术涉及数据处理
，特别涉及一种网络信息采集方法及装置。
技术介绍
随着互联网技术的迅速发展，互联网在社会和生活中的地位越来越显著。尤其是互联网作为大量信息的载体，如何有效地采集这些信息成为一个巨大的挑战。目前，可以通过网络爬虫的方式来实现网页信息的采集，通过抓取既定目标，有选择的访问互联网上的网页和相关链接，抓取需要的网页信息。然而，网络爬虫方式在抓取网页信息的过程中，经常存在信息漏采的问题，而信息漏采可能会对信息使用造成较大影响，因此，如何采集完整的网络信息，，成为急需解决的问题。
技术实现思路
本专利技术实施例提供了一种网络信息采集方法及装置，以采集完成的网络信息。第一方面，本专利技术实施例提供了一种网络信息采集方法，包括：确定待采集网络信息的目标网站；获取对应所述目标网站的统一资源定位符URL；针对每一个URL，抓取对应的网络信息，并获取每一个URL与其子URL的属性关系；根据抓取到的网络信息和获取的所述属性关系，确定是否存在漏采信息；在确定存在漏采信息时，对漏采信息进行重新采集。优选地，所述获取对应所述目标网站的统一资源定位符URL，包括本文档来自技高网...

【技术保护点】
1.一种网络信息采集方法，其特征在于，包括：确定待采集网络信息的目标网站；获取对应所述目标网站的统一资源定位符URL；针对每一个URL，抓取对应的网络信息，并获取每一个URL与其子URL的属性关系；根据抓取到的网络信息和获取的所述属性关系，确定是否存在漏采信息；在确定存在漏采信息时，对漏采信息进行重新采集。

【技术特征摘要】
1.一种网络信息采集方法，其特征在于，包括：确定待采集网络信息的目标网站；获取对应所述目标网站的统一资源定位符URL；针对每一个URL，抓取对应的网络信息，并获取每一个URL与其子URL的属性关系；根据抓取到的网络信息和获取的所述属性关系，确定是否存在漏采信息；在确定存在漏采信息时，对漏采信息进行重新采集。2.根据权利要求1所述的方法，其特征在于，所述获取对应所述目标网站的统一资源定位符URL，包括：确定所述目标网站的入口URL；根据所述入口URL，确定对应所述目标网站的URL抽取规则；利用所述URL抽取规则，执行如下步骤：S0：将所述入口URL作为第一URL，执行S1；S1：抽取与第一URL相关的URL，将抽取到的URL作为第一URL，并执行S1，直到未抽取到与第一URL相关的URL。3.根据权利要求1所述的方法，其特征在于，每一个目标URL与其子URL的属性关系包括：目标URL、目标URL对应的各个子URL、以及每一个子URL对应的深度、目标URL的类型和该目标URL对应的每一个子URL的类型；所述类型至少包括：导航页、列表页和详情页中的至少一种。4.根据权利要求1所述的方法，其特征在于，所述根据抓取到的网络信息和获取的所述属性关系，确定是否存在漏采信息，包括：根据所述属性关系，确定每一个当前URL对应的子URL的数量；并根据抓取到的网络信息，确定每一个当前URL对应的抓取数量；针对每一个第二URL，在确定该第二URL对应的子URL的数量和抓取数量之间的差值大于0时，则确定对该第二URL进行网络信息的抓取时，存在漏采信息。5.根据权利要求4所述的方法，其特征在于，在确定针对第二URL存在漏采信息时，所述对漏采信息进行重新采集，包括：根据第二URL对应的子URL以及针对该第二URL抓取到的网络信息，确定未进行网络信息抓取的子URL；对未进行网络信息抓取的子URL进行重新采集。6.一种网络信息采集...

【专利技术属性】
技术研发人员：王雅文，
申请(专利权)人：镇江共远软件开发有限公司，
类型：发明
国别省市：江苏,32