数据爬取方法、装置、存储介质及服务器制造方法及图纸

本申请公开了一种数据爬取方法、装置、存储介质以及服务器，其中方法包括：接收爬虫发送的多个数据爬取请求，按照各所述数据爬取请求的优先级从高到低的顺序对所述多个数据爬取请求进行排序，将排序后的所述多个数据爬取请求依次发送至下载器，以使所述下载器下载各所述数据爬取请求分别对应的网页，以使所述爬虫分别对各所述网页进行解析得到对应的第一数据并发送至元素管道。采用本申请实施例，通过对多个数据爬取请求按照优先级进行排序后，按照排列顺序进行数据的爬取，从而实现根据数据爬取请求的优先级完成数据爬取，节省了优先级高的请求的等待时长，提高数据爬取的效率。提高数据爬取的效率。提高数据爬取的效率。

【技术实现步骤摘要】
数据爬取方法、装置、存储介质及服务器


[0001]本申请涉及计算机领域，尤其涉及一种数据爬取方法、装置、存储介质及服务器。

技术介绍

[0002]现如今，交互平板的使用普及度越来越高，交互平板的应用逐渐普及，而不同的交互平板之间的数据共享以及对共享的信息进行预览也成为一项不可或缺的实用性功能。

技术实现思路

[0003]本申请实施例提供了一种数据爬取方法、装置、存储介质及服务器，通过对多个数据爬取请求按照优先级进行排序后，按照排列顺序进行数据的爬取，节省了优先级高的请求的等待时长，提高数据爬取的效率。本技术方案如下：
[0004]第一方面，本申请实施例提供了一种数据爬取方法，其特征在于，所述方法包括：
[0005]接收爬虫发送的多个数据爬取请求，按照各所述数据爬取请求的优先级从高到低的顺序对所述多个数据爬取请求进行排序；
[0006]将排序后的所述多个数据爬取请求依次发送至下载器，以使所述下载器下载各所述数据爬取请求分别对应的网页，以使所述爬虫分别对各所述网页进行解析得到对应的第一数据并发送至元素管道。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据爬取方法，其特征在于，应用于调度器，所述方法包括：接收爬虫发送的多个数据爬取请求，按照各所述数据爬取请求的优先级从高到低的顺序对所述多个数据爬取请求进行排序；将排序后的所述多个数据爬取请求依次发送至下载器，以使所述下载器下载各所述数据爬取请求分别对应的网页，以使所述爬虫分别对各所述网页进行解析得到对应的第一数据并发送至元素管道。2.根据权利要求1所述的方法，其特征在于，所述接收爬虫发送的多个数据爬取请求，按照各所述数据爬取请求的优先级从高到低的顺序对所述多个数据爬取请求进行排序，包括：接收爬虫发送的多个数据爬取请求，并获取各所述数据爬取请求对应的爬取状态；基于各所述爬取状态设置各所述数据爬取请求的等待时长；基于各所述等待时长设置各所述数据爬取请求的优先级，并按照各所述数据爬取请求的优先级从高到低的顺序对所述多个数据爬取请求进行排序。3.根据权利要求2所述的方法，其特征在于，所述基于各所述爬取状态设置各所述数据爬取请求的等待时长，包括：若所述爬取状态为新建爬取状态，则将所述数据爬取请求的等待时长设置为第一时长；若所述爬取状态为反爬取状态，则将所述数据爬取请求的等待时长设置为第二时长，所述第二时长大于所述第一时长；若所述爬取状态为突发爬取状态，则将所述数据爬取请求的等待时长设置为第三时长，所述第三时长小于所述第一时长。4.根据权利要求3所述的方法，其特征在于，所述基于各所述等待时长设置各所述数据爬取请求的优先级，包括：将所述等待时长为第一时长的数据爬取请求设置为第一优先级，将所述等待时长为第二时长的数据爬取请求设置为第二优先级，将所述等待时长为第三时长的数据爬取请求设置为第三优先级，所述第三优先级大于所述第一优先级，所述第一优先级大于所述第二优先级。5.根据权利要求1所述的方法，其特征在于，所述接收爬虫发送的多个数据爬取请求，包括：当爬虫对所获取的各爬虫种子分别进行解析后得到的第二数据不存在于数据库中时，接收所述爬虫发送的多个数据爬取请求，各所述数据爬取请求为所述爬虫基于各所述第二数据生成。6.根据权利要求1所述的方法，其特征在于，所述将排序后的所述多个数据爬取请求依次发送至下载器，以使所述下载器下载各所述数据爬取请求分别对应的网页，以使所述爬虫分别对各所述网页进行解析得到对应的第一数据并发送至元素管道，包括：将排序后的所述多个数据爬取请求依次发送至下载器，以使所述下载器下载各所述数据爬取请求分别对应的网页，以使所述爬虫分别对各所述网页进行解析得到对应的第一数据并发送至元素管道，以使所述元素管道对所述第一数据进行验证，并基于验证结果对所述第一数据进行处理。
7.根据权利要求6所述的方法，...

【专利技术属性】
技术研发人员：张似衡，
申请(专利权)人：广州视源人工智能创新研究院有限公司，
类型：发明
国别省市：