一种图片抓取方法及装置制造方法及图纸

本发明专利技术实施例提供一种图片抓取方法及装置。其中，方法包括：当多图片抓取进程发生阻塞时，获取图片抓取任务；唤醒所述多图片抓取进程，以对所述图片抓取任务指向的图片进行抓取；将所述图片的状态信息更新为抓取中状态。本发明专利技术实施例能够提高图片抓取效率，减少图片抓取时长。

A method and device for picture grabbing

An embodiment of the invention provides a picture grabbing method and a device. Among them, the method includes: when the process of multi image grabbing is blocked, the image grabbing task is fetched; the multi image grabbing process is waken up, and the pictures captured by the task are grabbed; the state information of the picture is updated to the state of grasping. The embodiment of the invention can improve the capture efficiency of the picture and reduce the length of the picture capture.

【技术实现步骤摘要】
一种图片抓取方法及装置
本专利技术涉及互联网
，尤其涉及一种图片抓取方法及装置。
技术介绍
随着互联网技术的不断发展，越来越多的用户使用电脑、手机等终端进行上网冲浪，使得网络服务器需要不断地响应客户端的大量请求，去抓取大量的资源(例如：图片)。现有技术中，为了加快图片抓取速度，采用多进程并行抓取图片。但是由于一个进程一次性只能抓取一张图片。且服务器CPU所能支持的进程数量是有限的，这就导致服务器同一时刻所能抓取的图片数量有限。可见，现有技术中图片抓取效率低、耗时长。
技术实现思路
本专利技术提供一种图片抓取方法及装置，目的在于提高图片抓取效率，减少图片抓取时长。为了解决上述技术问题，本专利技术提供了一种图片抓取方法。该方法包括：当多图片抓取进程发生阻塞时，获取图片抓取任务；唤醒所述多图片抓取进程，以对所述图片抓取任务指向的图片进行抓取；将所述图片的状态信息更新为抓取中状态。可选地，该方法，还包括：获取多个图片的状态信息，所述状态信息包含状态标识、时间戳及客户端信息；当同一时间戳且同一客户端信息的多个图片的状态标识均为抓取完成时，将所述同一时间戳且同一客户端信息的多个图片反馈给所述客本文档来自技高网...

【技术保护点】
一种图片抓取方法，其特征在于，包括：当多图片抓取进程发生阻塞时，获取图片抓取任务；唤醒所述多图片抓取进程，以对所述图片抓取任务指向的图片进行抓取；将所述图片的状态信息更新为抓取中状态。

【技术特征摘要】
1.一种图片抓取方法，其特征在于，包括：当多图片抓取进程发生阻塞时，获取图片抓取任务；唤醒所述多图片抓取进程，以对所述图片抓取任务指向的图片进行抓取；将所述图片的状态信息更新为抓取中状态。2.根据权利要求1所述的方法，其特征在于，还包括：获取多个图片的状态信息，所述状态信息包含状态标识、时间戳及客户端信息；当同一时间戳且同一客户端信息的多个图片的状态标识均为抓取完成时，将所述同一时间戳且同一客户端信息的多个图片反馈给所述客户端信息对应的客户端。3.根据权利要求1所述的方法，其特征在于，将所述图片的状态信息更新为抓取中状态，包括：获取所述图片的同一资源定位符URL；根据所述同一资源定位符URL，提取所述图片的已有状态信息；将所述已有状态信息替换为所述抓取中状态。4.根据权利要求1至3中任一项所述的方法，其特征在于，唤醒所述多图片抓取进程，以对所述图片抓取任务指向的图片进行抓取，包括：唤醒所述多图片抓取进程，由所述多图片抓取进程获取所述图片的同一资源定位符URL；由所述多图片抓取进程根据所述URL生成所述图片的抓取请求并发出。5.根据权利要求1至3中任一项所述的方法，其特征在于，还包括：获取所述状态信息为抓取中状态的图片的当前抓取量及数据总量；比对所述当前抓取量及所述数据总量；若所述当前抓取量等于所述数据总量，则将所述状态信息为抓取中状态的图片的状态信息更新为抓取完成状态。6.一种图片抓取装置，其特征在于...

【专利技术属性】
技术研发人员：卢永菁，张菊元，
申请(专利权)人：北京潘达互娱科技有限公司，
类型：发明
国别省市：北京,11