网页抓取请求处理方法、装置、服务器及存储介质制造方法及图纸

本公开是关于一种网页抓取请求处理方法、装置、服务器及存储介质，属于网络技术领域。该方法包括：获取搜索引擎服务器发送的网页抓取请求；根据所述网页抓取请求的特征信息，获取目标网页数据；将所述目标网页数据发送至所述搜索引擎服务器。该方法通过网页抓取请求的特征信息，来有针对性的为搜索引擎服务器获取目标网页数据，由于特征信息能够区分各个搜索引擎服务器，因此，基于该特征信息的获取，能够满足不同搜索引擎服务器的不同数据需求，也即能够实现对不同的搜索引擎服务器返回定制化的网页数据。

【技术实现步骤摘要】
网页抓取请求处理方法、装置、服务器及存储介质
本公开涉及网络
，尤其涉及一种网页抓取请求处理方法、装置、服务器及存储介质。
技术介绍
相关技术中，用户采用搜索引擎进行搜索时，搜索引擎服务器可以基于用户的搜索字，返回相应的网页数据的跳转链接。在上述过程中，搜索引擎服务器会不定时向各个网站服务器发出网页抓取请求，以获取各个网站当前的网页数据，从而存储到搜索引擎服务器上以备调用，其中，该网页抓取请求用于抓取网页数据。而对各个网站服务器而言，对于各个搜索引擎服务器发送的网页抓取请求，均会返回相同的网页数据，不能够满足不同搜索引擎服务器的不同数据需求，无法实现搜索引擎服务器的定制化搜索。
技术实现思路
本公开提供一种网页抓取请求处理方法、装置、服务器及存储介质，能够满足不同搜索引擎服务器的不同数据需求，实现搜索引擎服务器的定制化搜索。根据本公开实施例的第一方面，提供一种网页抓取请求处理方法，该方法包括：获取搜索引擎服务器发送的网页抓取请求，该网页抓取请求用于请求返回网页数据；根据该网页抓取请求的特征信息，获取目标网页数据，该目标网页数据与该特征信息对应，该特征信息用于表示发出该网页抓取请求的本文档来自技高网...

【技术保护点】
1.一种网页抓取请求处理方法，其特征在于，所述方法包括：获取搜索引擎服务器发送的网页抓取请求，所述网页抓取请求用于请求返回网页数据；根据所述网页抓取请求的特征信息，获取目标网页数据，所述目标网页数据与所述特征信息对应，所述特征信息用于表示发出所述网页抓取请求的搜索引擎服务器的数据需求；将所述目标网页数据发送至所述搜索引擎服务器。

【技术特征摘要】
1.一种网页抓取请求处理方法，其特征在于，所述方法包括：获取搜索引擎服务器发送的网页抓取请求，所述网页抓取请求用于请求返回网页数据；根据所述网页抓取请求的特征信息，获取目标网页数据，所述目标网页数据与所述特征信息对应，所述特征信息用于表示发出所述网页抓取请求的搜索引擎服务器的数据需求；将所述目标网页数据发送至所述搜索引擎服务器。2.根据权利要求1所述的网页抓取请求处理方法，其特征在于，所述根据所述网页抓取请求的特征信息，获取目标网页数据包括：根据所述特征信息，查询与所述特征信息对应的缓存数据；当查询到所述缓存数据时，将所述缓存数据获取为所述目标网页数据。3.根据权利要求1所述的网页抓取请求处理方法，其特征在于，所述根据所述网页抓取请求的特征信息，获取目标网页数据包括：根据所述特征信息，查询与所述特征信息对应的缓存数据；当查询不到所述缓存数据时，通过配置服务器获取所述目标网页数据，所述配置服务器用于为各个特征信息配置对应的网页数据。4.根据权利要求3所述的网页抓取请求处理方法，其特征在于，所述当查询不到所述缓存数据时，通过配置服务器获取所述目标网页数据之后，所述方法还包括：将所述特征信息缓存为对象键名，所述对象键名用于指示下一次获取所述目标网页数据的索引；将所述目标网页数据缓存为对象键值，所述对象键值用于指示下一次根据所述对象键名查询到的索引内容。5.根据权利要求1所述的网页抓取请求处理方法，其特征在于，所述根据所述网页抓取请求的特征信息，获取目标网页数据包括：根据所述特征信息，查询与所述特征信息对应的缓存数据；当查询不到所述缓存数据，且接收到配置服务器发送的配置失败信息时，通过网站服务器获取所述目标网页数据，所...

【专利技术属性】
技术研发人员：刘明，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京,11