【技术实现步骤摘要】
一种爬虫识别加密串的生成方法、爬虫识别方法及装置
本专利技术涉及防爬虫系统,尤其涉及一种爬虫识别加密串的生成方法、爬虫识别方法及存储介质。
技术介绍
目前,在Web系统(包括所有的网站和API接口)中,在服务资源有限的情况下,当存在大量的网络爬虫是会消耗到大量的服务器资源,则会影响正常用户的访问。而现有的防爬虫系统基本都是通过Web请求中的用户代理(user-agent,其指浏览器或搜索引擎等)判断是否是爬虫,当认为是爬虫时,将爬虫的访问请求丢弃。但是这种方式存在以下缺点:1)用户代理可以设置为模拟的,因此仅仅通过用户代理对爬虫进行识别判断时,容易存在误判的情况,比如将正常用户也判断为爬虫或者将机器爬虫认为是正常用户等;2)对搜索引擎的机器爬虫采用丢弃的方式会造成搜索引擎无法收录网站内容,影响网站的推广。
技术实现思路
为了克服现有技术的不足,本专利技术的目的之一在于提供一种爬虫识别加密串的生成方法,其能够解决现有技术中对于爬虫的误判问题。本专利技术的目的之二在于提供一种计算机可读存储介质,其能够解决现有技术中对于爬虫的误判问题。本专利技术的目的之三在于提供一种爬虫识 ...
【技术保护点】
1.一种爬虫识别加密串的生成方法,应用于用户端,其特征在于包括以下步骤:接收步骤:当访问请求为第一次时,接收服务器端返回的加密串并将加密串存储用户端的缓存中;发送步骤:当访问请求为非第一次时,读取用户端的缓存中的加密串并发送给服务器端。
【技术特征摘要】
1.一种爬虫识别加密串的生成方法,应用于用户端,其特征在于包括以下步骤:接收步骤:当访问请求为第一次时,接收服务器端返回的加密串并将加密串存储用户端的缓存中;发送步骤:当访问请求为非第一次时,读取用户端的缓存中的加密串并发送给服务器端。2.如权利要求1所述爬虫识别加密串的生成方法,其特征在于:所述接收步骤还包括:接收服务器端返回的js代码,并获取用户端的当前时间,然后通过js代码将用户端的当前时间与加密串进行二次加密并将其存储于用户端的缓存中。3.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现如权利要求1-2中任一项所述的爬虫识别加密串的生成方法的步骤。4.一种爬虫识别方法,应用于服务器端,其特征在于包括以下步骤:发送加密串步骤:当访问请求为第一次时,生成加密串并将加密串返回给用户端;解密步骤:当访问请求非第一次时,接收用户端发送的加密串;第一判断步骤:根据加密串是否为服务器生成判断访问请求是否正常用户的访问请求。5.如权利要求4所述的方法,其特征在于:还包括:第二判断步骤:当访问请求不是正常用户的访问请求时,根据用户代理判断访...
【专利技术属性】
技术研发人员:王新林,
申请(专利权)人:广东智媒云图科技股份有限公司,
类型:发明
国别省市:广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。