【技术实现步骤摘要】
基于用户行为埋点的爬虫识别方法及系统
本专利技术涉及网络爬虫识别
，特别涉及一种基于用户行为埋点的爬虫识别方法及系统。
技术介绍
网站每天都在面对爬虫抓取信息，造成网站的一手信息被其他网站大量窃取，且无节制的访问会引起前端服务器的性能出现瓶颈，影响底层接口服务器的性能，瞬间进来的流量对网站的网络链接和服务性能等冲击很大，带来严重后果，网络爬虫对网站订单也无任何帮助，还会造成网站转化偏低，影响网站运营人员对系统功能的评估。目前，根据请求中IP(网络之间互连的协议)地址访问频次的模式已经不能有效地识别及拦截新型网络爬虫。
技术实现思路
本专利技术要解决的技术问题是为了克服现有技术中根据请求中IP地址访问频次的模式不能有效地识别并拦截新型网络爬虫的缺陷，提供一种基于用户行为埋点的爬虫识别方法及系统。本专利技术是通过下述技术方案来解决上述技术问题：本专利技术提供一种基于用户行为埋点的爬虫识别方法，其特点是，包括步骤：S1、客户端接收用户发起的访问请求，并将所述访问请求向后端服务系统异步发送；S2、所述后端服务系统在接收到所述访问请求后，同步所述用户的访问日志，所述访问日...
【技术保护点】
1.一种基于用户行为埋点的爬虫识别方法，其特征在于，包括步骤：S1、客户端接收用户发起的访问请求，并将所述访问请求向后端服务系统异步发送；S2、所述后端服务系统在接收到所述访问请求后，同步所述用户的访问日志，所述访问日志包括所述用户的访问行为数据，所述访问行为数据包括所述用户的身份信息、访问页面、访问频次和访问轨迹之中的至少一种数据，所述用户的身份信息是指能表征用户具有唯一身份的数据；S3、所述后端服务系统通过规则引擎聚合所述访问行为数据，所述规则引擎预设有所述访问行为数据的聚合规则；S4、所述后端服务系统根据聚合后的所述访问行为数据判断所述用户是否属于爬虫，若是则根据所述...
【技术特征摘要】
1.一种基于用户行为埋点的爬虫识别方法，其特征在于，包括步骤：S1、客户端接收用户发起的访问请求，并将所述访问请求向后端服务系统异步发送；S2、所述后端服务系统在接收到所述访问请求后，同步所述用户的访问日志，所述访问日志包括所述用户的访问行为数据，所述访问行为数据包括所述用户的身份信息、访问页面、访问频次和访问轨迹之中的至少一种数据，所述用户的身份信息是指能表征用户具有唯一身份的数据；S3、所述后端服务系统通过规则引擎聚合所述访问行为数据，所述规则引擎预设有所述访问行为数据的聚合规则；S4、所述后端服务系统根据聚合后的所述访问行为数据判断所述用户是否属于爬虫，若是则根据所述访问日志聚合出所述用户的所述身份信息，并将聚合后的所述身份信息作为标识所述用户为爬虫的爬虫特征数据，然后将所述爬虫特征数据通过消息队列异步推送至所述客户端中的爬虫列表；S5、所述客户端根据所述爬虫列表响应所述访问请求。2.如权利要求1所述的基于用户行为埋点的爬虫识别方法，其特征在于，在步骤S3中，所述后端服务系统在聚合所述访问行为数据时，还根据所述访问行为数据命中所述聚合规则的数量进行评分，并在评分完成后将评分结果通过所述消息队列异步推送至所述客户端；步骤S5、所述客户端将所述评分结果结合所述爬虫列表判断所述用户属于爬虫的风险等级，并根据所述风险等级处理所述访问请求，所述处理包括拦截所述访问请求、降级服务所述访问请求或者放行所述访问请求，所述降级服务是指对所述访问请求返回预设的降级数据。3.如权利要求2所述的基于用户行为埋点的爬虫识别方法，其特征在于，在步骤S5中，当拦截所述访问请求后，所述客户端还向所述用户发送验证码以验证所述用户的身份。4.如权利要求1所述的基于用户行为埋点的爬虫识别方法，其特征在于，步骤S1中，所述客户端通过kafka系统将所述访问请求向后端服务系统异步发送。5.如权利要求1所述的基于用户行为埋点的爬虫识别方法，其特征在于，步骤S2中，所述后端服务系统通过搜索服务器同步所述访问日志，所述搜索服务器在同步所述访问日志后输出所述访问行为数据。6.一种基于用户行为埋点的爬虫识别系统，其特征在于，包括客户端和后端服务系统，所述客户端包括第一接收模块、发送模块、爬虫列表和处理模块，所述后端服务系统包括第二接收模块、聚合...
【专利技术属性】
技术研发人员：付文平，孙大圣，许鹏，
申请(专利权)人：携程旅游网络技术上海有限公司，
类型：发明
国别省市：上海,31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。