一种反爬虫方法、装置、处理器及计算机可读介质制造方法及图纸

本申请公开了一种反爬虫方法、装置、处理器及计算机可读介质，所述方法包括：接收访问请求；采用M个爬虫检测机制对所述访问请求进行检测，获取M个响应结果；采用预设裁决算法针对M个响应结果进行裁决，获得裁决结果；基于所述裁决结果为所述访问请求返回对应的数据。本申请实施例的反爬虫方法通过采用多个爬虫检测机制对访问请求进行检测，根据获得的多个响应结果根据需要选择相应的算法进行裁决计算，以基于裁决结果针对访问请求返回对应的数据，这样避免了单一爬虫检测机制可能造成的误判，提高了爬虫检测的准确性，还可以根据应用场景选用适应的算法进行裁决，提升了安全性，用户体验好。

【技术实现步骤摘要】
一种反爬虫方法、装置、处理器及计算机可读介质
本申请涉及互联网
，尤其涉及一种反爬虫方法、装置、处理器及计算机可读介质。
技术介绍
随着互联网技术的迅速发展，大数据时代随之兴起，目前带着个人信息的数据在互联网上几乎随处可见，也有越来越多的企业关注着收集用户数据，爬虫技术也随之快速发展，同时衍生出许多恶意爬虫，例如：DDoS攻击，通过爬虫使网络服务在大量的暴力访问下，资源耗尽而停止提供服务；搜索互联网用户的个人资料，恶意用户获取后有可能实施诈骗；12306购票系统被恶意爬虫占用不停刷票，导致用户购买不到车票，对网络环境造成严重的影响。现有技术中检测网络爬虫通常是根据爬虫的一个特征，通过设置阈值的方法来对访问行为进行检测，这样可能会出现爬虫检测的漏洞，导致网络爬虫检测的准确率降低；同时也会存在检测失误，当真实的用户访问请求的该特征超过设置的阈值时，会被误判断为网络爬虫，降低用户的体验感。
技术实现思路
本申请的实施例提供了如下方案：一种反爬虫方法，包括：接收访问请求；r>采用M个爬虫检测本文档来自技高网...

【技术保护点】
1.一种反爬虫方法，其特征在于，所述方法包括：/n接收访问请求；/n采用M个爬虫检测机制对所述访问请求进行检测，获取M个响应结果；/n采用预设裁决算法针对M个响应结果进行裁决，获得裁决结果；/n基于所述裁决结果为所述访问请求返回对应的数据。/n

【技术特征摘要】
1.一种反爬虫方法，其特征在于，所述方法包括：
接收访问请求；
采用M个爬虫检测机制对所述访问请求进行检测，获取M个响应结果；
采用预设裁决算法针对M个响应结果进行裁决，获得裁决结果；
基于所述裁决结果为所述访问请求返回对应的数据。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在接收到访问请求后，通过预设选择算法从预设的爬虫检测机制集合中选取M个不重复的爬虫检测机制的组合用于检测。


3.根据权利要求2所述的方法，其特征在于，所述选择算法包括随机游走算法；
所述通过预设选择算法从爬虫检测机制集合中选取M个不重复的爬虫检测机制的组合包括：
将所述爬虫检测机制集合中的爬虫检测机制分布于一维的网格节点上，随机选取一种爬虫检测机制为起始点，在相邻的节点集合中任意选取一个节点进行下一跳，以下一跳的节点继续跳转，以基于M个随机游走的节点生成M个不重复的爬虫检测机制的组合。


4.根据权利要求2所述的方法，其特征在于，所述方法还包括：基于预设条件，通过预设选择算法从预设的爬虫检测机制集合中多次抓取M个不重复的爬虫检测机制的组合用于检测。


5.根据权利要求1所述的方法，其特征在于，所...

【专利技术属性】
技术研发人员：唐金满，
申请(专利权)人：北京天融信网络安全技术有限公司，北京天融信科技有限公司，北京天融信软件有限公司，
类型：发明
国别省市：北京;11