网页防爬虫方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术涉及网页防爬虫方法、装置、计算机设备及存储介质，该方法包括获取来自用户终端的访问请求；判断访问请求是否携带访问令牌；若访问请求不携带访问令牌，则将访问请求对应的替身页面反馈至用户终端；获取来自用户终端发起的验证请求；判断验证请求是否可验证成功；若验证请求可验证成功，则发送一个加密后的访问令牌至用户终端；返回获取来自用户终端的访问请求。本发明专利技术实现自动识别网页爬虫，并拦截来自网页爬虫的请求，且不影响用户上网体验，无需借助IP，优化防爬虫效果。

Methods, devices, computer equipment and storage media of web page anti crawler

【技术实现步骤摘要】
网页防爬虫方法、装置、计算机设备及存储介质
本专利技术涉及计算机，更具体地说是指网页防爬虫方法、装置、计算机设备及存储介质。
技术介绍
网页爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。有些网站通过爬虫去采集其它的网站页面信息作为己用，大量的爬取行为会对网页服务器有比较性能有影响，因此需要进行网页防爬虫操作。目前最有效且广为使用的防爬虫方法通常是采用各种交互式的验证码、限制IP(网络之间互连的协议，InternetProtocol)请求频率等。交互式的验证码，需要用户频繁的输入验证码，非常影响用户体验。而采用限制IP访问频率的方式，在NAT(网络地址转换，NetworkAddressTranslation)网络环境下可能出现误报，而且通过使用代理IP，可以绕过IP频繁访问限制，防爬虫效果不是很好。因此，有必要设计一种新的方法，实现自动识别网页爬虫，并拦截来自网页爬虫的请求，且不影响用户上网体验，优化防爬虫效果。专利技术内容本专利技本文档来自技高网...

【技术保护点】
1.网页防爬虫方法，其特征在于，包括：/n获取来自用户终端的访问请求；/n判断所述访问请求是否携带访问令牌；/n若所述访问请求不携带访问令牌，则将所述访问请求对应的替身页面反馈至用户终端；/n获取来自用户终端发起的验证请求；/n判断所述验证请求是否可验证成功；/n若验证请求可验证成功，则发送一个加密后的访问令牌至用户终端；/n返回所述获取来自用户终端的访问请求。/n

【技术特征摘要】
1.网页防爬虫方法，其特征在于，包括：
获取来自用户终端的访问请求；
判断所述访问请求是否携带访问令牌；
若所述访问请求不携带访问令牌，则将所述访问请求对应的替身页面反馈至用户终端；
获取来自用户终端发起的验证请求；
判断所述验证请求是否可验证成功；
若验证请求可验证成功，则发送一个加密后的访问令牌至用户终端；
返回所述获取来自用户终端的访问请求。


2.根据权利要求1所述的网页防爬虫方法，其特征在于，所述判断所述访问请求是否携带访问令牌之后，还包括：
若所述访问请求携带访问令牌，则判断所述访问令牌是否合格；
若所述访问令牌合格，则将所述访问请求发送至后台服务器，以使得后台服务器反馈访问请求对应的数据；
将后台服务器反馈的数据发送至用户终端。


3.根据权利要求1所述的网页防爬虫方法，其特征在于，所述将所述访问请求对应的替身页面反馈至用户终端，包括：
对所述访问请求对应的页面进行混淆；
对混淆后的页面进行加密，以形成替身页面；
反馈所述替身页面至用户终端。


4.根据权利要求1所述的网页防爬虫方法，其特征在于，所述验证请求包括用户终端执行替身页面后所得到的结果。


5.根据权利要求1所述的网页防爬虫方法，其特征在于，所述判断所述验证请求是否可验证成功之后，还包括：
若否，则返回所述将所述访问请求对应的替身页面反馈至用户终端。


6.网页防爬虫装置，其特征在于，包括：
访问请求获取单元，用于获取来自用...

【专利技术属性】
技术研发人员：邱富根，王彪，刘龙辉，赵海诚，
申请(专利权)人：深圳市信联征信有限公司，
类型：发明
国别省市：广东;44