一种基于行为特征分析的反爬方法技术

本发明专利技术涉及一种基于行为特征分析的反爬方法，涉及网络安全技术领域。本发明专利技术在传统反爬机制的基础上，结合对爬虫程序的行为特征分析，提出了一种基于行为特征分析的反爬方法。本发明专利技术能够有效地从根本上解决其爬虫问题，同时配合传统反爬封禁手段，能够极大地增强爬虫难度和成本，实现良好的反爬效果。实现良好的反爬效果。实现良好的反爬效果。

【技术实现步骤摘要】
一种基于行为特征分析的反爬方法


[0001]本专利技术涉及网络安全
，具体涉及一种基于行为特征分析的反爬方法。

技术介绍

[0002]随着互联网的高速发展，网络中的信息量极其丰富，如何从海量数据中快速准确查找所需资源成为许多人的需求。网络爬虫技术应运而生，网络爬虫能够快速、准确、持续地获取特定网络资源。但是，对于网站内容提供者来说，不希望数据、尤其是特有数据被他人爬取，且大规模的网络爬虫可能会造成对网站的拒绝服务攻击，因此诞生了反爬虫技术。
[0003]传统的反爬虫技术包括User
‑
Agent控制请求、Session访问限制、蜘蛛陷阱、验证码校验、动态数据加载、IP限制、参数加密等。
[0004]User
‑
Agent控制请求是通过设置User
‑
Agent白名单，限定访问范围，但是爬虫程序可以通过伪造合法程序头部信息进行访问。
[0005]Session访问限制是网站提供方通过短时间内的访问量大小来判断爬虫程序，对于判断为爬虫的程序，将其携带的Session本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于行为特征分析的反爬方法，其特征在于，包括以下步骤：S1、对单位时间T内的访问请求次数N进行限制，设置阈值K；S2、监视网络访问请求，判断其请求次数N是否超过阈值K；S3、对于访问请求次数超过阈值K的行为A，记录其user
‑
agent、IP地址、session值信息；S4、继续允许A访问，并对其行为特征进行分析，直至判断出其行为特征，并将其设定为一种爬虫行为模板M；S5、将记录的user
‑
agent、IP地址、session值加入黑名单；S6、将爬虫行为模板M加入黑名单，对于符合M的爬虫行为实施封禁。2.如权利要求1所述的方法，其特征在于，步骤S1中，通过网站内容提供方持续地对本网站的访问情况进行监听实现。3.如权利要求1所述的方法，其特征在于，步骤S3中，网站内容提供方记...

【专利技术属性】
技术研发人员：刘滋润，贾琼，杨枭，汪美琴，蔡培勤，张帅，罗济凡，
申请(专利权)人：北京计算机技术及应用研究所，
类型：发明
国别省市：