一种基于对分页参数加密的反网络爬虫的方法技术

本发明专利技术涉及一种基于对分页参数加密的反网络爬虫的方法，本发明专利技术步骤为：S1.客户端和服务端约定一套加密协议；S2.客户端对分页参数基于内部约定的加密协议做映射；S3.客户端发送分页请求时，携带的参数为加密后的密文；S4.服务端收到客户端发送的密文参数后，根据加密协议解密密文，响应结果给客户端，客户端进行页面展示。实施本发明专利技术可以提高网站资源被恶意爬取的难度；防止各类爬虫工具消耗大量网站资源；降低了将普通用户识别为爬虫的可能性。

【技术实现步骤摘要】
一种基于对分页参数加密的反网络爬虫的方法
本专利技术涉及一种反网络爬虫方法，更具体地说，涉及一种基于对分页参数加密的反网络爬虫的方法。
技术介绍
随着互联网的迅速发展，越来越多的公司把一些重要信息放到互联网上，或者通过互联网展示一些有价值的东西，这些有价值的东西也就面临着被非法批量爬取下载的风险，给公司带来一定程度的危害，甚至影响公司网站的正常运行。服务端对访问进行统计，对单个IP的访问的统计分析，比如某个IP在短时间内频繁的有规律的访问站点，即可对其IP进行处理。服务端可以对客户端请求时携带的userAgent进行验证，如果没用携带userAgent或者携带的userAgent异常，即可对其请求进行处理，只有属于正常范围的userAgent才能正常访问。爬虫程序可以通过技术手段模拟session，userAgent等数据经行访问爬取数据，也可以批量部署ip，不停切换ip进行访问爬取数据，让后台无法识别该访问是爬虫还是普通用户。用icon,图片等对文字或数字做映射，把文字映射为图片展示在页面上，因为目前爬虫程序都是将网站转换成字符串进行截取分析，无法直接识别图片，所以提高了爬虫难度。本文档来自技高网...

【技术保护点】
1.一种基于对分页参数加密的反网络爬虫的方法，其特征在于，所述基于对分页参数加密的反网络爬虫的方法步骤为：S1.客户端和服务端约定一套加密协议；S2.客户端对分页参数基于内部约定的加密协议做映射；S3.客户端发送分页请求时，携带的分页参数为加密后的密文；S4.服务端收到客户端发送的密文参数后，根据加密协议解密密文，响应结果给客户端，客户端进行页面展示。

【技术特征摘要】
1.一种基于对分页参数加密的反网络爬虫的方法，其特征在于，所述基于对分页参数加密的反网络爬虫的方法步骤为：S1.客户端和服务端约定一套加密协议；S2.客户端对分页参数基于内部约定的加密协议做映射；S3.客户端发送分页请求时，携带的分页参数为加密后的...

【专利技术属性】
技术研发人员：于桃，戴立伟，
申请(专利权)人：深圳竹云科技有限公司，
类型：发明
国别省市：广东,44