反爬虫的方法技术

本发明专利技术公开了一种反爬虫的方法，包括：将网站的前端与后端相分离，后端负责数据生成，前端负责数据的展示；在开发过程中，预先定义多套前段展示数据的方式；在实施过程中，定期更新前端的数据展现方式。本发明专利技术通过对现有反爬虫技术的分析对比，提出了使用定期更新前端数据展示方式的方法，以降低网站的爬虫流量，防止爬虫窃取网站数据，使数据只被正常用户访问。

Anti reptilian method

The invention discloses a method, including: anti crawler separation front-end and back-end website, back-end data generation, is responsible for data display; in the process of development, some pre-defined multiple sets of data display mode; in the implementation process, regularly updated before the end of the data show the way. Based on the analysis and comparison of the existing reptile technology, the method of regularly updating the front-end data display mode is put forward, so as to reduce the crawler flow rate of the website and prevent the crawler from stealing the website data, so that the data can only be accessed by the normal users.

【技术实现步骤摘要】
反爬虫的方法
本专利技术涉及信息安全
，具体涉及一种反爬虫的方法。
技术介绍
在互联网发展的今天，每个网站都有一些公开数据供正常用户浏览，但是不希望被恶意爬虫获取，例如，电商数据中商品的价格，供正常用户浏览，而不希望被竞争对手轻易获取。网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中间，也经常的称为网页追逐者)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。在反爬虫领域常使用如下做法：方法一，通过对请求者的IP地址进行统计，当访问频率或者访问次数达到一定阈值的时候，封禁此IP的请求。方法二，通过反向扫描，查看客户端的端口开放情况，以决定是否封禁客户端IP。以上方式都存在着较大的缺陷。由于现行的IPv4地址数量有限，很多用户都使用同一个外网IP，这样很容易达到上述方式一中的频率或阈值，造成误伤。方式二通过反向扫描以确定客户端是否正常，但是实际中存在着打开非常用端口的客户端，因此方式二也容易造成误伤。
技术实现思路
本专利技术克服了现有技术的不足，提供一种反爬虫的方法，旨在降低网站的爬虫流量，防止网站数据被窃取，以及使数据只被正常用户访问。考虑到现有技术的上述问题，本文档来自技高网...

【技术保护点】
一种反爬虫的方法，其特征在于包括：将网站的前端与后端相分离，后端负责数据生成，前端负责数据的展示；在开发过程中，预先定义多套前段展示数据的方式；在实施过程中，定期更新前端的数据展现方式。

【技术特征摘要】
1.一种反爬虫的方法，其特征在于包括：将网站的前端与后端相分离，后端负责数据生成，前端负责数据的展示；在开发过程中，预先定义多套前段展示数...

【专利技术属性】
技术研发人员：付强，
申请(专利权)人：四川长虹电器股份有限公司，
类型：发明
国别省市：四川,51