一种爬虫入侵监控提醒系统技术方案

本新型涉及服务器技术领域，尤其是涉及一种爬虫入侵监控提醒系统。所述的爬虫入侵监控提醒系统主要包括应用服务器、访问客户端、网络交换机、爬虫分析服务器和远程控制客户端，本实用新型专利技术利用爬虫分析服务器和网络交换机对用户访问数据进行镜像数据采集，并对采集到数据进行爬虫分析，将占用服务器恶意爬虫的服务器信息发送至分析结果与邮件或短信的形式通知远程控制客户端，实现对占用大量服务器资源的爬虫进行分析、筛选和信息提示，并通过对服务器的远程管理，保证服务器稳定，从而保证网站服务访问速度，确保网站的正常运行。

A Reptile Invasion Monitoring and Reminding System

The new model relates to the field of server technology, in particular to a crawler intrusion monitoring and warning system. The crawler intrusion monitoring and warning system mainly includes application server, access client, network switch, crawler analysis server and remote control client. The utility model uses the crawler analysis server and network switch to collect mirror data of users'access data, and divides the collected data into crawlers. The server information of the malicious crawler occupying the server is sent to the remote control client in the form of analysis results and email or short message to realize the analysis, screening and information prompting of the crawler occupying a large amount of server resources. By remote management of the server, the stability of the server is guaranteed and the website is guaranteed. Service access speed to ensure the normal operation of the site.

【技术实现步骤摘要】
一种爬虫入侵监控提醒系统
本技术涉及服务器
，尤其是涉及一种爬虫入侵监控提醒系统。
技术介绍
随着互联网应用的发展，爬虫技术越来越普及，对于一个内容型驱动的网站来说，受到网络爬虫的光顾是不可避免的。智能搜索引擎爬虫的爬取频率比较合理，对网站资源消耗比较少，但是很多糟糕的网络爬虫，对网页爬取能力很差，经常并发几十上百个请求循环重复抓取，这种爬虫对中小型网站往往是毁灭性打击，特别是一些缺乏爬虫编写经验的程序员写出来的爬虫破坏力极强，造成的网站访问压力会非常大，会导致网站访问速度缓慢，甚至无法访问。恶意的或设计实现较差的爬虫，会产生大量占用服务器资源、泄露隐私数据等负面问题，影响网站服务访问速度。重要的是一些非法爬虫会窃取宝贵的版权数据，尤其是数据时代，数据经常会是一个公司的核心竞争力。因此，反爬虫成为网站管理者的一项重要课题，开发反爬虫系统具有十分重要的作用和意义。
技术实现思路
针对以上技术问题，本技术的目的在于提供一种爬虫入侵监控提醒系统，能够针对占用大量服务器资源的爬虫进行分析、筛选和信息提示，并通过对服务器的远程管理，保证服务器稳定。为达到上述目的，本技术提供如下技术方案：一种爬虫入侵监控提醒系统，所述的爬虫入侵监控提醒系统主要包括应用服务器、访问客户端、网络交换机、爬虫分析服务器和远程控制客户端，其中，所述的应用服务器上设有远程访问管理卡，网络交换机设有通讯端口A、通讯端口B、通讯端口C和镜像端口，通讯端口A和通讯端口B为双工连接，通讯端口B和通讯端口C为双工连接，通讯端口C和镜像端口为单工连接，访问客户端与通讯端口A相连，应用服务器与通讯端口B相连，爬虫分析服务器和通讯端口C和镜像端口相连，爬虫分析服务器通过网络和远程控制客户端相连；爬虫分析服务器包括流量采集模块、http协议分析模块、Request报文分析模块、Response报文分析模块、行为分析模块、日志条件检查模块和网站日志保存模块；所述流量采集模块、http协议分析模块、Request报文分析模块、Response报文分析模块、行为分析模块、日志条件检查模块和网站日志保存模块顺序连接。进一步的，所述的远程访问管理卡为iDRAC卡远程控制卡，所述远程访问管理卡通过以太网网络与PC客户端相连，通过GPRS网络与手机客户端相连，手机客户端包括手机app客户端或手机短信系统。进一步的，所述的应用服务器为单个WINDOWS应用服务器、LINUX应用服务器、MACOS应用服务器或几种服务器组成集群。进一步的，所述的远程控制客户端包括手机客户端和PC客户端。进一步的，所述的手机客户端包括手机app客户端或手机短信系统。进一步的，所述的远程访问管理卡与应用服务器的BMC模块相连。本技术的有益效果：本技术利用爬虫分析服务器和网络交换机对用户访问数据进行镜像数据采集，并对采集到数据进行爬虫分析，将占用服务器资源的恶意爬虫的客户端信息发送至分析结果与邮件或短信的形式通知远程控制客户端，实现对占用大量服务器资源的爬虫进行分析、筛选和信息提示，并通过对服务器的远程管理，保证服务器稳定，从而保证网站服务访问速度，确保网站的正常运行。附图说明图1为本技术的结构示意图；图中：：1-应用服务器、2-远程访问管理卡、3-访问客户端、4-网络交换机、5-爬虫分析服务器、6-通讯端口A、7-镜像端口、8-通讯端口C、9-通讯端口B、10-PC客户端、11-手机客户端、12-远程控制客户端。具体实施例下面将结合本技术实施例和附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。如图1所示，一种爬虫入侵监控提醒系统，所述的爬虫入侵监控提醒系统主要包括应用服务器1、访问客户端3、网络交换机4、爬虫分析服务器5和远程控制客户端12。应用服务器1为单个WINDOWS应用服务器、LINUX应用服务器、MACOS应用服务器或几种服务器组成集群，其上设置有可对其远程控制的远程访问管理卡2，远程访问管理卡2选用IBM的iDRAC卡。=网络交换机4设有通讯端口A6、通讯端口B9、通讯端口C8和镜像端口7，访问客户端3与通讯端口A6相连，应用服务器1与通讯端口B9相连，爬虫分析服务器5和通讯端口C8和镜像端口7相连，通讯端口A6和通讯端口B9为双工连接，应用服务器1和访问客户端3通过网络交换机4上的通讯端口A6和通讯端口B9的双工连接，实现业务数据数据交互，通讯端口B9和通讯端口C8为双工连接，应用服务器1和爬虫分析服务器5通过网络交换机4上的通讯端口B9和通讯端口C8的双工连接，实现爬虫分析服务器5对远程访问管理卡2的控制，远程访问管理卡2与应用服务器1的BMC模块相连，实现对应用服务器1的电源的控制。通讯端口C8和镜像端口7为单工连接，镜像端口7用于通过流量镜像方式获取访问客户端3与应用服务器1的数据交流端口通讯端口A、B间的通讯数据，采用镜像采集方式完成数据采集，不会损伤应用服务器1性能，使应用服务器1可以节省出资源提高并发请求量和计算速度。爬虫分析服务器5包括流量采集模块、http协议分析模块、Request报文分析模块、Response报文分析模块、行为分析模块、日志条件检查模块和网站日志保存模块；所述流量采集模块、所述http协议分析模块、所述Request报文分析模块、所述Response报文分析模块、所述行为分析模块、所述日志条件检查模块和所述网站日志保存模块顺序连接，通过行为分析模块对访问行为进行了智能分类。网络爬虫是利用模拟人工登陆网页的方式抓取网络上的数据包，可以采用snort入侵检测程序对其进行检测。所述的行为分析模块内安装有如（https://download.csdn.net/download/qq_17594875/10038011）所示的snort入侵检测程序，能够检测出服务器是否被大量的网络爬虫攻击。所述的行为分析模块将占用服务器资源的恶意爬虫的客户端信息发送至分析结果与邮件或短信的形式通知远程控制客户端12，远程控制客户端12主要包括PC客户端10和手机客户端11，远程访问管理卡12通过以太网网络与PC客户端10相连，通过GPRS网络与手机客户端11相连，手机客户端11包括手机app客户端13或手机短信系统14，从而实现远程提醒功能。本技术利用爬虫分析服务器和网络交换机对用户访问数据进行镜像数据采集，并对采集到数据进行爬虫分析，将占用服务器资源的恶意爬虫的客户端信息发送至分析结果与邮件或短信的形式通知远程控制客户端，实现对占用大量服务器资源的爬虫进行分析、筛选和信息提示，并通过对服务器的远程管理，保证服务器稳定，从而保证网站服务访问速度，确保网站的正常运行。最终，以上实施例和附图仅用以说明本技术的技术方案而非限制，尽管通过上述实施例已经对本技术进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本技术权利要求书所限定的范围。本文档来自技高网...

【技术保护点】
1.一种爬虫入侵监控提醒系统，其特征在于：所述的爬虫入侵监控提醒系统主要包括应用服务器、访问客户端、网络交换机、爬虫分析服务器和远程控制客户端，其中 ，所述的应用服务器上设有远程访问管理卡，网络交换机设有通讯端口A、通讯端口B、通讯端口C和镜像端口，通讯端口A和通讯端口B为双工连接，通讯端口B和通讯端口C为双工连接，通讯端口C和镜像端口为单工连接，访问客户端与通讯端口A相连，应用服务器与通讯端口B相连，爬虫分析服务器和通讯端口C和镜像端口相连，爬虫分析服务器通过网络和远程控制客户端相连；所述的爬虫分析服务器包括流量采集模块、http 协议分析模块、Request报文分析模块、Response 报文分析模块、行为分析模块、日志条件检查模块和网站日志保存模块；所述流量采集模块、http 协议分析模块、Request 报文分析模块、Response 报文分析模块、行为分析模块、日志条件检查模块和网站日志保存模块顺序连接。

【技术特征摘要】
1.一种爬虫入侵监控提醒系统，其特征在于：所述的爬虫入侵监控提醒系统主要包括应用服务器、访问客户端、网络交换机、爬虫分析服务器和远程控制客户端，其中，所述的应用服务器上设有远程访问管理卡，网络交换机设有通讯端口A、通讯端口B、通讯端口C和镜像端口，通讯端口A和通讯端口B为双工连接，通讯端口B和通讯端口C为双工连接，通讯端口C和镜像端口为单工连接，访问客户端与通讯端口A相连，应用服务器与通讯端口B相连，爬虫分析服务器和通讯端口C和镜像端口相连，爬虫分析服务器通过网络和远程控制客户端相连；所述的爬虫分析服务器包括流量采集模块、http协议分析模块、Request报文分析模块、Response报文分析模块、行为分析模块、日志条件检查模块和网站日志保存模块；所述流量采集模块、http协议分析模块、Request报文分析模块、Response报文分析模块、行为分析模块、日志条件检...

【专利技术属性】
技术研发人员：刘继华，廖忆菁，
申请(专利权)人：昆明英奈特信息技术有限公司，
类型：新型
国别省市：云南,53