一种分布式事件采集探针、分布式事件高速采集系统及方法技术方案

本发明专利技术公开了一种分布式事件采集探针、分布式事件高速采集系统及方法，本方案通过分布式探针进行事件采集，结合使用Redis、ZeroMQ、Elasticsearch等技术手段提出了一种分布式的日志采集分析系统，本采集分析系统由分布式事件采集探针和分析平台配合构成，可针对Nginx的访问日志进行了实时采集和分析及展示，从根本上解决了由于日志数据的规模剧增对日志采集及分析系统所带来的挑战；同时针对互联网安全的攻击活动，能够在海量的日志中及时提取有效的信息为企业安全提供信息支撑。本发明专利技术提供的分布式事件采集方案支持复杂环境和数据量巨大条件下的数据采集与处理。

【技术实现步骤摘要】
一种分布式事件采集探针、分布式事件高速采集系统及方法
本专利技术涉及网络数据技术，具体涉及数据的采集与处理。
技术介绍
现有日志采集方式至少包括Syslog、SNMPTrap、LogFile、JDBC、WMI、Ftp等，支持包括NetFlow、sFlow、NetStream等在内的流量数据采集。其中，Syslog是以明文的形式存储数据，如果遭到黑客的攻击，可以被盗取信息，当入侵者获得root权限后可以篡改文件，而这些操作系统管理员根本无法发现这些入侵行为。Syslog使用UDP打包的数据很难分辨真伪。FTP文件传输协议的问题是它以明文方式发送用户名和口令。任何人只要在网络中合适的位置放置一个协议分析仪就可以看到用户名和口令；再者FTP发送的数据也是以明文方式传输，通过对FTP连接的监控和数据收集就可以收集和重现FTP的数据传输并实现协议连接回放。而在实际操作过程中很多用户把相同的用户名和口令用在不同的应用中，这样造成如果黑客收集到FTP口令,也可能就得到了用户的在线帐号或者其他一些机密数据的口令，给用户的数据安全带来了极大的危害。同时，随着日志数据规模的剧增，现有日志数据的采集及分析本文档来自技高网...

【技术保护点】
分布式事件采集探针，其特征在于，包括若干事件采集探针，若干事件采集探针基于自适应算法分布在管理域中的适当位置，每个事件采集探针支持多种传输机制，都采用多种传输机制接收设备发送的日志，统一发送给规则引擎，进行筛选过滤。

【技术特征摘要】
1.分布式事件采集探针，其特征在于，包括若干事件采集探针，若干事件采集探针基于自适应算法分布在管理域中的适当位置，每个事件采集探针支持多种传输机制，都采用多种传输机制接收设备发送的日志，统一发送给规则引擎，进行筛选过滤。2.根据权利要求1所述的分布式事件采集探针，其特征在于，分布式事件采集探针可针对网络的变化进行局部事件采集探针分布的动态调整；事件采集探针可以根据网络环境特点，选择最佳传输协议。3.根据权利要求1所述的分布式事件采集探针，其特征在于，分布式事件采集探针使用基于编码的遗传算法进行采集探针的工作部署；所有事件采集探针均独立工作，并行处理接收的日志并进行转发。4.根据权利要求1所述的分布式事件采集探针，其特征在于，事件采集探针通过被动监听端口采集相应的日志数据。5.分布式事件高速采集系统，其特征在于，包括：权利要求1-4中任一项所述的事件采集探针和分析平台，事件采集探针向分析平台进行注册；所述分析平台可监测并控制事件采集探针的运行状态，且可向事件采集探针下发管理策略，事件采集探针根据管理策略接收设备发送过来的日志和/或流量数据，并传输到规则引擎，规则引擎通过规则进行选择过滤，产生相关告警信息，并将告警信息以及筛选后的数据发送到分析平台的ES中。6.根据权利要求5所述的分布式事件高速采集系统，其特征在于，所述分析平台采用基于时间差的心跳策略以及双向交替通信的方式来实时监测事件采集探针的运行状态。7.根据权利要求5所述的分布式事件高速采集系统，其特征在于，所述分析平台根据事件采集探针注册主动上报的设备状态信息，基于遗传算法的筛选出需要的事件采集探针，以向其发送管理策略，调整工作状态。8.根据权...

【专利技术属性】
技术研发人员：李明，陶源，
申请(专利权)人：公安部第三研究所，
类型：发明
国别省市：上海,31