【技术实现步骤摘要】
本专利技术涉及网络数据技术，具体涉及数据的采集与处理。
技术介绍
1、日志采集和流量采集是两种常见的事件采集方案。日志采集通常用于捕获应用程序、系统或设备生成的详细日志信息，这些日志可以记录操作、错误、警告等事件。日志可以以文本文件或通过特定协议发送到中央日志服务器进行集中存储和分析。流量采集则是通过监视网络通信流量来获取数据，它可以捕获网络包的详细信息，包括源ip、目标ip、端口、协议等。这两种采集方案在不同的应用场景中都具有重要作用，但它们也各自面临一些采集效率和可靠性方面的问题。
2、在日志采集方案中，采集效率受到多个因素的影响。首先，日志的产生频率和数量可能会剧增，特别是在高负载环境下。这可能导致存储和传输方面的性能问题，需要使用高效的存储和传输机制来处理大量的日志数据。此外，过多的日志可能会导致分析过程变得复杂，降低了实时性。可靠性方面，日志采集可能面临日志丢失的问题，尤其是在系统故障或高负载时，有可能会丢失关键的事件信息。此外，日志的时间戳可能无法准确保证顺序，这可能会影响事件的时间顺序分析。合适的日志存储和保留策略也是必要的，否则可能会导致数据丢失或合规性问题。
3、对于流量采集方案，采集效率受到硬件和网络设备的限制。捕获大量的网络包需要高吞吐量的硬件，同时需要高效的存储和处理能力来处理庞大的数据流。适当的过滤和聚合机制也是必要的，以减少数据量并提高效率。可靠性方面，流量采集可能面临数据丢失的问题，尤其是在高负载情况下，可能会发生数据包丢失，导致事件丢失或入侵检测漏洞。此外，捕获网络流量可能
技术实现思路
1、针对现有事件采集方案在采集效率与可靠性方面所存在的问题，需要一种高效的事件采集方案。
2、由此，本专利技术的目的在于提供一种基于分布式事件采集探针的分布式事件高速采集分析系统，以实现事件的高效采集。
3、为了达到上述目的，本专利技术提供的分布式事件高速采集分析系统主要由分布式事件采集探针与分析平台；
4、所述分布式事件采集探针根据自适应算法在管理域中的适当位置放置适当数目的事件采集探针进行事件采集，并形成采集方案；
5、所述分析平台能监测事件探针的运行状态，并能够向分布式事件采集探针下发管理策略，调整事件采集探针的工作状态，同时根据不同的事件采集探针，进行不同维度的接收与解析。
6、在本专利技术的一些实施方式中，所述分布式事件采集探针分布在不同的网络节点上，并基于自适应算法监控网络变化，实时获取网络状态信息，并传输至分析平台；所述分布式事件采集探针能够接收分析平台根据实时的网络状态信息形成的管理策略，并根据管理策略自动调整相应事件采集探针工作状态，以实现分布式事件采集探针分布状态的动态调整。
7、在本专利技术的一些实施方式中，所述分布式事件采集探针能够基于分析平台下发的传输协议选择策略，根据实时网络环境特征自动选择最合适的传输协议。
8、在本专利技术的一些实施方式中，所述分析平台配置成根据分布式事件采集探针上报的状态信息，为每个事件采集探针设置编码，并据此根据遗传算法确定分布式事件采集探针的工作状态，同时下发相关管理策略至对应的事件采集探针。
9、在本专利技术的一些实施方式中，所述分布式事件采集探针在链路覆盖和消息覆盖约束条件下，基于编码的遗传算法进行事件采集探针部署。
10、在本专利技术的一些实施方式中，所述分析平台中针对不同类型的事件采集探针，建立相应的数据接收接口，同时针对不同的数据维度，构建对应的数据解析模块。
11、在本专利技术的一些实施方式中，所述分布式事件采集探针中的事件采集探针能够在分析平台中形成注册状态，并能够主动向分析平台上报自身的就绪信息。
12、分析平台根据事件采集探针在平台中的注册信息与主动上报的就绪信息，监测每个事件采集探针的运行状态，同时生成相应的管理策略并下发给对应的事件采集探针。事件采集探针根据接收到的管理策略进入工作状态，进行事件采集，并转发给分析平台。分析平台根据不同的事件采集探针，进行不同维度的接收与解析。
13、在本专利技术的一些实施方式中，所述分析平台能够根据每个事件采集探针的运行状态，基于遗传算法筛选出分布式事件采集探针中最佳的事件采集探针工作群。
14、在本专利技术的一些实施方式中，所述分析平台中通过事件采集探针上报的设备状态信息和负载情况，为每一个事件采集探针设置一个格雷码编码，采用无回放随机选择作为选择算子，算术交叉的方式对选出的个体进行交叉操作，最后进行高斯近似变异，以获得最优种群个体。
15、在本专利技术的一些实施方式中，所述分析平台采用基于时间差的心跳策略，同时采取双向交替通信探测运行，可以达到传输效率最高的要求，最大化实时行性地监测事件探针的运行状态。
16、在本专利技术的一些实施方式中，所述系统基于xsd文件来实现对新增设备类型的快速支持。
17、在本专利技术的一些实施方式中，所述系统中还配置有规则引擎，所述规则引擎与分布式事件采集探针数据交互，能够对分布式事件采集探针采集并转发的事件进行过滤筛选。
18、在本专利技术的一些实施方式中，所述采集方法中针对事件采集探针转发的采集到的事件，首先通过规则引擎进行选择过滤，产生相关告警信息，并将告警信息以及筛选后的事件发送到分析平台中。
19、本专利技术提供的分布式事件采集方案，支持复杂环境和数据量巨大条件下的数据采集与处理，能够自适应的在管理域中的适当位置动态的调整事件采集探针，提高事件接收及转发效率，减小负载不均衡，提高传输效率。
20、本专利技术提供的分布式事件采集方案，支持多种传输机制，能够有效弥补单一传输机制的缺点；同时每个事件采集探针都采用多种机制接收设备发送的日志，统一发送给规则引擎，进行筛选过滤，增加了对日志的准确性及可靠性要求。
21、本专利技术提供的分布式事件采集方案支持通过分布式探针进行事件采集，事件类型包括日志和流量信息，并且支持多种日志采集方式。
22、本专利技术提供的分布式事件采集方案中事件采集探针支持多种传输协议，不必规定设备必须采用哪种传输机制，增加了运维人员的可操作性，提高实施效率。
23、本专利技术提供的分布式事件采集方案能够针对网络的变化自动地进行局部事件采集探针分布的调整，使分析平台达到近似最优状态；同时事件采集探针可以根据用户网络环境特点，选择最佳传输协议，分析平台根据不同的事件采集探针，进行不同维度的接收与解析。
24、本专利技术提供的分布式事件采集方案支持通过分布式探针进行事件采集，事件类型包括日志和流量信息。支持的日志采集方式至少包括系统日志、snmp trap、日志文件、jdbc、java数据库连接、系统插件、ftp、文件传输协议等，支持包括netflow、sflow、nets本文档来自技高网...
【技术保护点】
1.分布式事件高速采集分析系统，其特征在于，包括分布式事件采集探针与分析平台；
2.根据权利要求1所述的分布式事件高速采集分析系统，其特征在于，所述分布式事件采集探针分布在不同的网络节点上，并基于自适应算法监控网络变化，实时获取网络状态信息，并传输至分析平台；所述分布式事件采集探针能够接收分析平台根据实时的网络状态信息形成的管理策略，并根据管理策略自动调整相应事件采集探针工作状态，以实现分布式事件采集探针分布状态的动态调整。
3.根据权利要求1所述的分布式事件高速采集分析系统，其特征在于，所述分布式事件采集探针能够基于分析平台下发的传输协议选择策略，根据实时网络环境特征自动选择最合适的传输协议。
4.根据权利要求1所述的分布式事件高速采集分析系统，其特征在于，所述分析平台配置成根据分布式事件采集探针上报的状态信息，为每个事件采集探针设置编码，并据此根据遗传算法确定分布式事件采集探针的工作状态，同时下发相关管理策略至对应的事件采集探针。
5.根据权利要求4所述的分布式事件高速采集分析系统，其特征在于，所述分布式事件采集探针在链路覆盖和
6.根据权利要求1所述的分布式事件高速采集分析系统，其特征在于，所述分析平台中针对不同类型的事件采集探针，建立相应的数据接收接口，同时针对不同的数据维度，构建对应的数据解析模块。
7.根据权利要求1所述的分布式事件高速采集分析系统，其特征在于，所述分布式事件采集探针中的事件采集探针能够在分析平台中形成注册状态，并能够主动向分析平台上报自身的就绪信息；
8.根据权利要求1所述的分布式事件高速采集分析系统，其特征在于，所述分析平台能够根据每个事件采集探针的运行状态，基于遗传算法筛选出分布式事件采集探针中最佳的事件采集探针工作群。
9.根据权利要求1所述的分布式事件高速采集分析系统，其特征在于，所述分析平台中通过事件采集探针上报的设备状态信息和负载情况，为每一个事件采集探针设置一个格雷码编码，采用无回放随机选择作为选择算子，算术交叉的方式对选出的个体进行交叉操作，最后进行高斯近似变异，以获得最优种群个体。
10.根据权利要求1所述的分布式事件高速采集分析系统，其特征在于，所述分析平台采用基于时间差的心跳策略，同时采取双向交替通信探测运行，可以达到传输效率最高的要求，最大化实时行性地监测事件探针的运行状态。
11.根据权利要求1所述的分布式事件高速采集分析系统，其特征在于，所述系统基于XSD文件来实现对新增设备类型的快速支持。
12.根据权利要求1所述的分布式事件高速采集分析系统，其特征在于，所述系统中还配置有规则引擎，所述规则引擎与分布式事件采集探针数据交互，能够对分布式事件采集探针采集并转发的事件进行过滤筛选。
13.根据权利要求12所述的分布式事件高速采集分析系统，其特征在于，所述采集方法中针对事件采集探针转发的采集到的事件，首先通过规则引擎进行选择过滤，产生相关告警信息，并将告警信息以及筛选后的事件发送到分析平台中。
...【技术特征摘要】
1.分布式事件高速采集分析系统，其特征在于，包括分布式事件采集探针与分析平台；
2.根据权利要求1所述的分布式事件高速采集分析系统，其特征在于，所述分布式事件采集探针分布在不同的网络节点上，并基于自适应算法监控网络变化，实时获取网络状态信息，并传输至分析平台；所述分布式事件采集探针能够接收分析平台根据实时的网络状态信息形成的管理策略，并根据管理策略自动调整相应事件采集探针工作状态，以实现分布式事件采集探针分布状态的动态调整。
3.根据权利要求1所述的分布式事件高速采集分析系统，其特征在于，所述分布式事件采集探针能够基于分析平台下发的传输协议选择策略，根据实时网络环境特征自动选择最合适的传输协议。
4.根据权利要求1所述的分布式事件高速采集分析系统，其特征在于，所述分析平台配置成根据分布式事件采集探针上报的状态信息，为每个事件采集探针设置编码，并据此根据遗传算法确定分布式事件采集探针的工作状态，同时下发相关管理策略至对应的事件采集探针。
5.根据权利要求4所述的分布式事件高速采集分析系统，其特征在于，所述分布式事件采集探针在链路覆盖和消息覆盖约束条件下，基于编码的遗传算法进行事件采集探针部署。
6.根据权利要求1所述的分布式事件高速采集分析系统，其特征在于，所述分析平台中针对不同类型的事件采集探针，建立相应的数据接收接口，同时针对不同的数据维度，构建对应的数据解析模块。
7.根据权利要求1所述的分布式事件高速采集分析系统，其特征在于，所述分布式事件采集探针中...
【专利技术属性】
技术研发人员：陶源，李末岩，刘楠，游志勇，
申请(专利权)人：公安部第三研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。