【技术实现步骤摘要】
本专利技术涉及数据处理领域，具体而言，涉及一种网络监控数据的处理方法、装置、存储介质及电子设备。
技术介绍
1、随着网络威胁不断增加和演变，监控数据采集成为网络安全的重要组成部分，通过收集、分析和利用大量的数据，可以更好地了解威胁、检测攻击、预测风险，并采取相应的安全措施来保护网络和系统的安全。目前，在数据量较大的情况下，现有的监控数据采集系统至少存在采集效率低的缺陷。
2、针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
1、本专利技术实施例提供了一种网络监控数据的处理方法、装置、存储介质及电子设备，以至少解决现有技术中采集网络监控数据时，存在采集效率较低的技术问题。
2、根据本专利技术实施例的一个方面，提供了一种网络监控数据的处理方法，包括：通过批量处理框架对流处理平台的目标主题对应的事件信息序列进行监测，得到监测结果；若监测结果表征目标主题对应的事件信息序列中存在目标消费信息，则对目标消费信息进行消费，得到目标网络监控数据，其中，目标消费信息表征事件信息序列中的待消费的信息。
3、进一步地，对目标消费信息进行消费，得到目标网络监控数据，包括：对目标消费信息进行消费，得到目标网络监控文件的存储信息；依据存储信息对目标网络监控文件进行处理，得到目标网络监控数据。
4、进一步地，依据存储信息对目标网络监控文件进行处理，得到目标网络监控数据，包括：通过批量处理框架的读取器对存储信息进行格式处理，得到处理后的存储信息，其中，处理
5、进一步地，在通过批量处理框架对流处理平台的目标主题对应的事件信息序列进行监测，得到监测结果之前，该方法还包括：通过流处理平台接收目标服务器发送的至少一个监控事件，其中，监控事件用于指示目标监控对象生成的网络监控文件，网络监控文件至少包括目标网络监控文件；对至少一个监控事件进行解析处理，得到至少一个监控事件的主题信息和事件信息，其中，事件信息表征网络监控文件的存储信息；依据主题信息对事件信息进行存储，得到目标消费信息。
6、进一步地，在通过流处理平台接收目标服务器发送的至少一个监控事件之前，该方法还包括：通过目标服务器接收目标监控对象发送的目标请求，并对目标请求进行解析处理，得到网络监控文件的存储信息；依据目标主题和网络监控文件的存储信息，生成至少一个监控事件。
7、进一步地，在通过批量处理框架对流处理平台的目标主题对应的事件信息序列进行监测，得到监测结果之前，该方法还包括：获取目标服务器的性能信息，并依据性能信息确定批量处理框架的目标参数的参数值，其中，目标参数用于控制批量处理框架每次处理的消费信息数量；依据参数值对目标参数进行参数配置。
8、进一步地，在对目标消费信息进行消费，得到目标网络监控数据之后，该方法还包括：通过批量处理框架的写入器对目标网络监控数据进行写入存储处理；在接收到目标平台的数据获取指令的情况下，向目标平台发送目标网络监控数据，以使目标平台依据目标网络监控数据进行数据风险分析。
9、根据本专利技术实施例的另一方面，还提供了一种网络监控数据的处理装置，包括：第一处理模块，用于通过批量处理框架对流处理平台的目标主题对应的事件信息序列进行监测，得到监测结果；第二处理模块，用于若监测结果表征目标主题对应的事件信息序列中存在目标消费信息，则对目标消费信息进行消费，得到目标网络监控数据，其中，目标消费信息表征事件信息序列中的待消费的信息。
10、根据本专利技术实施例的另一方面，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，计算机程序被设置为运行时执行上述的网络监控数据的处理方法。
11、根据本专利技术实施例的另一方面，还提供了一种电子设备，该电子设备包括一个或多个处理器；存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现用于运行程序，其中，程序被设置为运行时执行上述的网络监控数据的处理方法。
12、在本专利技术实施例中，采用基于批量处理框架和流处理平台实现监控数据采集的方式，通过批量处理框架对流处理平台的目标主题对应的事件信息序列进行监测，得到监测结果，若监测结果表征目标主题对应的事件信息序列中存在目标消费信息，则对目标消费信息进行消费，得到目标网络监控数据，其中，目标消费信息表征事件信息序列中的待消费的信息。
13、在上述过程中，通过批量处理框架消费存储于流处理平台的特定主题的监控事件来获取网络监控数据，从而能够使用批量处理框架批量处理网络监控数据并将处理后的数据进行存储，供其他应用(如监控平台)展示使用，进而能够及时发现数据问题，规避风险，有效地提高了网络监控数据采集的安全可靠性，缓解处理大规模实时数据时的瓶颈和延迟问题，实现了高吞吐量和低延迟的数据采集和处理，提高了网络监控数据的采集效率。
14、由此可见，通过本专利技术的技术方案，达到了缓解处理大规模实时数据时的瓶颈和延迟问题的目的，从而实现了提高网络监控数据的采集效率的技术效果，进而解决了现有技术中采集网络监控数据时，存在采集效率较低的技术问题。
本文档来自技高网...【技术保护点】
1.一种网络监控数据的处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，对所述目标消费信息进行消费，得到目标网络监控数据，包括：
3.根据权利要求2所述的方法，其特征在于，依据所述存储信息对所述目标网络监控文件进行处理，得到所述目标网络监控数据，包括：
4.根据权利要求1所述的方法，其特征在于，在通过批量处理框架对流处理平台的目标主题对应的事件信息序列进行监测，得到监测结果之前，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，在通过所述流处理平台接收目标服务器发送的至少一个监控事件之前，所述方法还包括：
6.根据权利要求4所述的方法，其特征在于，在通过批量处理框架对流处理平台的目标主题对应的事件信息序列进行监测，得到监测结果之前，所述方法还包括：
7.根据权利要求1至6任一项所述的方法，其特征在于，在对所述目标消费信息进行消费，得到目标网络监控数据之后，所述方法还包括：
8.一种网络监控数据的处理装置，其特征在于，包括：
9.一种计算机可读存储介质，其
10.一种电子设备，其特征在于，所述电子设备包括一个或多个处理器；存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现用于运行程序，其中，所述程序被设置为运行时执行所述权利要求1至7任一项中所述的网络监控数据的处理方法。
...【技术特征摘要】
1.一种网络监控数据的处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，对所述目标消费信息进行消费，得到目标网络监控数据，包括：
3.根据权利要求2所述的方法，其特征在于，依据所述存储信息对所述目标网络监控文件进行处理，得到所述目标网络监控数据，包括：
4.根据权利要求1所述的方法，其特征在于，在通过批量处理框架对流处理平台的目标主题对应的事件信息序列进行监测，得到监测结果之前，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，在通过所述流处理平台接收目标服务器发送的至少一个监控事件之前，所述方法还包括：
6.根据权利要求4所述的方法，其特征在于，在通过批量处理框架对流处理平台的目标主题对应的事件信息序列进行监测，得...
【专利技术属性】
技术研发人员：张倩倩，蒋敏敏，文有田，张昆，王强，
申请(专利权)人：山石网科通信技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。