基于大数据的网络安全监控方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种基于大数据的网络安全监控方法、装置、设备及存储介质，所述方法包括：实时监控流量信息，并采用深度报文检测的方式，对流量信息进行解析，得到流量信息对应的日志文件，进而通过日志分析框架，获取流量信息对应的日志文件，并对流量信息对应的日志文件进行筛选过滤处理，得到目标日志文件，使得精准获取有效的日志文件，从而减少运算量，降低运算耗时，保证后续过程可持续进行，同时，对目标日志文件中的数据进行异常攻击的特征分析，得到特征检测结果，若特征检测结果为存在至少一种异常攻击特征，则执行相应预警措施，实现通过对有效数据进行检测的方式，判断异常，并对异常进行实时预警，提高了网络安全监控的及时性。

Network security monitoring method, device, equipment and storage medium based on big data

【技术实现步骤摘要】
基于大数据的网络安全监控方法、装置、设备及存储介质
本专利技术涉及信息安全领域，尤其涉及一种基于大数据的网络安全监控方法、装置、设备及存储介质。
技术介绍
随着计算机技术的飞速发展，许多大型科技公司采用搭建集群服务器来处理日益增长的海量数据，这些集群服务器中往往涉及多个领域多种业务，数据交互较为频繁，确保这些数据的安全性显得尤为重要，通常情况下，采用网络安全的检测和监控来提高网络数据的安全性。在当前，网络安全的检测和监控仅能及时检测出系统中发生的攻击威胁，从而缩短攻击发生的应急响应的时间差，但是即便是最理想的威胁检测系统，当发生威胁警报时，威胁大多已经发生，对系统的危害已经造成，因此检测永远只能作为一种相对被动的安全机制，而无法对网络安全事件及时作出预警，并且随着网络环境的日趋复杂，网络数据也在逐渐的增大，传统的安全信息和事件管理事务(SecurityInformationandEventManagement，SIEM)很难处理多样化的非结构数据，影响对网络安全的及时检测，信息安全面临大数据带来的挑战。因此，有必要提供一种新的能够实时进行网络数据的安全检测的技术方案以克服上述缺陷。
技术实现思路
本专利技术实施例提供一种基于大数据的网络安全监控方法、装置、计算机设备和存储介质，以实时对网络数据的安全进行检测监控，提高网络数据的安全监控的及时性。一种基于大数据的网络安全监控方法，包括：实时监控流量信息，并采用深度报文检测的方式，对所述流量信息进行解析，得到所述流量信息对应的日志文件；通过日志分析框架，获取所述流量信息对应的日志文件，并对所述流量信息对应的日志文件进行筛选过滤处理，得到目标日志文件；对所述目标日志文件中的数据进行异常攻击的特征分析，得到特征检测结果；若所述特征检测结果为存在至少一种异常攻击特征，则执行相应预警措施。一种基于大数据的网络安全监控装置，包括：流量解析模块，用于实时监控流量信息，并采用深度报文检测的方式，对所述流量信息进行解析，得到所述流量信息对应的日志文件；日志筛选模块，用于通过日志分析框架，获取所述流量信息对应的日志文件，并对所述流量信息对应的日志文件进行筛选过滤处理，得到目标日志文件；异常分析模块，用于对所述目标日志文件中的数据进行异常攻击的特征分析，得到特征检测结果；异常预警模块，用于若所述特征检测结果为存在至少一种异常攻击特征，则执行相应预警措施。一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于大数据的网络安全监控方法的步骤。一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于大数据的网络安全监控方法的步骤。本专利技术实施例提供的基于大数据的网络安全监控方法、装置、计算机设备及存储介质，一方面，实时监控流量信息，并采用深度报文检测的方式，对流量信息进行解析，得到流量信息对应的日志文件，进而通过日志分析框架，获取流量信息对应的日志文件，并对流量信息对应的日志文件进行筛选过滤处理，得到目标日志文件，使得精准获取有效的日志文件，减少数据量，从而减少运算量，降低运算耗时，保证后续过程可持续进行，另一方面，对目标日志文件中的数据进行异常攻击的特征分析，得到特征检测结果，若特征检测结果为存在至少一种异常攻击特征，则执行相应预警措施，实现通过对有效数据进行检测的方式，判断异常，并对异常进行实时预警，提高了网络安全监控的及时性。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的基于大数据的网络安全监控方法的应用环境示意图；图2是本专利技术实施例提供的基于大数据的网络安全监控方法的实现流程图；图3是本专利技术实施例提供的基于大数据的网络安全监控方法中步骤S20的实现流程图；图4是本专利技术实施例提供的基于大数据的网络安全监控方法中步骤S30的实现流程图；图5是本专利技术实施例提供的基于大数据的网络安全监控方法中步骤S35的实现流程图；图6是本专利技术实施例提供的基于大数据的网络安全监控方法中步骤S35的另一实现流程图；图7是本专利技术实施例提供的基于大数据的网络安全监控方法中步骤S355的实现流程图；图8是本专利技术实施例提供的基于大数据的网络安全监控装置的示意图；图9是本专利技术实施例提供的计算机设备的示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1，图1示出本专利技术实施例提供的基于大数据的网络安全监控方法的应用环境。该基于大数据的网络安全监控方法应用在网络安全监控场景中。该记录场景包括服务端和客户端，其中，服务端和客户端之间通过网络进行连接，客户端向服务端发送访问请求，产生流量数据，服务端对实时流量数据进行监控，并通过日志收集分析框架，对监控数据进行过滤，得到日志文件，进而通过对日志文件进行分析，判断是否存在异常攻击。客户端具体可以但不限于是手机、个人计算机、便携式笔记本和可穿戴式智能设备等可用于网络交互的的智能设备，服务端具体可以用独立的服务器或者多个服务器组成的服务器集群实现。请参阅图2，图2示出本专利技术实施例提供的一种基于大数据的网络安全监控方法，以该方法应用在图1中的服务端为例进行说明，详述如下：S10：实时监控流量信息，并采用深度报文检测的方式，对流量信息进行解析，得到流量信息对应的日志文件。具体地，分布式集群服务器的流量信息较为庞大，在本实施例中，实时对分布式集群服务器的流量信息进行监控，并采用深度报文检测的方式，对监控的流量信息进行解析，过滤掉一些无效的数据信息，并将有效的数据信息按照预设规则进行分类，并生成流量信息对应的日志文件。其中，深度报文检测(DeepPacketInspection，DPI)是一种基于数据包的深度检测技术，设备通过对网络的关键点处的流量和报文内容进行检测分析，可以根据事先定义的策略对检测流量进行过滤控制，能完成所在链路的业务精细化识别、业务流量流向分析、业务流量占比统计、业务占比整形等功能。S20：通过日志分析框架，获取流量信息对应的日志文件，并对流量信息对应的日志文件进行筛选过滤处理，得到目标日志文件。具体地，在集群端的每个集群服务器上分别部署预设的日志收集框架，该框架具体可包括分布式发布订阅消息系统Kafka和预设的日志收集系统，通过本文档来自技高网...

【技术保护点】
1.一种基于大数据的网络安全监控方法，其特征在于，包括：/n实时监控流量信息，并采用深度报文检测的方式，对所述流量信息进行解析，得到所述流量信息对应的日志文件；/n通过日志分析框架，获取所述流量信息对应的日志文件，并对所述流量信息对应的日志文件进行筛选过滤处理，得到目标日志文件；/n对所述目标日志文件中的数据进行异常攻击的特征分析，得到特征检测结果；/n若所述特征检测结果为存在至少一种异常攻击特征，则执行相应预警措施。/n

【技术特征摘要】
1.一种基于大数据的网络安全监控方法，其特征在于，包括：
实时监控流量信息，并采用深度报文检测的方式，对所述流量信息进行解析，得到所述流量信息对应的日志文件；
通过日志分析框架，获取所述流量信息对应的日志文件，并对所述流量信息对应的日志文件进行筛选过滤处理，得到目标日志文件；
对所述目标日志文件中的数据进行异常攻击的特征分析，得到特征检测结果；
若所述特征检测结果为存在至少一种异常攻击特征，则执行相应预警措施。


2.如权利要求1所述的基于大数据的网络安全监控方法，其特征在于，所述日志分析框架包括分布式发布订阅消息系统Kafka和日志分析工具Logstash，所述通过日志分析框架，获取所述流量信息对应的日志文件，并对所述流量信息对应的日志文件进行筛选过滤处理，得到目标日志文件包括：
部署所述分布式发布订阅消息系统Kafka和所述日志分析工具Logstash；
通过所述分布式发布订阅消息系统Kafka实时获取所述流量信息对应的日志文件；
使用所述日志分析工具Logstash对所述日志文件中的数据进行筛选过滤处理，得到目标日志文件。


3.如权利要求1所述的基于大数据的网络安全监控方法，其特征在于，所述对所述目标日志文件中的数据进行异常攻击的特征分析，得到特征检测结果包括：
针对所述流量信息对应的每个目标端口，从所述目标日志文件中，获取预设时间区间内，每个源IP访问所述目标端口的基础数据包信息；
对每个基础数据包信息进行汇总，得到所述预设时间区间内，访问所述目标端口的汇总数据包信息；
针对每个所述源IP，计算所述源IP对应的基础数据包信息与所述汇总数据包的比值，得到所述源IP在单位时间内访问所述目标端口的频率，并根据所述频率，确定所述预设时间区间内的信息熵；
将所述信息熵存入到长度为M的滑动窗口中，其中，每个所述信息熵占所述滑动窗口的1个单位的长度；
基于所述信息熵与所述滑动窗口，判断所述信息熵对应的所述源IP是否存在流量异常，并根据判断结果，确定所述特征检测结果。


4.如权利要求3所述的基于大数据的网络安全监控方法，其特征在于，所述基于所述信息熵与所述滑动窗口，判断所述信息熵对应的所述源IP是否存在流量异常，并根据判断结果，确定所述特征检测结果包括：
在所述滑动窗口中存储的信息熵个数达到M个时，计算所述M个信息熵的置信值N和平均值V，并根据所述置信值和平均值确定置信区间[N-V，N+V]；
判断所述源IP在预设时间区间内的信息熵是否属于所述置信区间[N-V，N+V]范围内；
若所述源IP在预设时间区间内的信息熵在所述置信区间[N...

【专利技术属性】
技术研发人员：程彬，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44