一种多源网络安全数据处理方法及装置制造方法及图纸

本发明专利技术提供一种多源网络安全数据处理方法及装置，方法包括：获取多个数据源的日志数据，并对所述日志数据进行格式解析；从经过格式解析的日志数据中抽取涉及攻击行为的数据，并对所述涉及攻击行为的数据进行格式化处理，得到第一网络安全数据；对所述第一网络安全数据按照预设的查询维度进行分析，根据分析结果从所述第一网络安全数据中筛选出第二网络安全数据；存储所述第二网络安全数据。本发明专利技术通过将安全设备产出的多源网络安全数据进行解析、汇聚、存储，并提供查询服务，极大地提升了对于安全设备产出数据的可利用性及利用率。对于安全设备产出数据的可利用性及利用率。对于安全设备产出数据的可利用性及利用率。

【技术实现步骤摘要】
一种多源网络安全数据处理方法及装置


[0001]本专利技术涉及网络安全
，尤其涉及一种多源网络安全数据处理方法及装置。

技术介绍

[0002]在目前阶段的企业安全建设中，多数企业都会采购或者自研多种安全设备或者安全软件，这些安全软件针对网络安全攻击事件或产生告警或者发生阻断。但是在现阶段各种安全设备产生的告警或者阻断事件都集中在设备或者软件内部，无法汇集其他的设备或者软件，综合进行计算分析提供更加丰富的信息来辅助安全运营人员进行判断。同时也缺少一种查询装置可以通过一次查询来展示多个安全设备的告警及阻断事件，使得运营人员需要在各个不同安全设备或者平台之间来回跳转查看，同时也没法通过整体的综合趋势来进行安全态势分析。

技术实现思路

[0003]本专利技术的目的是提供一种多源网络安全数据处理方法及装置，用以解决现有技术中大部分安全设备产生的告警拦截日志只存储在设备本地且只在本地提供部分查询功能的问题，通过将安全设备产出的多源攻击数据进行解析、汇聚、存储，提供查询服务，极大地提升了对于安全设备产出数据的可利用性及利用率。
[0004]本专利技术提供一种多源网络安全数据处理方法，包括：
[0005]获取多个数据源的日志数据，并对所述日志数据进行格式解析；
[0006]从经过格式解析的日志数据中抽取涉及攻击行为的数据，并对所述涉及攻击行为的数据进行格式化处理，得到第一网络安全数据；
[0007]对所述第一网络安全数据按照预设的查询维度进行分析，根据分析结果从所述第一网络安全数据中筛选出第二网络安全数据；
[0008]存储所述第二网络安全数据。
[0009]根据本专利技术提供的多源网络安全数据处理方法，所述获取多个数据源的日志数据，包括：
[0010]获取不同类型的多个数据源的打点日志数据，
[0011]和/或，获取同一类型的多个数据源的打点日志数据。
[0012]根据本专利技术提供的多源网络安全数据处理方法，所述从经过格式解析的日志数据中抽取涉及攻击行为的数据，包括：
[0013]从经过格式解析的日志数据中抽取涉及以下至少一种类型的数据作为涉及攻击行为的数据：DDoS、SPAM、Scanner、Brute Force、Compromised、Hijacked、Web Attacker以及Attacker。
[0014]根据本专利技术提供的多源网络安全数据处理方法，所述对所述涉及攻击行为的数据进行格式化处理，得到第一网络安全数据，包括：
[0015]使用协议数据交换格式工具库对所述涉及攻击行为的数据进行编码；
[0016]对编码后的数据进行格式校验；
[0017]将经过格式校验的数据进行序列化操作，得到第一网络安全数据。
[0018]根据本专利技术提供的多源网络安全数据处理方法，所述对所述第一网络安全数据按照预设的查询维度进行分析，根据分析结果从所述第一网络安全数据中筛选出第二网络安全数据，包括：
[0019]将所述第一网络安全数据写入消息队列；
[0020]对所述消息队列进行基于滑窗统计的数据消费处理；其中，所述基于滑窗统计的数据消费处理包括：对于窗口内的数据按照预设的查询维度进行分析，筛选出符合所述查询维度的数据，得到第二网络安全数据。
[0021]根据本专利技术提供的多源网络安全数据处理方法，所述查询维度包括以下类型中的至少一种：IP地址、攻击类型以及时间范围。
[0022]根据本专利技术提供的多源网络安全数据处理方法，在所述存储所述第二网络安全数据之后，方法还包括：
[0023]接收用户的查询请求，根据所述查询请求在预设的查询维度内对所述第二网络安全数据进行查询。
[0024]本专利技术还提供一种多源网络安全数据处理装置，包括：
[0025]数据采集模块，用于获取多个数据源的日志数据，并对所述日志数据进行格式解析；
[0026]第一网络安全数据提取模块，用于从经过格式解析的日志数据中抽取涉及攻击行为的数据，并对所述涉及攻击行为的数据进行格式化处理，得到第一网络安全数据；
[0027]第二网络安全数据提取模块，用于对所述第一网络安全数据按照预设的查询维度进行分析，根据分析结果从所述第一网络安全数据中筛选出第二网络安全数据；
[0028]第二网络安全数据存储模块，用于存储所述第二网络安全数据。
[0029]本专利技术还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现任一项所述多源网络安全数据处理方法的步骤。
[0030]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任一项所述多源网络安全数据处理方法的步骤。
[0031]本专利技术还提供一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，所述指令在被执行时用于实现任一项所述多源网络安全数据处理方法的步骤。
[0032]本专利技术提供一种多源网络安全数据处理方法，包括：获取多个数据源的日志数据，并对所述日志数据进行格式解析；从经过格式解析的日志数据中抽取涉及攻击行为的数据，并对所述涉及攻击行为的数据进行格式化处理，得到第一网络安全数据；对所述第一网络安全数据按照预设的查询维度进行分析，根据分析结果从所述第一网络安全数据中筛选出第二网络安全数据；存储所述第二网络安全数据。本专利技术通过将安全设备产出的多源网络安全数据进行解析、汇聚、存储，并提供查询服务，极大地提升了对于安全设备产出数据的可利用性及利用率。
附图说明
[0033]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0034]图1是本专利技术提供的多源网络安全数据处理方法的流程示意图；
[0035]图2是本专利技术提供的多源网络安全数据处理装置的结构示意图；
[0036]图3是本专利技术提供的电子设备的结构示意图。
具体实施方式
[0037]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0038]下面结合图1
‑
图3描述本专利技术的多源网络安全数据处理方法、装置、电子设备与存储介质。
[0039]图1为本专利技术提供的多源网络安全数据处理方法的流程图，如图1所示，本专利技术提供的多源网络安全数据处理方法包括：
[0040]步骤110、获取多个数据源的日志数据，并对所述日志数据进行格式解析；
[0041]在本实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多源网络安全数据处理方法，其特征在于，包括：获取多个数据源的日志数据，并对所述日志数据进行格式解析；从经过格式解析的日志数据中抽取涉及攻击行为的数据，并对所述涉及攻击行为的数据进行格式化处理，得到第一网络安全数据；对所述第一网络安全数据按照预设的查询维度进行分析，根据分析结果从所述第一网络安全数据中筛选出第二网络安全数据；存储所述第二网络安全数据。2.根据权利要求1所述的多源网络安全数据处理方法，其特征在于，所述获取多个数据源的日志数据，包括：获取不同类型的多个数据源的打点日志数据，和/或，获取同一类型的多个数据源的打点日志数据。3.根据权利要求1所述的多源网络安全数据处理方法，其特征在于，所述从经过格式解析的日志数据中抽取涉及攻击行为的数据，包括：从经过格式解析的日志数据中抽取涉及以下至少一种类型的数据作为涉及攻击行为的数据：DDoS、SPAM、Scanner、Brute Force、Compromised、Hijacked、Web Attacker以及Attacker。4.根据权利要求1所述的多源网络安全数据处理方法，其特征在于，所述对所述涉及攻击行为的数据进行格式化处理，得到第一网络安全数据，包括：使用协议数据交换格式工具库对所述涉及攻击行为的数据进行编码；对编码后的数据进行格式校验；将经过格式校验的数据进行序列化操作，得到第一网络安全数据。5.根据权利要求1所述的多源网络安全数据处理方法，其特征在于，所述对所述第一网络安全数据按照预设的查询维度进行分析，根据分析结果从所述第一网络安全数据中筛选出第二网络安全数据，包括：将所述第一网络安全数据写入消息队列；对所述消息队列进行基于滑窗统计的数据消费处理；其中，所述基于滑窗统计...

【专利技术属性】
技术研发人员：张杨名，齐向东，吴云坤，张献宾，黄朝文，李佳馨，
申请(专利权)人：网神信息技术北京股份有限公司，
类型：发明
国别省市：