数据处理方法、装置、设备和存储介质制造方法及图纸

本发明专利技术实施例提供一种数据处理方法、装置、设备和存储介质。该数据处理方法，包括：获取原始安全数据；对所述原始安全数据进行目标处理，得到威胁数据，所述目标处理用于从所述原始安全数据中筛选出威胁数据；所述威胁数据包括：告警数据和威胁事件数据；所述告警数据包含所述威胁事件数据；根据所述告警数据和威胁事件数据，识别所述原始安全数据中的目标威胁数据。在此过程中，针对大量的原始安全数据，可以通过目标处理，减少数据量，增加数据所包含的信息。在此基础上，相比于从大量的原始安全数据中直接识别目标威胁数据，从经过目标处理后的威胁数据中识别目标威胁数据更加容易，且效率更高。且效率更高。且效率更高。

【技术实现步骤摘要】
数据处理方法、装置、设备和存储介质


[0001]本专利技术涉及计算机
，尤其涉及一种数据处理方法、装置、设备和存储介质。

技术介绍

[0002]随着“互联网+”的到来，网络数据呈爆发性增长，各类设备产生的日志、流量、告警等数据汇聚到数据仓库中，上述数据的数据量较为庞大，如果需要基于数据仓库的数据进行安全威胁的识别、分析等处理，效率较低。

技术实现思路

[0003]针对现有技术中的问题，本专利技术实施例提供一种数据处理方法、装置、设备和存储介质。
[0004]具体地，本专利技术实施例提供了以下技术方案：第一方面，本专利技术实施例提供了一种数据处理方法。该数据处理方法，包括：获取原始安全数据；对所述原始安全数据进行目标处理，得到威胁数据，所述目标处理用于从所述原始安全数据中筛选出威胁数据；所述威胁数据包括：告警数据和威胁事件数据；所述告警数据包含所述威胁事件数据；根据所述告警数据和威胁事件数据，识别所述原始安全数据中的目标威胁数据。
[0005]进一步地，对所述原始安全数据进行目标处理，得到威胁数据，包括：对所述原始安全数据中具有威胁等级字段的数据进行威胁等级映射处理，得到所述告警数据；所述威胁等级映射处理用于将所述原始安全数据的威胁等级映射为统一的标识；对所述告警数据中具有目标字段的数据进行合并处理，得到所述威胁事件数据；所述目标字段用于表示所述数据为威胁事件数据。
[0006]进一步地，所述对所述原始安全数据中具有威胁等级字段的数据进行威胁等级映射处理之前，还包括以下至少一项：对所述原始安全数据进行格式转换；格式转换处理后数据的格式相同；或，在所述原始安全数据中增加受到威胁的目标对象的信息。
[0007]进一步地，所述对所述告警数据中具有目标字段的数据进行合并处理之前，还包括：根据所述目标字段对所述告警数据进行降噪处理。
[0008]进一步地，对所述告警数据中具有目标字段的数据进行合并处理，得到所述威胁事件数据，包括：获取至少一个预设安全规则；根据所述至少一个预设安全规则，将所述告警数据中具有目标字段的数据进行分
类，得到至少一类威胁事件数据；针对任一类所述威胁事件数据，将任一类所述威胁事件数据按照预设归并规则进行合并处理。
[0009]进一步地，所述预设归并规则包括预设时间范围和预设属性，将任一类所述威胁事件数据按照预设归并规则进行合并处理，包括：将任一类所述威胁事件数据中时间戳处于所述预设时间范围，且包括所述预设属性的威胁事件数据进行合并处理。
[0010]进一步地，按照预设归并规则进行合并处理之后，还包括：更新或增加合并后的威胁事件数据的告警字段，得到所述威胁事件数据，所述告警字段包括以下至少一项：威胁等级、属性和处置建议。
[0011]进一步地，根据所述告警数据和威胁事件数据，识别所述原始安全数据中的目标威胁数据之后，还包括：获取所述目标威胁数据中包括的受到威胁的相同目标对象的威胁数据。
[0012]第二方面，本专利技术实施例还提供了一种数据处理装置，用于网络安全态势感知，包括：获取模块，用于获取原始安全数据；处理模块，用于对所述原始安全数据进行目标处理，得到威胁数据，所述目标处理用于从所述原始安全数据中筛选出威胁数据；所述威胁数据包括：告警数据和威胁事件数据；所述告警数据包含所述威胁事件数据；所述处理模块，还用于根据所述告警数据和威胁事件数据，识别所述原始安全数据中的目标威胁数据。
[0013]第三方面，本专利技术实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述数据处理方法的步骤。
[0014]第四方面，本专利技术实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述数据处理方法的步骤。
[0015]第五方面，本专利技术实施例还提供了一种计算机程序产品，其上存储有可执行指令，该指令被处理器执行时使处理器实现如第一方面所述数据处理方法的步骤。
[0016]本专利技术实施例提供的数据处理方法、装置、设备和存储介质，通过对原始安全数据进行目标处理，得到威胁数据，目标处理用于从所述原始安全数据中筛选出威胁数据；威胁数据包括：告警数据和威胁事件数据；告警数据包含所述威胁事件数据，即目标处理之后数据量减少原始安全数据、告警数据和威胁事件的数据形成了数据“金字塔”结构。在此过程中，针对大量的原始安全数据，可以通过目标处理，减少数据量。在此基础上，相比于从大量的原始安全数据中直接识别目标威胁数据，从经过目标处理后的告警数据和威胁事件数据中识别目标威胁数据更加容易，且效率更高。
附图说明
[0017]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发
明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]图1为本专利技术提供的数据处理方法的一实施例的应用场景图；图2为本专利技术提供的数据处理方法的一实施例的流程示意图；图3为本专利技术提供的数据处理方法的另一实施例的流程示意图；图4为本专利技术提供的数据处理方法的一实施例的数据流转示意图；图5是本专利技术提供的数据处理装置一实施例的结构示意图；图6是本专利技术提供的电子设备一实施例的结构示意图。
具体实施方式
[0019]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0020]态势感知是一种基于环境的、动态、整体地洞悉安全风险的技术，它是以安全大数据为基础，从全局视角提升对安全威胁的发现识别、理解分析、响应处置能力的一种方式。随着“互联网+”的到来，网络数据呈爆发性增长，各类设备产生的日志、流量、告警等数据汇聚到数据仓库中，数据量庞大。利用现有的数据仓库中的数据进行网络安全态势感知时，由于数据量庞大，不容易发现具有威胁的数据，即处理效率较低。
[0021]本专利技术实施例的方法可以应用于网络安全态势感知场景中，先对多个原始安全数据进行目标处理得到多个第一告警数据，然后根据多个第一告警数据识别威胁数据。例如，某事业单位网站的网络安全态势感知。
[0022]图1为本专利技术一实施例提供的应用场景图，可选地，如图1所示，该应用场景中包括至少一个用户设备11、电子设备12和服务器13；该用户设备11可以为用户的客户端所在的终端设备，例如台式电脑、笔记本电脑、平板、手机等。用户设备11可以为某事业单位网站的客户端，也就是网络数据的生产者。服务器13可以为该事业单位网站的服务端，也是原始安全数据的提供方。
[0023本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取原始安全数据；对所述原始安全数据进行目标处理，得到威胁数据，所述目标处理用于从所述原始安全数据中筛选出威胁数据；所述威胁数据包括：告警数据和威胁事件数据；所述告警数据包含所述威胁事件数据；根据所述告警数据和威胁事件数据，识别所述原始安全数据中的目标威胁数据。2.根据权利要求1所述的数据处理方法，其特征在于，对所述原始安全数据进行目标处理，得到威胁数据，包括：对所述原始安全数据中具有威胁等级字段的数据进行威胁等级映射处理，得到所述告警数据；所述威胁等级映射处理用于将所述原始安全数据的威胁等级映射为统一的标识；对所述告警数据中具有目标字段的数据进行合并处理，得到所述威胁事件数据；所述目标字段用于表示所述数据为威胁事件数据。3.根据权利要求2所述的数据处理方法，其特征在于，所述对所述原始安全数据中具有威胁等级字段的数据进行威胁等级映射处理之前，还包括以下至少一项：对所述原始安全数据进行格式转换；格式转换处理后数据的格式相同；或，在所述原始安全数据中增加受到威胁的目标对象的信息。4.根据权利要求2或3所述的方法，其特征在于，所述对所述告警数据中具有目标字段的数据进行合并处理之前，还包括：根据所述目标字段对所述告警数据进行降噪处理。5.根据权利要求2或3所述的方法，其特征在于，对所述告警数据中具有目标字段的数据进行合并处理，得到所述威胁事件数据，包括：获取至少一个预设安全规则；根据所述至少一个预设安全规则，将所述告警数据中具有目标字段的数据进行分类，得到至少一类威胁事件数据；针对任一类所述威胁事件数据，将任一类所述威胁事件数据按照预设归并规则进行...

【专利技术属性】
技术研发人员：常月，
申请(专利权)人：奇安信科技集团股份有限公司，
类型：发明
国别省市：