一种数据关联处理方法、装置、设备及介质制造方法及图纸

本发明专利技术公开了一种数据关联处理方法、装置、设备及介质，所述方法包括获取关联规则，根据所述关联规则生成关联分析树；根据所述关联分析树生成内存规则执行对象，所述内存规则执行对象用于对进入内存的实时数据进行关联以得到关联目标数据；根据所述关联目标数据进行数据处理。本发明专利技术用于对位于内存的实时数据进行即时关联，从而可以快速得到安全检测结果。通过多种数据的关联，从而能够准确定位触发数据产生的相关事件，应用于安全领域能够显著提升告警的准确度与及时性。本发明专利技术自定义语法，并将根据自定义语法编写的关联规则自动执行，降低了关联规则编写门槛，使得关联规则的制定者可以摆脱对于程序开发人员的依赖，缩短关联规则落地时间。

A data association processing method, device, equipment and medium

【技术实现步骤摘要】
一种数据关联处理方法、装置、设备及介质
本专利技术涉及安全防御领域，尤其涉及一种数据关联处理方法、装置、设备及介质。
技术介绍
随着公司办公环境的互联网化，移动化，无边界化，必然面对更多的网络渗透、木马病毒入侵等网络攻击、还有严峻的信息泄露风险、新型的更隐蔽的APT(advancedpersistentthreat)攻击。为了提高纵深防御能力，必须对百亿至千亿海量安全日志数据实时多维关联高速分析，以尽可能早的发现泄露行为或入侵行为，保障办公安全正常和业务连续性。黑客在进行入侵时，会在多种类别的安全日志中留下痕迹。单类别的数据分析往往看不出黑客攻击的全貌，而且误报率高，关联分析成为入侵检测平台应该具备的核心能力。现有技术中主要有下述关联分析方案：(1)利用数据库关联查询：将安全日志存入数据库，利用数据库查询语言进行关联查询。这种方法需要数据落地后才能进行分析，性能差、延时性高、实时性低。关系数据库存储量有限，查询速度慢，难以用于处理百亿至千亿海量安全日志数据。(2)基于规则进行关联查询：需要将业务规则代码化并将其上传到分布式数据平台。规则创建调整更新困难，需要开发人员介入，成本高周期长，灵活性差。可见，现有技术中尚不存在灵活性高，性能优越的海量数据关联分析方案。
技术实现思路
为了解决现有技术中尚不存在灵活性高，性能优越的海量数据关联分析方案的技术问题，本专利技术实施例提供一种数据关联处理方法、装置、设备及介质。一方面，本专利技术提供了一种数据关联处理方法，所述方法包括：获取关联规则，根据所述关联规则生成关联分析树；根据所述关联分析树生成内存规则执行对象，所述内存规则执行对象用于对进入内存的实时数据进行关联以得到关联目标数据；根据所述关联目标数据进行数据处理。另一方面，本专利技术提供了一种数据关联处理装置，所述装置包括：关联分析树获取模块，用于获取关联规则，根据所述关联规则生成关联分析树；关联模块，用于根据所述关联分析树生成内存规则执行对象，所述内存规则执行对象用于对进入内存的实时数据进行关联以得到关联目标数据；数据处理模块，用于根据所述关联目标数据进行数据处理。另一方面，本专利技术提供了一种设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现一种数据关联处理方法。另一方面，本专利技术提供了一种计算机存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行一种数据关联处理方法。本专利技术提供了一种数据关联处理方法、装置、设备及介质。本专利技术用于对位于内存的实时数据进行即时关联，从而可以快速得到安全检测结果。通过多种数据的关联，从而能够准确定位触发数据产生的相关事件，应用于安全领域能够显著提升告警的准确度与及时性。本专利技术实施例中自定义语法，并将根据自定义语法编写出的关联规则自动执行，降低了关联规则的编写门槛，使得关联规则的制定者可以摆脱对于程序开发人员的依赖，缩短关联规则的落地时间。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。图1是本专利技术提供的实施环境示意图；图2是本专利技术提供的一种数据关联处理方法流程图；图3是本专利技术提供的按照所述关联分析树对所述实时数据进行关联以得到待关联目标数据流程图；图4是本专利技术提供的根据所述关联目标数据进行数据处理流程图；图5是本专利技术提供的另一根据所述关联目标数据进行数据处理流程图；图6是本专利技术提供的实时数据获取优化流程图；图7是本专利技术提供的数据获取优化示意图；图8是本专利技术提供的一种数据关联处理装置框图；图9是本专利技术提供的一种用于实现本专利技术实施例所提供的方法的设备的硬件结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。为了使本专利技术实施例公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术实施例进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本专利技术实施例，并不用于限定本专利技术实施例。为了实施本专利技术实施例公开的一种数据关联处理方法，本专利技术实施例给出其实施环境。参见图1，该实施环境包括：分布式数据分析服务器01、数据采集服务器03、数据存储服务器05和客户端07，所述数据采集服务器03与所述客户端07通信连接，所述数据采集服务器03从所述客户端07获取数据。所述数据采集服务器03、数据分析服务器01和数据存储服务器05依次通信连接，所述数据分析服务器01对于所述数据采集服务器03采集到的数据进行关联分析，并根据分析结果将所述数据或关联分析过程中产生的数据传输至数据存储服务器。还可以包括告警服务器09，所述告警服务器09与所述数据分析服务器01通信连接，以便于根据所述分析结果进行告警，或根据所述分析结果产生告警信号，并将所述告警信号传输至相关的客户端07。所述分布式数据分析服务器01、数据采集服务器03和数据存储服务器05均可以包括一个独立运行的服务器，或者分布式服务器，或者由多个服务器组成的服务器集群。本专利技术实施例提供一种数据关联处理方法，所述方法以所述实施环境中的数据分析服务器为实施主体，如图2所示，包括：S101.获取关联规则，根据所述关联规则生成关联分析树。具体地，为了解决现有技术中数据关联规则代码化困难，难以摆脱对于研发人员依赖的技术问题，本专利技术实施例中关联规则可以使用预设语法来表述，从而减低关联规则的制定人员描述关联规则的难度,所述预设语法可以起到伪代码的功能，降低规则的制定人员构建关联规则的难度。具体地，本专利技术实施例中使用预设语法描述关联规则时，所述关联规则可以通过支持的运算符、右值规则和左值规则来描述。所述运算符包括逻辑运算符和算法运算符，具体地，所述预算符的表述以及说明可以参考表1，其列出了部分的运算符的说明。右值规则支持现有的字符串、字符串集合和逗号分割的字符串，左值规则支持通过左值方式对字符串进行定义以得到自定义特征。表1所述关联规则可以基于JSON语言来描述，通过本专利技术实施例设定的本文档来自技高网...

【技术保护点】
1.一种数据关联处理方法，其特征在于，所述方法包括：获取关联规则，根据所述关联规则生成关联分析树；根据所述关联分析树生成内存规则执行对象，所述内存规则执行对象用于对进入内存的实时数据进行关联以得到关联目标数据；根据所述关联目标数据进行数据处理。

【技术特征摘要】
1.一种数据关联处理方法，其特征在于，所述方法包括：获取关联规则，根据所述关联规则生成关联分析树；根据所述关联分析树生成内存规则执行对象，所述内存规则执行对象用于对进入内存的实时数据进行关联以得到关联目标数据；根据所述关联目标数据进行数据处理。2.根据权利要求1所述的方法，其特征在于，所述对进入内存的实时数据进行关联以得到关联目标数据，包括：按照所述关联分析树对所述实时数据进行特征提取，以得到每一条实时数据所包括的字段以及所述字段对应的值；从所述实时数据中获取待关联数据，所述待关联数据均包括关联字段，并且所述待关联数据满足数据产生关联条件和数据联合条件，所述数据产生关联条件为数据产生时间位于相同的时间窗，所述数据联合条件为除去数据产生时间外的其它关联字段对应的值相同；提取所述待关联数据的关联字段和必要字段以得到待关联目标数据；合并待关联目标数据以得到关联目标数据。3.根据权利要求2所述的方法，其特征在于：每隔预设时间设置一个时间窗，并对每个时间窗进行编号；若不同数据中的数据产生时间落入编号相同的时间窗之中，则判定其其满足数据产生关联条件；或，计算不同数据的数据产生时间的差值，若所述差值小于所述时间窗的窗口长度，则判定其满足数据产生关联条件。4.根据权利要求1所述的方法，其特征在于，所述根据所述关联目标数据进行数据处理，包括：获取安全检测条件；若所述关联目标数据不满足所述安全检测条件，则发布安全警告。5.根据权利要求1所述的方法，其特征在于，所述根据所述关联目标数据进行数据处理，包括：根据所述关联目标数据得到待统计数据，所述待统计数据为产生时间满足预设时间要求的关联目标数据；对待统计数据的指定字段的对应值进行统计以得到统计结果；若所述统计结果不满足所述安全检测条件，则发布安全警告。6.根据权利要求1所述的方法，其特...

【专利技术属性】
技术研发人员：朱祁林，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44