基于自定义策略的数据分析方法、装置、设备和存储介质制造方法及图纸

本申请涉及数据分析领域，特别是涉及一种基于自定义策略的数据分析方法、装置、计算机设备和存储介质，所述方法包括：对从第一数据库中获取的自定义策略解析，生成对应的SQL语句；及对目标数据解析，得到数据解析结果；基于所述SQL语句以及所述数据解析结果，确定第一分析结果；基于所述第一分析结果以及线索策略，确定第二分析结果。本发明专利技术利用用户的自定义策略，能够满足用户的需求进行数据分析，利用SQL语句能够快速的数据分析，利用线数策略的进一步与第一分析结果匹配能够准确的得到数据分析结果。数据分析结果。数据分析结果。

【技术实现步骤摘要】
基于自定义策略的数据分析方法、装置、设备和存储介质


[0001]本申请涉及数据分析领域，特别是涉及一种基于自定义策略的数据分析方法、装置、计算机设备和存储介质。

技术介绍

[0002]在网络安全事件分析过程中，通常需要面对大量且多维度的环境数据。如仅依据个人经验来分析，结果将取决于个人水平，容易遗漏关键信息，且难以进行复杂的关联分析。
[0003]现有技术并没有适用于对大量数据进行分析的方法。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种基于自定义策略的数据分析方法、装置、计算机设备和存储介质。
[0005]第一方面，本专利技术实施例提出一种基于自定义策略的数据分析方法，所述方法包括：
[0006]对从第一数据库中获取的自定义策略解析，生成对应的SQL语句；及
[0007]对目标数据解析，得到数据解析结果；
[0008]基于所述SQL语句以及所述数据解析结果，确定第一分析结果；
[0009]基于所述第一分析结果以及线索策略，确定第二分析结果。
[0010]在一实施例中，所述对从第一数据库中获取的自定义策略解析，生成对应的SQL语句包括：
[0011]从第一数据库中获取自定义策略，所述第一数据库为MYSQL数据库；
[0012]将所述自定义策略映射到语法树的节点，生成对应的SQL语句。
[0013]在一实施例中，所述自定义策略包括基本条件和关联条件，所述将所述自定义策略映射到语法树，生成对应的SQL语句包括：
[0014]确定所述基本条件和所述关联条件的表达式；
[0015]将所述基本条件和所述关联条件的表达式分别映射到语法树的节点，生成对应的SQL语句，其中，所述基本条件所对应的SQL语句作为子查询语句。
[0016]在一实施例中，所述对目标数据解析，得到数据解析结果包括：
[0017]对目标数据解析得到采集数据以及日志数据；
[0018]将清洗后的日志数据以及所述采集数据存储到第二数据库；所述第二数据库为SparkSQL数据库。
[0019]在一实施例中，所述基于所述SQL语句以及所述数据解析结果，确定第一分析结果包括：
[0020]基于所述SQL语句对所述数据解析结果分组聚合，生成多个子数据集；
[0021]基于所述SQL语句以及所述多个子数据集，生成第一分析结果。
[0022]在一实施例中，所述基于所述第一分析结果以及线索策略，确定第二分析结果包括：
[0023]将所述第一分析结果所包含的多个子数据集与所述线索策略相匹配；
[0024]将匹配的子数据集确定为关键行为数据；将不匹配的子数据集确定为非关键行为数据。
[0025]在一实施例中，所述方法还包括：
[0026]将所述关键行为数据和所述非关键行为数据进行标记；
[0027]将标记后的所述关键行为数据和所述非关键行为数据，存储到所述第一数据库中。
[0028]第二方面，本专利技术实施例提出一种基于自定义策略的数据分析装置，所述装置包括：
[0029]第一解析模块，用于对从第一数据库中获取的自定义策略解析，生成对应的SQL语句；及
[0030]第二解析模块，用于对目标数据解析，得到数据解析结果；
[0031]第一确定模块，用于基于所述SQL语句以及所述数据解析结果，确定第一分析结果；
[0032]第二确定模块，用于基于所述第一分析结果以及线索策略，确定第二分析结果。
[0033]第三方面，本专利技术实施例提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行第一方面所述的步骤。
[0034]第四方面，本专利技术实施例提出一种计算机可读存储介质，其上存储有计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的步骤。
[0035]相比于现有技术，上述方法、装置、计算机设备和存储介质，对从第一数据库中获取的自定义策略解析，生成对应的SQL语句；及对目标数据解析，得到数据解析结果；基于所述SQL语句以及所述数据解析结果，确定第一分析结果；基于所述第一分析结果以及线索策略，确定第二分析结果。本专利技术利用用户的自定义策略，能够满足用户的需求进行数据分析，利用SQL语句能够快速的数据分析，利用线数策略的进一步与第一分析结果匹配能够准确的得到数据分析结果。
附图说明
[0036]图1为一实施例中基于自定义策略的数据分析方法应用环境的结构示意图；
[0037]图2为一实施例中基于自定义策略的数据分析方法的流程示意图；
[0038]图3为一实施例中生成SQL语句的流程示意图；
[0039]图4为一实施例中对目标数据解析的流程示意图；
[0040]图5为一实施例中生成第一分析结果的流程示意图；
[0041]图6为一实施例中子数据集与线索策略匹配的流程示意图；
[0042]图7为一实施例中基于自定义策略的数据分析装置的模块连接示意图；
[0043]图8为一实施例中计算机设备的结构示意图。
具体实施方式
[0044]为了更清楚地说明本专利技术的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本专利技术的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本专利技术应用于其他类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
[0045]如本专利技术和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
[0046]虽然本专利技术对根据本专利技术的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在计算设备和/或处理器上。模块仅是说明性的，并且系统和方法的不同方面可以使用不同模块。
[0047]应当理解的是，当单元或模块被描述为“连接”、“耦接”其它单元、模块或块时，其可以指直接连接或耦接，或者与其它单元、模块或块通信，或者可以存在中间的单元、模块或块，除非上下文明确指明其它方式。本文所使用的术语“和/或”可包括一个或多个相关列出项目的任意与所有组合。
[0048]本申请提供的基于自定义策略的数据分析方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102对从第一数据库中获取的自定义策略解析，生成对应的SQL语句；及对目标数据解析，得到数据解析结果；基于所述SQL语句以及所述数据解析结果，确定第一分析结果；基于所述第一分析结果以及线索策略，确定第二分析结果。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自定义策略的数据分析方法，其特征在于，所述方法包括：对从第一数据库中获取的自定义策略解析，生成对应的SQL语句；及对目标数据解析，得到数据解析结果；基于所述SQL语句以及所述数据解析结果，确定第一分析结果；基于所述第一分析结果以及线索策略，确定第二分析结果。2.根据权利要求1所述的方法，其特征在于，所述对从第一数据库中获取的自定义策略解析，生成对应的SQL语句包括：从第一数据库中获取自定义策略，所述第一数据库为MYSQL数据库；将所述自定义策略映射到语法树的节点，生成对应的SQL语句。3.根据权利要求2所述的方法，其特征在于，所述自定义策略包括基本条件和关联条件，所述将所述自定义策略映射到语法树，生成对应的SQL语句包括：确定所述基本条件和所述关联条件的表达式；将所述基本条件和所述关联条件的表达式分别映射到语法树的节点，生成对应的SQL语句，其中，所述基本条件所对应的SQL语句作为子查询语句。4.根据权利要求1所述的方法，其特征在于，所述对目标数据解析，得到数据解析结果包括：对目标数据解析得到采集数据以及日志数据；将清洗后的日志数据以及所述采集数据存储到第二数据库；所述第二数据库为SparkSQL数据库。5.根据权利要求1所述的方法，其特征在于，所述基于所述SQL语句以及所述数据解析结果，确定第一分析结果包括：基于所述SQL语句对所述数据解...

【专利技术属性】
技术研发人员：吴伟杰，范渊，
申请(专利权)人：杭州安恒信息技术股份有限公司，
类型：发明
国别省市：