一种基于flink流式处理的SOM数据库动态风险感知的实现方法技术

本发明专利技术提出了一种基于flink流式处理的SOM数据库动态风险感知的实现方法，涉及数据库技术领域。该方法包括：获取sql请求报文数据，并对sql请求报文数据进行解析，以抽取数据库访问相关日志，同时对数据库访问相关日志进行压缩存放。利用Java程序对压缩存放的数据库访问相关日志解析后，放入kafka。利用flink流式处理从kafka中抽取多个访问数据组，并对各个访问数据组进行计算，得到各种维度的访问值。将所有访问值发送至SOM模型中进行分类，得到分类结果。根据分类结果，调用对应的告警或者拦截操作。通过SOM模型接收flink计算完成的数据，同时映射最新分类结果，并迅速生成处置方案进行风险处理。方案进行风险处理。方案进行风险处理。

【技术实现步骤摘要】
一种基于flink流式处理的SOM数据库动态风险感知的实现方法


[0001]本专利技术涉及数据库
，具体而言，涉及一种基于flink流式处理的SOM数据库动态风险感知的实现方法。

技术介绍

[0002]目前，关于判断数据库风险访问行为的现有技术存在以下缺陷：
[0003]1)数据库的风险访问行为判断标准不一：每个公司有每个公司的数据库风险访问判断方法，在一个公司属于风险行为的数据库访问行为，可能在别的公司就属于正常的数据库访问行为。
[0004]2)数据库风险访问行为的判断更多的依赖于运维人员的“经验”：数据库的风险访问行为，很多情况下都依赖于运维人员对于过往访问行为的经验总结，不同运维人员的经验还有区别和差异。
[0005]3)新的风险访问行为判断滞后：基于过往的运维人员经验判断可以实现一些风险访问行为的判断和拦截，但是对于新的从未出现过的一些风险访问行为的拦截滞后，很有可能会造成不可挽回的损失。因此，通过一种自适应判断方法来实现实时对数据库风险访问行为的分析和处理具有十分重要的意义。

技术实现思路

[0006]本专利技术的目的在于提供一种基于flink流式处理的SOM数据库动态风险感知的实现方法，用以改善现有技术中无法提供一种自适应判断方法来实时对数据库风险访问行为进行分析和处理的问题。
[0007]本专利技术的实施例是这样实现的：
[0008]第一方面，本申请实施例提供一种基于flink流式处理的SOM数据库动态风险感知的实现方法，其包括如下步骤：<br/>[0009]获取sql请求报文数据，并对sql请求报文数据进行解析，以抽取数据库访问相关日志，同时对数据库访问相关日志进行压缩存放；
[0010]利用Java程序对压缩存放的数据库访问相关日志解析后，放入kafka；
[0011]利用flink流式处理从kafka中抽取多个访问数据组，并对各个访问数据组进行计算，得到各种维度的访问值，其中，任一访问数据组包含至少一个访问数据；
[0012]将所有访问值发送至SOM模型中进行分类，得到分类结果；
[0013]根据分类结果，调用对应的告警或者拦截操作。
[0014]在本专利技术的一些实施例中，上述获取sql请求报文数据，并对sql请求报文数据进行解析，以抽取数据库访问相关日志，同时对数据库访问相关日志进行压缩存放的步骤包括：
[0015]对sql请求报文数据进行分析，根据sql协议确定待解析sql报文；
[0016]基于sql协议，对待解析sql报文进行解析，得到解析后的数据库访问相关日志；
[0017]按照字节码的方式，对数据库访问相关日志进行压缩存放。
[0018]在本专利技术的一些实施例中，上述利用flink流式处理从kafka中抽取多个访问数据组，并对各个访问数据组进行计算，得到各种维度的访问值的步骤包括：
[0019]从kafka中抽取一个访问数据组，利用flink框架的内置函数计算该访问数据组对应的各种维度的访问值；
[0020]利用flink的滑动窗口，按照预设间隔时间再次从kafka中抽取访问数据组，以计算预设时间段内的各种维度的访问值。
[0021]在本专利技术的一些实施例中，上述从kafka中抽取一个访问数据组，利用flink框架的内置函数计算该访问数据组对应的各种维度的访问值的步骤包括：
[0022]基于checkpoint机制，存放该访问数据组对应的各种维度的访问值后，再次从kafka中抽取访问数据组。
[0023]在本专利技术的一些实施例中，上述flink框架的内置函数至少包括count函数和sum函数中的一种或多种。
[0024]在本专利技术的一些实施例中，上述利用flink流式处理从kafka中抽取多个访问数据组的步骤包括：
[0025]flink通过拆分的方式从kafka中抽取访问数据组。
[0026]在本专利技术的一些实施例中，上述对数据库访问相关日志进行压缩存放的步骤包括：
[0027]将数据库访问相关日志压缩放入预置文件中，当预置文件的大小达到预设大小时，重新创建一个新的文件。
[0028]在本专利技术的一些实施例中，上述访问值至少包括select请求数量、update请求数量、alter请求数量、insert请求数量、delete请求数量、每一个客户端mac地址的sql请求数量和每一个客户端ip的请求数量中的一种或多种。
[0029]第二方面，本申请实施例提供一种电子设备，其包括存储器，用于存储一个或多个程序；处理器。当一个或多个程序被处理器执行时，实现如上述第一方面中任一项的方法。
[0030]第三方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面中任一项的方法。
[0031]相对于现有技术，本专利技术的实施例至少具有如下优点或有益效果：
[0032]本专利技术提供一种基于flink流式处理的SOM数据库动态风险感知的实现方法，其包括如下步骤：获取sql请求报文数据，并对sql请求报文数据进行解析，以抽取数据库访问相关日志，同时对数据库访问相关日志进行压缩存放，压缩存放的数据库访问相关日志减少了硬盘占用空间。利用Java程序对压缩存放的数据库访问相关日志解析后，放入kafka。利用flink流式处理从kafka中抽取多个访问数据组，并对各个访问数据组进行计算，得到各种维度的访问值，其中，任一访问数据组包含至少一个访问数据。Flink流式处理对数据库的访问行为，当有新的数据访问情况发生时，可以及时通过计算得到相关数据，在实时计算相关维度的访问数据值的同时，也避免了对于新的从未出现过的一些风险访问行为的拦截滞后的情况。将所有访问值发送至SOM模型中进行分类，得到分类结果。根据分类结果，调用对应的告警或者拦截操作。进而针对SOM模型的分类结果，调用相关的告警或者拦截操作来
降低或者阻止对数据库的风险访问行为。从而通过SOM模型接收flink计算完成的数据，以实时判断数据库的访问情况是否有异动，实现了实时对数据库的访问情况进行跟踪和探查的目的，并通过SOM模型及时把最新的分类结果映射出来，一旦发现有异常访问行为，则迅速生成处置方案并进行风险处理，以达到对异常访问行为进行告警或者拦截的效果，从而将对数据库的影响降低到最低。
附图说明
[0033]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0034]图1为本专利技术实施例提供的一种基于flink流式处理的SOM数据库动态风险感知的实现方法的流程图；
[0035]图2为本专利技术实施例提供的一种系统运行结构图；
[0036]图3为本专利技术实施例提供的一种sql请本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于flink流式处理的SOM数据库动态风险感知的实现方法，其特征在于，包括如下步骤：获取sql请求报文数据，并对所述sql请求报文数据进行解析，以抽取数据库访问相关日志，同时对所述数据库访问相关日志进行压缩存放；利用Java程序对压缩存放的数据库访问相关日志解析后，放入kafka；利用flink流式处理从kafka中抽取多个访问数据组，并对各个访问数据组进行计算，得到各种维度的访问值，其中，任一访问数据组包含至少一个访问数据；将所有访问值发送至SOM模型中进行分类，得到分类结果；根据所述分类结果，调用对应的告警或者拦截操作。2.根据权利要求1所述的基于flink流式处理的SOM数据库动态风险感知的实现方法，其特征在于，所述获取sql请求报文数据，并对所述sql请求报文数据进行解析，以抽取数据库访问相关日志，同时对所述数据库访问相关日志进行压缩存放的步骤包括：对所述sql请求报文数据进行分析，根据sql协议确定待解析sql报文；基于sql协议，对所述待解析sql报文进行解析，得到解析后的数据库访问相关日志；按照字节码的方式，对所述数据库访问相关日志进行压缩存放。3.根据权利要求1所述的基于flink流式处理的SOM数据库动态风险感知的实现方法，其特征在于，所述利用flink流式处理从kafka中抽取多个访问数据组，并对各个访问数据组进行计算，得到各种维度的访问值的步骤包括：从kafka中抽取一个访问数据组，利用flink框架的内置函数计算该访问数据组对应的各种维度的访问值；利用flink的滑动窗口，按照预设间隔时间再次从kafka中抽取访问数据组，以计算预设时间段内的各种维度的访问值。4.根据权利要求1所述的基于flink流式处理的SOM数据库动态风险感知的实现方法，其特征在于，所述从kaf...

【专利技术属性】
技术研发人员：唐更新，李希伟，宋辉，赵卫国，
申请(专利权)人：北京中安星云软件技术有限公司，
类型：发明
国别省市：