一种数据库操作异常行为检测方法及可读存储介质技术

本发明专利技术公开了一种数据库操作异常行为检测方法及可读存储介质，其中，所述检测方法包括如下步骤：S01)对数据库审计类日志数据进行解析、转换和采集；S02)使用LOF算法检测异常点；S03)采用四分位算法检测数据库操作异常行为；S04)结合LOF算法和四分位算法的异常检测结果，联合检测输出异常，得出最终的数据库操作异常行为检测结果。本发明专利技术提供的数据库操作异常行为检测方法及可读存储介质，能够很好地兼顾运行速度和准确性，提高高维大数据的检测效率。效率。效率。

【技术实现步骤摘要】
一种数据库操作异常行为检测方法及可读存储介质


[0001]本专利技术涉及一种数据安全审计方法，尤其涉及一种数据库操作异常行为检测方法及可读存储介质。

技术介绍

[0002]数据安全审计及数据泄露防护的重要性不言而喻。然而，黑客日益狡猾，所使用的攻击手段花样繁多，其攻击行为日益隐蔽且没有明显的规律性。
[0003]当前，数据库操作异常行为的检测手段按照数理逻辑大致分为三类：1)基于一定规则的统计方法，如分位数算法、HBOS(基于直方图的异常值得分)算法等；2)基于神经网络等有监督类的算法，如CNN(卷积神经网络)、LSTM(长短期记忆人工神经网络)等；3)基于类群算法或树形算法等无监督类的算法，如聚类算法、孤立森林算法、频繁模式树算法等。这三类方法各有优点：第一种方法灵活易用；第二种方法考虑因素周全，函数描述和表达能力强；第三种方法直观明了，可解释性强。但是这些算法在数据安全审计领域的应用都有其局限性，要么因为过于复杂检测效率低，要么因为检测结果可信度低无法满足数据安全防御和治理的需求。

技术实现思路

[0004]本专利技术所要解决的技术问题是提供一种数据库操作异常行为检测方法，能够很好地兼顾运行速度和准确性，提高高维大数据的检测效率。
[0005]本专利技术为解决上述技术问题而采用的技术方案是提供一种数据库操作异常行为检测方法，包括如下步骤：S01)对数据库审计类日志数据进行解析、转换和采集；S02)使用LOF算法检测异常点；S03)采用四分位算法检测数据库操作异常行为；S04)结合LOF算法和四分位算法的异常检测结果，联合检测输出异常，得出最终的数据库操作异常行为检测结果。
[0006]进一步地，所述步骤S01中的数据库审计类日志数据来源于堡垒机或数据库审计设备的SQL请求操作日志。
[0007]进一步地，所述步骤S2包括：步骤S021，针对不同的用户实体行为异常分析场景快速选取相应的多维特征；步骤S022，对选取的特征数据进行归一化处理；步骤S023，采用LOF算法识别异常点。
[0008]进一步地，所述步骤S021针对SQL请求日志用户实体，选取如下多维特征：操作频次、访问设备端口数、操作类型数、操作表数、数据库风险操作次数、sql返回的总行数、session数、访问主机的平均持续时间和session的平均持续时间。
[0009]进一步地，所述步骤S022对选取的特征数据采用如下的最小最大化方法处理过程：对每一个用户实体操作特征量，按照x
′
＝(x
‑
min
A
)/(max
A
‑
min
A
)进行计算；其中，x为上一步骤中挑选的某个操作特征量，min
A
为该操作特征量的最小值，max
A
为该操作特征量的最大值，x
′
为处理之后的特征量。
[0010]进一步地，所述步骤S023包括：S0231)用欧式距离计算待检测的特征数据集中数据点的第k距离；S0232)通过所求的第k距离确定该点第k可达距离；S0233)通过所求的第k距离确定该点第k距离邻域；S0234)通过可达距离和第k距离邻域计算该点局部可达密度；S0235)通过局部可达密度计算局部离群因子，获得异常程度得分。
[0011]进一步地，所述步骤S03包括获取与数据库敏感操作或者异常操作有关的关键特征值，并按如下算法检测异常：S0321)根据分位数算法计算四分位数值；S0322)根据四分位数计算异常边界阈值；S0323)根据异常边界阈值判定异常。
[0012]进一步地，所述步骤S03选取的单维度关键特征为数据库风险操作次数，用cnt表示，四分位算子用clickhouse或spark
‑
sql的quartile()算子来实现，异常边界阈值计算公式如下：
[0013]outlier_value＝Q3+γ(Q3‑
Q1)；
[0014]Q1为四分之一分位数，Q3为四分之三分位数；Q1＝quartile(cnt,0.25)，Q3＝quartile(cnt,
[0015]0.75)，2≤γ≤8。
[0016]进一步地，所述步骤S04包括：S041)采用网格搜索算法对k进行寻优，选取合适的LOF算法的k值；S042)设定LOF算法检测异常的条件为LOF
k
(P)>2，只有LOF算法和四分位算法都判定为异常时，才将数据对象最终判定为异常；S043)用LOF算法中的LOF
k
(P)值来定量给出异常程度，LOF
k
(P)为点P的局部异常因子。
[0017]本专利技术为解决上述技术问题还提供一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现上述的数据库操作异常行为检测方法中的步骤。
[0018]本专利技术对比现有技术有如下的有益效果：本专利技术提供的数据库操作异常行为检测方法，将LOF(局部离群因子)算法和四分位算法结合起来共同检测数据库操作异常行为(离群点)，具体如下创新点：1)对数据的分布几乎没有要求；2)选取特征充分利用了数据库审计安全领域的专家经验；3)检测速度快，能够对高维度大数据进行快速检测；4)准确度相比单一算法高；5)可以方便地通过参数(包括近邻参数和阈值参数)控制在算法运行速度和检测准确性之间取得平衡。
附图说明
[0019]图1为本专利技术数据库操作异常行为整体检测流程图；
[0020]图2为本专利技术LOF算法异常检测整体流程图；
[0021]图3为本专利技术LOF算法流程图；
[0022]图4为本专利技术四分位算法异常检测整体流程图；
[0023]图5为本专利技术四分位算法核心流程图；
[0024]图6为本专利技术联合检测输出异常流程图。
具体实施方式
[0025]下面结合附图和实施例对本专利技术作进一步的描述。
[0026]本专利技术为数据库审计安全提供了一种数据库操作异常行为检测方法，创新性地将
人的智能、特征挖掘、数据归一化、类群算法、密度算法、统计算法等手段或思想理念有机结合起来，产生了预期之外的加成效果，主要体现在四个方面：
[0027]1)以数据库审计安全领域专家经验知识充分挖掘特征，并且选取特征非常快捷。
[0028]2)最大最小化(MinMaxScaler)处理不仅提升了异常检测算法的运算性能，而且保证了数据的质量。
[0029]3)从特征空间去理解数据库操作异常行为，笃定异常行为一定是有数据“迹象”的，灵活地将多维度算法和单维度算法结合起来，把业务照进算法，让算法非常容易理解。
[0030]4)创造性将密度类群算法和统计算法有机结合起来，在异常行为检测速度和准确性之间取得了很好的平衡。
[0031]图1是本专利技术提供的一种数据库操作异常行为检测方法整体流程图，具体涉及以下步骤：
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据库操作异常行为检测方法，其特征在于，包括如下步骤：S01)对数据库审计类日志数据进行解析、转换和采集；S02)使用LOF算法检测异常点；S03)采用四分位算法检测数据库操作异常行为；S04)结合LOF算法和四分位算法的异常检测结果，联合检测输出异常，得出最终的数据库操作异常行为检测结果。2.如权利要求1所述的数据库操作异常行为检测方法，其特征在于，所述步骤S01中的数据库审计类日志数据来源于堡垒机或数据库审计设备的SQL请求操作日志。3.如权利要求1所述的数据库操作异常行为检测方法，其特征在于，所述步骤S2包括：步骤S021，针对不同的用户实体行为异常分析场景快速选取相应的多维特征；步骤S022，对选取的特征数据进行归一化处理；步骤S023，采用LOF算法识别异常点。4.如权利要求1所述的数据库操作异常行为检测方法，其特征在于，所述步骤S021针对SQL请求日志用户实体，选取如下多维特征：操作频次、访问设备端口数、操作类型数、操作表数、数据库风险操作次数、sql返回的总行数、session数、访问主机的平均持续时间和session的平均持续时间。5.如权利要求1所述的数据库操作异常行为检测方法，其特征在于，所述步骤S022对选取的特征数据采用如下的最小最大化方法处理过程：对每一个用户实体操作特征量，按照x
′
＝(x
‑
min
A
)/(max
A
‑
min
A
)进行计算；其中，x为上一步骤中挑选的某个操作特征量，min
A
为该操作特征量的最小值，max
A
为该操作特征量的最大值，x
′
为处理之后的特征量。6.如权利要求1所述的数据库操作异常行为检测方法，其特征在于，所述步骤S023包括：S0231)用欧式距离计算待检测的特征数...

【专利技术属性】
技术研发人员：冯骏，刘硕，周子尧，
申请(专利权)人：上海市大数据中心，
类型：发明
国别省市：