一种基于事件模版相似度推荐的三层关联方法技术

本发明专利技术公开了一种基于事件模版相似度推荐的三层关联方法，具体涉及大数据安全技术领域，本发明专利技术通过提出的方法围绕模版进行数据库日志和应用日志的三层关联，大幅提升时效性和准确度，率先提出将DBSCAN聚类算法应用在url请求和响应参数汇聚中，有助于提升整套算法的准确度，将推荐协同过滤算法应用在三层关联技术领域，提出word2vec相似度矩阵匹配实现应用日志事件和数据库日志模版三层关联，大幅度提升关联准确度。升关联准确度。升关联准确度。

【技术实现步骤摘要】
一种基于事件模版相似度推荐的三层关联方法


[0001]本专利技术实施例涉及大数据安全
，具体涉及一种基于事件模版相似度推荐的三层关联方法。

技术介绍

[0002]随着网络技术的发展，信息安全问题越来越受到重视，目前在审计产品中，普遍的需求是检测数据库中表中的数据流向了哪些应用之中，从而支撑风险发现，日志溯源，敏感泄漏流向检测等安全需求。
[0003]目前审计类产品的通常通过数据库日志事件和应用日志事件的请求或响应参数进行三层关联。在现实场景下，由于事件总数非常巨大，实时分析应用事件和数据库事件的关联计算量非常大，而且传统的关联算法准确率并不高。

技术实现思路

[0004]为此，本专利技术实施例提供一种基于事件模版相似度推荐的三层关联方法，通过提出的方法围绕模版进行数据库日志和应用日志的三层关联，大幅提升时效性和准确度，率先提出将DBSCAN聚类算法应用在url请求和响应参数汇聚中，有助于提升整套算法的准确度，将推荐协同过滤算法应用在三层关联
，提出word2vec相似度矩阵匹配实现应用日志事件和数据库日志模版三层关联，大幅度提升关联准确度。
[0005]为了实现上述目的，本专利技术实施例提供如下技术方案一种基于事件模版相似度推荐的三层关联方法，其特征在于：所述具体流出如下：
[0006]步骤一：筛选需要分析的sql模版；
[0007]步骤二：针对一个sql模版，筛选一段时间内的所有sql事件；
[0008]步骤三：将该sql模版的所有sql事件的请求和响应参数汇聚到集合sqlTemplateReqs，sqlTemplateRsps内并分别去重；
[0009]步骤四：对该sql模版的所有sql事件，筛选每一个sql事件之前一段时间内的所有url事件，并去重；
[0010]步骤五：将所有url事件根据apiUrl分别汇聚请求和响应参数用DBSCAN聚类算法聚类到apiUrlReqs,apiUrlRsps内，并去重；
[0011]步骤六：借鉴推荐系统的思想，基于上几步获得的结果将apiUrlReqs与sqlTemplateReqs，apiUrlRsps与sqlTemplateRsps分别转换为数值向量，并利用协同过滤算法计算相关性，并将合适的apiUrl推荐给对应的sql模版；
[0012]步骤七：将关联结果存储到数据库中，每隔一个月更新一次；
[0013]步骤八：重复1
‑
7的步骤，循环sql模版。
[0014]进一步地，所述步骤一中的sql模版是审计产品对sql事件的一种抽象，用户可以输入需要分析的sql模版，这些sql模版一般是用户比较关注，对业务影响比较大，重要程度比较高的sql模版。
[0015]进一步地，所述步骤二中一个sql模版对应有多个sql事件，不同场景下sql事件数量不同，在实际落地中根据情况筛选1小时，1天或者1周的sql事件。
[0016]进一步地，所述步骤三中sqlTemplateReqs，sqlTemplateRsps中分别存储了该sql模版所有sql事件的请求响应参数，由于很多sql事件的响应参数有大量重复，所以先要分别进行去重处理，以免影响后续的算法流程。
[0017]进一步地，所述步骤五中apiUrl是对url的一种抽象，DBSCAN(Density
‑
Based Spatial Clustering of Applications with Noise)算法是一基于密度的聚类算法，DBSCAN将簇定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并可在噪声的空间数据库中发现任意形状的聚类；在我们抽取的所有url事件中，可能存在多个apiUrl，我们需要根据不同的apiUrl进行用DBSCAN将请求和响应参数聚类汇聚。
[0018]进一步地，所述步骤六中协同过滤的核心是目标之间的相似度计算，可以采用矩阵思想来计算相似度，将sqlTemplateRsps构建行为Rsps矩阵，矩阵的某个元素代表某个sqlTemplate的Rsp参数值，其中行向量代表某个sqlTemplate对所有apiUrl的相关向量，列向量代表sqlTemplateRsps的参数值，可以利用word2vec算法将apiUrlRsps和sqlTemplateRsps转化为行向量和列向量，有了行向量和列向量，可以计算apiUrlRsps与sqlTemplateRsps之间的相似度，具体来说，行向量之间的相似度就是apiUrlRsps和sqlTemplateRsps之间的相似度，列向量之间的相似度就是apiUrlRsps之间的相似度，同理建设Reqs行为矩阵，并计算apiUrlReqs和sqlTemplateReqs之间的相似度,将两个相似度进行相加，将最合适的apiUrl推荐给对应的sql模版。
[0019]进一步地，所述步骤四中不同场景下url事件数量不同，在实际落地中根据情况筛选0.5s，1s内的所有url事件。
[0020]本专利技术实施例具有如下优点：
[0021]1、已有相关专利、专利技术及其关键算法主要围绕事件角度实施三层关联，本专利技术提出的方法围绕模版进行数据库日志和应用日志的三层关联，大幅提升时效性和准确度；
[0022]2、率先提出将DBSCAN聚类算法应用在url请求和响应参数汇聚中，有助于提升整套算法的准确度。
[0023]3、本专利技术将推荐协同过滤算法应用在三层关联
，提出word2vec相似度矩阵匹配实现应用日志事件和数据库日志模版三层关联，大幅度提升关联准确度。
附图说明
[0024]图1为本专利技术提供dbscan算法图。
[0025]图2为本专利技术提供的行为矩阵图。
[0026]图3为本专利技术提供的word2vec算法原理图。
[0027]图4为本专利技术提供的算法关键流程图。
具体实施方式
[0028]以下由特定的具体实施例说明本专利技术的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本专利技术的其他优点及功效，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做
出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0029]一种基于事件模版相似度推荐的三层关联方法，所述具体流出如下：
[0030]步骤一：筛选需要分析的sql模版；
[0031]步骤二：针对一个sql模版，筛选一段时间内的所有sql事件；
[0032]步骤三：将该sql模版的所有sql事件的请求和响应参数汇聚到集合sqlTemplateReqs，sqlTemplateRsps内并分别去重；
[0033]步骤四：对该sql模版的所有sql事件，筛选每一个sql事件之前一段时间内的所有url事件，并去重，需要注意的是，不同场景下url事件数量不同，在实际落地中我们可以根据情本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于事件模版相似度推荐的三层关联方法，其特征在于：所述具体流出如下：步骤一：筛选需要分析的sql模版；步骤二：针对一个sql模版，筛选一段时间内的所有sql事件；步骤三：将该sql模版的所有sql事件的请求和响应参数汇聚到集合sqlTemplateReqs，sqlTemplateRsps内并分别去重；步骤四：对该sql模版的所有sql事件，筛选每一个sql事件之前一段时间内的所有url事件，并去重；步骤五：将所有url事件根据apiUrl分别汇聚请求和响应参数用DBSCAN聚类算法聚类到apiUrlReqs,apiUrlRsps内，并去重；步骤六：借鉴推荐系统的思想，基于上几步获得的结果将apiUrlReqs与sqlTemplateReqs，apiUrlRsps与sqlTemplateRsps分别转换为数值向量，并利用协同过滤算法计算相关性，并将合适的apiUrl推荐给对应的sql模版；步骤七：将关联结果存储到数据库中，每隔一个月更新一次；步骤八：重复1
‑
7的步骤，循环sql模版。2.根据权利要求1所述的一种基于事件模版相似度推荐的三层关联方法，其特征在于：所述步骤一中的sql模版是审计产品对sql事件的一种抽象，用户可以输入需要分析的sql模版，这些sql模版一般是用户比较关注，对业务影响比较大，重要程度比较高的sql模版。3.根据权利要求1所述的一种基于事件模版相似度推荐的三层关联方法，其特征在于：所述步骤二中一个sql模版对应有多个sql事件，不同场景下sql事件数量不同，在实际落地中根据情况筛选1小时，1天或者1周的sql事件。4.根据权利要求1所述的一种基于事件模版相似度推荐的三层关联方法，其特征在于：所述步骤三中sqlTemplateReqs，sqlTemplateRsps中分别存储了该sql模版所有sql事件的请求响应参数，由于很多sql事件的响应参数有大量重复，所以先要分别进行去重处理，以免影响后续的算法流程...

【专利技术属性】
技术研发人员：廖文哲，
申请(专利权)人：全知科技杭州有限责任公司，
类型：发明
国别省市：