一种面向分布式IP访问日志的异常IP检测方法与装置制造方法及图纸

本发明专利技术实现了一种面向分布式IP访问日志的异常IP检测方法与装置。输入分布式系统的IP访问日志数据，首先采集分布式系统中各子系统的日志数据，进行统一化解析与存储；随后针对每个子系统构建子系统日志关联图；而后，合并全部日志，构建跨系统IP关联图；在此基础上，通过图对比学习框架进行节点嵌入，并对节点嵌入结果进行融合，通过密度分析实现异常数据的检测；最终，基于异常检测结果绘制可视化输出界面，并产生相应的告警。通过提出形式化的子系统日志关联图和跨系统IP关联图的定义与构建方法，本发明专利技术规避了数据处理与学习过程中的人工干预，使得本发明专利技术可以在没有专家知识引入的前提下完成分布式日志的异常IP检测，增强了落地应用的可行性，并降低了应用难度。

【技术实现步骤摘要】

本专利技术涉及网络搜索，尤其涉及一种面向分布式ip访问日志的异常ip检测方法与装置。

技术介绍

1、随着信息化、智能化化水平的提高，各行业中的业务数据的体量急速上升。为应对不断膨胀的数据量，分布式系统被大量应用于生产环境，各系统、设备共同协作完成相关业务。在这种场景下，描述ip访问的数据通常分布在不同的设备中。为对此类数据进行有效的分析检测，有必要联动各个系统中的数据。

2、针对分布式ip访问日志的异常检测问题，通行流程是数据采集、数据分析以及结果展示。其中，数据采集、结果展示多为工程化方法，行业已经拥有了成熟的处理方案，而在数据分析这一部分中，现存技术还存在着诸多不足。

3、目前最为广泛使用的技术是针对具体业务场景定义数据特征，通过多元回归、深度神经网络等方法对单一设备中的数据进行检测，最后将每台设备中检测到的异常进行汇总，形成最终的检测结果。这种方式忽略了系统间的数据关联，检测准确率有所限制。

4、对分布式场景最常用的学习框架是联邦学习，但直接将联邦学习框架引入本领域会造成大量的计算浪费。联邦学习的重点在于保障每一个本文档来自技高网...

【技术保护点】

1.一种面向分布式IP访问日志的异常IP检测方法，其特征在于：输入分布式系统的IP访问日志数据，首先采集分布式系统中各子系统的日志数据，进行统一化解析与存储；随后基于各子系统中的单一日志信息，构建针对子系统的日志关联图，描述子系统记录到的IP之间的访问关联，并以新的节点和边的形式，添加其他子系统中、涉及到本子系统的IP的有关访问信息；而后，合并全部日志，构建跨系统IP关联图，描述整个系统中全部IP之间的访问关联；在此基础上，将全部的子系统日志关联图作为正样本，将边扰动后的跨系统IP关联图作为负样本，通过图对比学习框架进行节点嵌入，并对节点嵌入结果进行融合，通过密度分析实现异常数据的检测；...

【技术特征摘要】

1.一种面向分布式ip访问日志的异常ip检测方法，其特征在于：输入分布式系统的ip访问日志数据，首先采集分布式系统中各子系统的日志数据，进行统一化解析与存储；随后基于各子系统中的单一日志信息，构建针对子系统的日志关联图，描述子系统记录到的ip之间的访问关联，并以新的节点和边的形式，添加其他子系统中、涉及到本子系统的ip的有关访问信息；而后，合并全部日志，构建跨系统ip关联图，描述整个系统中全部ip之间的访问关联；在此基础上，将全部的子系统日志关联图作为正样本，将边扰动后的跨系统ip关联图作为负样本，通过图对比学习框架进行节点嵌入，并对节点嵌入结果进行融合，通过密度分析实现异常数据的检测；最终，基于异常检测结果绘制可视化输出界面，并产生相应的告警。

2.如权利要求1所述的一种面向分布式ip访问日志的异常ip检测方法，其特征在于：所述日志采集与解析的具体方法为：将设备通过物理接口接入待测分布式系统的网络环境中，并取得全部子系统日志的访问端口及下载权限；通过端口访问各子系统的日志，标记系统来源后下载至本装置内部储存；基于日志格式，通过预定义的正则匹配脚本进行日志统一解析，针对每条日志提取关键字段，予以半格式化储存，以供后续分析。

3.如权利要求2所述的一种面向分布式ip访问日志的异常ip检测方法，其特征在于：所述日志关联图的构建方式具体为：首先定义子系统关联图相关概念：

4.如权利要求...

【专利技术属性】
技术研发人员：李建欣，袁子淇，朱天晨，李岚皓，许润华，陈博胆，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：