一种基于多源数据特征的网络日志异常检测方法技术

本发明专利技术公开了一种基于多源数据特征的网络日志异常检测方法，包括多源网络设备数据接入，统一数据处理，统一日志模板提取，特征提取，多元算子融合，实时异常检测，离线批数据检测和异常告警；本发明专利技术简化了不同结构的网络日志的处理成本，相对于之前需要维护多种数据结构解析方法，本发明专利技术的统一数据处理方式和统一的日志模板提取方式，本发明专利技术的方式更加简单有效，且基于采集的多源网络日志数据实现了异常日志的多因子算法预测分析。

【技术实现步骤摘要】

本专利技术涉及网络日志异常检测，具体是指一种基于多源数据特征的网络日志异常检测方法。

技术介绍

1、随着人工智能(artificial intelligence，ai)的发展，智能运维(artificialintelligence for it operations，aiops)的概念于2016年被gartner首次提出，即通过机器学习(machine learning)等算法分析来自于多种运维工具和设备的大规模数据，自动发现并实时响应系统出现的问题，进而提升信息技术(information technology，it)运维能力和自动化程度。以网络日志数据分析为核心的自动化、智能化的异常检测成为核心的智能运维任务之一，成为重要发展趋势。

2、当今，基于网络日志分析的异常检测方法流程主要包括日志数据的收集、日志数据处理与特征提取和异常检测。首先，网络设备在运行过程中会生成大量散布在不同节点的日志数据，需要对这些日志数据进行收集、整理、归类、存储；然后，针对收集到的日志数据，去除噪音，降低日志文本的复杂度，提取日志特征；最后，利用日志特征刻画系统运本文档来自技高网...

【技术保护点】

1.一种基于多源数据特征的网络日志异常检测方法，其特征在于，包括多源网络设备数据接入，统一数据处理，统一日志模板提取，特征提取，多元算子融合，实时异常检测，离线批数据检测和异常告警；

2.根据权利要求1所述的一种基于多源数据特征的网络日志异常检测方法，其特征在于：所述离线数据包括文本数据和ES数据，在线数据包括Kafka和Http数据。

3.根据权利要求1所述的一种基于多源数据特征的网络日志异常检测方法，其特征在于：所述频率特征提取包含了模板频率，变量频率和特征日志频率，所述语义特征包括TF-IDF,N-gram,和word2vec。

【技术特征摘要】

1.一种基于多源数据特征的网络日志异常检测方法，其特征在于，包括多源网络设备数据接入，统一数据处理，统一日志模板提取，特征提取，多元算子融合，实时异常检测，离线批数据检测和异常告警；

2.根据权利要求1所述的一种基于多源数据特征的网络日志异常检测方法，其特征在于：所述离...

【专利技术属性】
技术研发人员：武义涵，王勇，沈时军，王鹏，沈国鹏，
申请(专利权)人：国家计算机网络与信息安全管理中心，
类型：发明
国别省市：