基于迁移学习的日志异常检测方法技术

本发明专利技术涉及网络通信，为能够及时、主动发现服务异常以及时采取应对措施，提高网络中心的稳定性，本发明专利技术，基于迁移学习的日志异常检测方法，处理对象为源数据、目标数据：具体包括三部分：1)特征构建部分；形成日志数据的向量序列，作为迁移学习部分的输入；2)迁移学习部分；首先将源数据形成的向量序列输入长短期记忆LSTM网络，对模型参数进行训练；然后将目标数据形成的向量序列输入上一阶段初步训练好参数的模型，并对模型参数进行再次调整3)主动学习部分：迭代地更新数据和模型。本发明专利技术主要应用于网络通信日志数据处理场合。

【技术实现步骤摘要】
基于迁移学习的日志异常检测方法
本异常检测机制适用于网络中心(数据中心及各种云服务中心)网络设备异常检测领域，是基于日志的异常检测解决方案。
技术介绍
网络中心对服务的可靠性和稳定性有很高的要求，服务的稳定运行对于保证国家行政、金融、电力、电信、互联网等方面的安全与稳定至关重要，因此如何准确有效的检测出系统中的异常引起了广泛关注。过去基于统计的异常检测方法在很大程度上依赖于系统规则和领域知识，大量耗费人力且通用性较差。因此基于日志的异常检测任务多采用抽取异常模式或从中学习系统正常工作时的工作流的方式，然而无监督学习效果通常不是很好；有监督的方法训练模型时又需要大量的标注数据。实际情景中，许多新部署的服务并没有足够的标注数据来训练出性能较好的模型，因此通常效果较差。此外，与通常有明确特征的的故障不同，异常更难被定位，系统发生故障时，运维人员后期会对故障日志进行标记，然而由于异常不一定会导致系统异常，这种标记方式通常会忽略一些潜在的异常，即使已经部署了很长时间并且进行了标记的日志文件可能中仍然存在一些潜在异常未被标注，这部分异常也应该被异常检测获取本文档来自技高网...

【技术保护点】
1.一种基于迁移学习的日志异常检测方法，其特征是，处理对象为：/nA:部署时间长的、具有大量异常标注的日志数据即源数据；/nB:部署时间短的、具有具有部分标注或未标注的日志数据即目标数据；/n具体包括三部分：/n1)特征构建部分：首先利用FT-tree抽取出日志模板，也就是去除掉日志中参数部分只保留固定部分，这些固定部分包含日志反映系统行为的部分，且相似日志消息可以用相同的模板表示，接着利用特征构建部分中的Glove抽取词向量，对日志模板中包含的所有单词进行处理，得到单词的向量表示，从而进一步形成日志数据的向量序列，作为迁移学习部分的输入；/n2)迁移学习部分：迁移学习部分分为两个阶段，首先将...

【技术特征摘要】
1.一种基于迁移学习的日志异常检测方法，其特征是，处理对象为：
A:部署时间长的、具有大量异常标注的日志数据即源数据；
B:部署时间短的、具有具有部分标注或未标注的日志数据即目标数据；
具体包括三部分：
1)特征构建部分：首先利用FT-tree抽取出日志模板，也就是去除掉日志中参数部分只保留固定部分，这些固定部分包含日志反映系统行为的部分，且相似日志消息可以用相同的模板表示，接着利用特征构建部分中的Glove抽取词向量，对日志模板中包含的所有单词进行处理，得到单词的向量表示，从而进一步形成日志数据的向量序列，作为迁移学习部分的输入；
2)迁移学习部分：迁移学习部分分为两个阶段，首先将源数据形成的向量序列输入长短期记忆LSTM网络，来找到输入的...

【专利技术属性】
技术研发人员：张圣林，李东闻，陈锐，孙永谦，张玉志，
申请(专利权)人：南开大学，赛尔网络有限公司，
类型：发明
国别省市：天津;12