网络日志异常检测系统及其训练方法与更新方法技术方案

技术编号:42633584 阅读:32 留言:0更新日期:2024-09-06 01:33
本发明专利技术提供了本发明专利技术属于网络安全技术领域,具体涉及一种网络日志异常检测系统及其训练方法与更新方法,包括日志向量化子系统与持续学习异常检测子系统;所述持续学习模型用于根据新异常类型的日志样本在旧异常检测模型的约束下训练新异常检测模型。当出现新异常类型的日志样本时,通过日志向量化子系统将新异常类型的日志样本向量化,并构建出新训练样本集;复制旧异常检测模型中的现役异常检测模型作为新异常检测模型;在所有旧异常检测模型的约束下,采用所述新训练样本集训练所述新异常检测模型,直到满足收敛条件,从而完成系统更新。本发明专利技术具有不断更新的能力以适应不断变化的日志数据,同时能够有效避免学习新样本后遗忘旧样本。

【技术实现步骤摘要】

本专利技术属于网络安全,具体涉及一种网络日志异常检测系统及其训练方法与更新方法


技术介绍

1、在真实的应用环境中,web攻击和web系统都不是一成不变的,因此非更新的异常检测模型难以很好地预测未学习过的新类别的数据。

2、现有的网络日志异常检测研究多数考虑的是较为封闭的数据集,而现实中的网络环境是复杂且多变的,因此使用一个不变的模型一劳永逸地解决网络中的异常检测也是不现实的,必须要考虑模型的更新问题,较为常用的更新方法有:使用所有的旧数据和新数据联合训练模型,这会带来较大的数据存储的成本;使用微调方法仅重新训练和学习新的数据,但是往往会导致模型忘记学习过的旧数据。

3、另外,网络日志属于文本数据,在输入异常检测模型之前需要先转换为数值向量形式。日志的数值化处理更倾向于使用基于词向量的表征方法,这种方法相较于传统的基于专家知识的统计学方法,能节省大量的人力物力。在现有的研究中,word2vec和glove方法是比较常用的较为轻量的词向量提取和表示方法,它们都是以单词(word)为基本单位的模型,虽然能很好地提取和表示词语的语义信息,本文档来自技高网...

【技术保护点】

1.一种网络日志异常检测系统,其特征在于,包括日志向量化子系统与持续学习异常检测子系统;

2.根据权利要求1所述的网络日志异常检测系统,其特征在于,所述日志向量化子系统包括基于词的向量化模型、基于子词的向量化模型以及集成模型,所述集成模型用于集成基于词的向量化模型与基于子词的向量化模型的输出向量,并输出集成向量作为日志数据的向量形式。

3.根据权利要求1所述的网络日志异常检测系统,其特征在于,所述异常检测模型采用TextCNN模型或者基于梯度下降训练的神经网络模型。

4.一种如权利要求1~3中任一所述的网络日志异常检测系统的训练方法,其特征在于,包括以...

【技术特征摘要】

1.一种网络日志异常检测系统,其特征在于,包括日志向量化子系统与持续学习异常检测子系统;

2.根据权利要求1所述的网络日志异常检测系统,其特征在于,所述日志向量化子系统包括基于词的向量化模型、基于子词的向量化模型以及集成模型,所述集成模型用于集成基于词的向量化模型与基于子词的向量化模型的输出向量,并输出集成向量作为日志数据的向量形式。

3.根据权利要求1所述的网络日志异常检测系统,其特征在于,所述异常检测模型采用textcnn模型或者基于梯度下降训练的神经网络模型。

4.一种如权利要求1~3中任一所述的网络日志异常检测系统的训练方法,其特征在于,包括以下步骤:

5.根据权利要求4所述的网络日志异常检测系统的训练方法,其特征在于,提取日志样本中的url文本,并对url文本进行分词,基于url文本的分词构建所述训练样本集。

6.一种如权利要求1~3中任一所述的网络日志异常检测系统的更新方...

【专利技术属性】
技术研发人员:龙春陈凯赵静杜冠瑶杨悦李畅黄潘杨帆王跃达付豫豪
申请(专利权)人:中国科学院计算机网络信息中心
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1