【技术实现步骤摘要】
本专利技术属于网络安全,具体涉及一种网络日志异常检测系统及其训练方法与更新方法。
技术介绍
1、在真实的应用环境中,web攻击和web系统都不是一成不变的,因此非更新的异常检测模型难以很好地预测未学习过的新类别的数据。
2、现有的网络日志异常检测研究多数考虑的是较为封闭的数据集,而现实中的网络环境是复杂且多变的,因此使用一个不变的模型一劳永逸地解决网络中的异常检测也是不现实的,必须要考虑模型的更新问题,较为常用的更新方法有:使用所有的旧数据和新数据联合训练模型,这会带来较大的数据存储的成本;使用微调方法仅重新训练和学习新的数据,但是往往会导致模型忘记学习过的旧数据。
3、另外,网络日志属于文本数据,在输入异常检测模型之前需要先转换为数值向量形式。日志的数值化处理更倾向于使用基于词向量的表征方法,这种方法相较于传统的基于专家知识的统计学方法,能节省大量的人力物力。在现有的研究中,word2vec和glove方法是比较常用的较为轻量的词向量提取和表示方法,它们都是以单词(word)为基本单位的模型,虽然能很好地提取和
...【技术保护点】
1.一种网络日志异常检测系统,其特征在于,包括日志向量化子系统与持续学习异常检测子系统;
2.根据权利要求1所述的网络日志异常检测系统,其特征在于,所述日志向量化子系统包括基于词的向量化模型、基于子词的向量化模型以及集成模型,所述集成模型用于集成基于词的向量化模型与基于子词的向量化模型的输出向量,并输出集成向量作为日志数据的向量形式。
3.根据权利要求1所述的网络日志异常检测系统,其特征在于,所述异常检测模型采用TextCNN模型或者基于梯度下降训练的神经网络模型。
4.一种如权利要求1~3中任一所述的网络日志异常检测系统的训练方法
...【技术特征摘要】
1.一种网络日志异常检测系统,其特征在于,包括日志向量化子系统与持续学习异常检测子系统;
2.根据权利要求1所述的网络日志异常检测系统,其特征在于,所述日志向量化子系统包括基于词的向量化模型、基于子词的向量化模型以及集成模型,所述集成模型用于集成基于词的向量化模型与基于子词的向量化模型的输出向量,并输出集成向量作为日志数据的向量形式。
3.根据权利要求1所述的网络日志异常检测系统,其特征在于,所述异常检测模型采用textcnn模型或者基于梯度下降训练的神经网络模型。
4.一种如权利要求1~3中任一所述的网络日志异常检测系统的训练方法,其特征在于,包括以下步骤:
5.根据权利要求4所述的网络日志异常检测系统的训练方法,其特征在于,提取日志样本中的url文本,并对url文本进行分词,基于url文本的分词构建所述训练样本集。
6.一种如权利要求1~3中任一所述的网络日志异常检测系统的更新方...
【专利技术属性】
技术研发人员:龙春,陈凯,赵静,杜冠瑶,杨悦,李畅,黄潘,杨帆,王跃达,付豫豪,
申请(专利权)人:中国科学院计算机网络信息中心,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。