一种基于表征一致性校对的小样本日志信息异常检测方法技术

本发明专利技术公开了一种基于表征一致性校对的小样本日志信息异常检测方法，包括以下步骤：数据预处理，提取事件特征进行序列化处理；自学习特征表示网络迭代训练，使用原始特型计算网络从小样本分类任务中学习特征提取器，并构建表征一致性校对模块，通过原始特型计算网络和自学习特征表示网络的表征一致性校对函数分别训练原始特型计算网络和自学习特征表示网络，将训练好的自学习特征表示网络作为嵌入网络；输入测试集数据得到分类结果；根据输出结果做出对应处理。该方法利用原始特型计算网络的监督信息指导自学习特征表示网络训练，更适用于小样本情况下的模型训练，同时提高了小样本情况下的异常检测模型分类效果。样本情况下的异常检测模型分类效果。样本情况下的异常检测模型分类效果。

【技术实现步骤摘要】
一种基于表征一致性校对的小样本日志信息异常检测方法


[0001]本专利技术涉及一种分类检测方法，尤其涉及一种基于表征一致性校对的小样本日志信息异常检测方法。

技术介绍

[0002]随着互联网、大数据、云计算等新科技的发展，越来越多的行业和场景开始数字化运营。这类业务使普通用户的生活变的便捷、高效，但也为黑灰产业带来获利渠道，从而衍生出一系列新的网络安全问题。针对层出不穷的网络安全问题，传统的检测方法已经无法满足目前对于网络安全防御的需求。基于神经网络等人工智能技术的异常检测技术具有自学习能力及动态监控能力，让网络安全技术得到质的提升。传统的神经网络检测模型需要大量的样本作为训练数据，然而在实际应用中，用户数据采集难度大、耗时长且标注成本高昂，导致有效样本稀缺，面对小样本任务很难训练出高效的检测模型。
[0003]校对学习作为一种重要的学习范式，主要是利用辅助任务从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征，包括基于上下文、基于时序等主要方法。然而，传统的校对学习方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于表征一致性校对的小样本日志信息异常检测方法，其特征在于，该方法包括以下步骤：（1）数据预处理，解析日志信息，提取事件特征并分类；（2）自学习特征表示网络的迭代训练，将预处理后的数据划分为训练集和测试集，基于训练集数据，首先使用基于任务的episode训练策略，对于每个episode执行一个小样本分类任务，使用原始特型计算网络从小样本分类任务学习特征提取器，然后构建表征一致性校对模块，计算原始特型计算网络和自学习特征表示网络的表征一致性校对函数，并使用表征一致性校对函数分别训练原始特型计算网络和自学习特征表示网络，采用交互迭代更新方法不断更新原始特型计算网络和自学习特征表示网络的参数，最后将训练好的自学习特征表示网络作为嵌入网络；（3）使用训练好的自学习特征表示网络，计算测试集数据与每个类别的相似度，得到相似度最高的类作为最终检测结果。2.根据权利要求1所述的基于表征一致性校对的小样本日志信息异常检测方法，其特征在于，步骤（1）中所述事件特征包括事件行为描述string_id和安全标签label，其中事件行为描述string_id包括文件操作File、进程操作Process和注册表操作Registry。3.根据权利要求2所述的基于表征一致性校对的小样本日志信息异常检测方法，其特征在于，将事件行为描述string_id进行二进制数表示，每一个二进制位表示程序执行的事件操作行为属性标记值，0表示不存在这种事件类型，1表示存在这种事件类型，形成向量矩阵；安全标签label代表正常事件行为或异常事件行为标记值，安全标签label为0时表示无异常行为，为1表示存在文件操作异常行为，为2表示存在进程操作异常行为，为3表示存在注册表操作异常行为；将向量矩阵与安全标签label拼接，形成事件行为向量。4.根据权利要求1所述的基于表征一致性校对的小样本日志信息异常检测方法，其特征在于，所述步骤（2）包括如下内容：（2.1）将训练集作为模型的输入，使用原始特型计算网络计算类别原型，其中为可学习的网络参数；对于一个小样本任务，为支持集，为查询集，计算类别的原型为：其中，表示在特征空间中样本标签为的类别原型，表示支持集中标签为的数据集，表示数据集的大小，表示样本的特征向量，表示对应样本的标签；对于来自查询集的新样本，利用距离判别得到每个类别的归一化分类分数：其中表示softmax函数...

【专利技术属性】
技术研发人员：许扬汶，刘天鹏，韩冬，孙腾中，刘灵娟，
申请(专利权)人：南京大数据集团有限公司，
类型：发明
国别省市：