【技术实现步骤摘要】
本专利技术涉及一种基于transformer模型的异常登录检测方法，属于网络安全领域。
技术介绍
1、随着计算机网络的不断发展，互联网已与人类社会深度融合，成为人类社会不可缺少的基础设施。然而在互联网在人类社会中的应用不断深入的同时，针对计算机网络的攻击也层出不穷。高级可持续威胁攻击是最常见的网络攻击之一，高级可持续威胁攻击是不法分子对计算机网络展开的持续有效的网络攻击活动。这种攻击活动具有极强的隐蔽性和针对性，成为了不法分子盗取用户信息，非法牟利的主要途径之一，而针对计算机网络的非授权登录，是高级可持续威胁攻击中的关键一环。
2、异常登录检测方法利用记录用户和主机之间交互行为的日志文件对登录行为进行建模，从而检测异常登录行为。现有的异常登录检测方法大多基于传统深度学习网络和机器学习技术，挖掘日志条目与异常登录行为之间的潜在联系，从而对异常登录行为进行检测。目前的异常登录检测方法还存在着以下问题：因事件日志内容的繁杂冗余，对登录行为的建模只考虑了日志中的部分可用信息，但随着网络日志中用户与操作信息的不断增加，现有方法在异常登录检测方面的特征提取能力不断下降；事件日志作为用户操作行为的记录，其本身具有丰富的时序信息，现有的异常登录检测方法仅从单一的日志条目出发，未能充分考虑日志文件的时序性特点。
3、transformer模型是由谷歌公司提出的一种基于自注意力机制的神经网络模型，用于处理序列数据。相比于传统的循环神经网络模型，transformer模型具有更好的并行性能和更短的训练时间，因此在自然语言处理领
4、bert是一种语言表示模型，bert代表来自transformer的双向编码器表示（bidirectional encoder representations from transformers）。bert旨在通过联合调节所有层中的左右上下文来预训练深度双向表示。因此，只需要一个额外的输出层，就可以对预训练的bert表示进行微调，从而为广泛的任务（比如回答问题和语言推断任务）创建最先进的模型，而无需对特定于任务进行大量模型结构的修改。
技术实现思路
1、为解决上述现有技术中存在的问题，本专利技术提供了一种基于transformer模型的异常登录检测方法。具体技术方案如下。
2、一种基于transformer模型的异常登录检测方法，包括以下步骤。
3、步骤1：模型训练；具体包括：
4、步骤1.1：采集目标系统的用户历史认证日志，包括以下字段信息：登录日期、登录时间、登录类型、登录源和目的地址、所用登录协议类型、日志校验码；所述登录类型分为本地登录和网络登录；
5、步骤1.2：对用户认证日志进行格式化处理，将日志文档处理为可输入到bert模型中的条目式语句；根据历史日志标记结果对应语句标签；
6、步骤1.3：基于bert模型的嵌入层构建；具体包括：
7、步骤1.3.1：利用wordpiece方法处理预处理的日志语句形成token，完成初始词嵌入；
8、步骤1.3.2：混合位置嵌入并送入bert模型中，得到包含上下文语义的分布式表示作为下一层transformer模型输入；
9、步骤1.4：结合bert的transformer模型联合训练；具体包括：将bert所输出的用户认证日志分布式表达输入transformer模型，再将transformer模型输出的结果输入transformer模型后堆叠的softmax层，计算softmax层输出与语句标签之间的损失函数；判断损失函数是否满足停止迭代条件，若满足则停止训练，若不满足则依梯度下降算法更新所有参数并迭代步骤1.3；
10、步骤1.5：得到训练好的transformer模型；
11、步骤2：异常登录检测；具体包括：
12、步骤2.1：采集当前尝试登录用户的认证日志；
13、步骤2.2：对用户认证日志进行格式化处理，将日志文档处理为可输入到bert模型中的条目式语句；根据历史日志标记结果对应语句标签；
14、步骤2.3：基于bert模型的嵌入层构建；具体包括：
15、步骤2.3.1：利用wordpiece方法处理预处理的日志语句形成token，完成初始词嵌入；
16、步骤2.3.2：混合位置嵌入并送入bert模型中，得到包含上下文语义的分布式表示作为下一层transformer模型输入；
17、步骤2.4：将经过步骤2.3处理的分布式输入步骤1.5得到的transformer模型；
18、步骤2.5：判断尝试登录用户的登录行为是否存在异常，不存在异常则运行登录，否则拒绝登录。
19、针对目标系统的用户认证日志的特征提取问题，本专利技术创造性地利用bert模型来实现对特征的有效提取。由于用户认证日志中具有大量的上下文关系，同时存在专业名词缺乏单一表达的问题，凭借bert模型易获得丰富语义表达、方便使用等多种优点，本专利技术应用bert模型来获得用户认证日志中富含上下文信息的语义特征。bert模型通过堆叠神经网络捕捉文本内各个字或者词之间的关系从而获得每个字词关于上下文的动态词向量表示，相比于无法应对一词多义问题的传统方法，具有更好的用户认证日志提取效果。值得指出的是，bert模型实现了预训练与微调的分离，省去了预训练的繁琐步骤，极大缩短了训练时间。这一优势在本专利技术中得到了充分挖掘。鉴于用户认证日志中存在大量时序信息，本专利技术有效利用了transformer模型的优势。transformer模型中引入了位置编码，模型具备更强的感知语句中时序信息的能力。由于绝对位置信息编码具有使用方便、效果显著、易于计算的优势，本专利技术在transformer模型中采用绝对位置信息编码辅助自注意力机制提取用户认证日志中的特征信息，能够有效应对大量用户访问时可能出现的用户访问拥塞问题。较存在灾难性遗忘问题的传统方法，本专利技术通过引入位置信息弥补了自注意力机制无法感知句子中时序信息的问题，具有更强的感知能力。
本文档来自技高网...【技术保护点】
1.一种基于Transformer模型的异常登录检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述一种基于Transformer模型的异常登录检测方法，其特征在于，所述步骤1.2、步骤2.2中，对日志进行格式化处理，具体包括语句归并、无意义字符剔除、特殊标记嵌入操作。
3.根据权利要求1所述一种基于Transformer模型的异常登录检测方法，其特征在于，所述步骤1.3.1、步骤2.3.1中的具体过程如下：
4.根据权利要求1所述一种基于Transformer模型的异常登录检测方法，其特征在于，所述步骤1.4中，包括如下过程：
5.根据权利要求1所述一种基于Transformer模型的异常登录检测方法，其特征在于，所述步骤1.4中，判断损失函数是否小于预设值，若损失函数的值不符合迭代停止条件，则通过使用反向传播算法更新Transformer和BERT的参数，其中BERT的学习率和Transformer需要分别设置为与。
【技术特征摘要】
1.一种基于transformer模型的异常登录检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述一种基于transformer模型的异常登录检测方法，其特征在于，所述步骤1.2、步骤2.2中，对日志进行格式化处理，具体包括语句归并、无意义字符剔除、特殊标记嵌入操作。
3.根据权利要求1所述一种基于transformer模型的异常登录检测方法，其特征在于，所述步骤1.3.1、步骤2.3.1中的具体过程如下：...
【专利技术属性】
技术研发人员：王晨飞，徐李阳，李慧芹，张郁颀，郝景昌，李永刚，
申请(专利权)人：国家电网有限公司客户服务中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。