一种基于Transformer模型和深度强化学习的密码猜测系统及方法技术方案

技术编号:33383828 阅读:27 留言:0更新日期:2022-05-11 22:57
本发明专利技术提供了一种基于Transformer模型和深度强化学习的密码猜测系统及方法,包括分词模块,采用文本词条化工具对密码集进行词条概率统计,按照设置生成词表,并对密码集进行词条切分操作,生成分词后的密码集;语言模型模块,负责根据分词后的密码集,训练Transformer语言模型,生成下一可能词条的概率表;强化学习解码模块,负责根据Transformer语言模型的输出结果动态调整解码时的采样“温度”,持续生成碰撞率最高的密码训练集;工具模块,负责清洗数据集,将生成的密码训练集与密码测试集进行匹配碰撞。基于本发明专利技术的技术方案,能够改善传统集束搜索解码方式耗费资源多以及解码时间长的情况,提高了密码猜测集的碰撞效率,且占用内存资源少,生成猜测集也十分方便。生成猜测集也十分方便。生成猜测集也十分方便。

【技术实现步骤摘要】
一种基于Transformer模型和深度强化学习的密码猜测系统及方法


[0001]本专利技术涉及密码学、人工智能领域,特别地涉及一种基于Transformer模型和深度强化学习的密码猜测系统及方法。

技术介绍

[0002]密码在身份认证中扮演着重要的角色,并且由于其低成本、高效率和直接性,至今仍是最常用的认证方式。而作为最直接的访问个人信息的方式,密码的安全性一直饱受关注。当设计出一条密码,如何判断该条密码在当前数据集中的强度就需要引入一种方法来进行有效的判断。
[0003]目前密码猜测方法在实际应用方面主要有以下的几种:
[0004]1、利用泄露的密码及用户个人信息等社会工程学信息进行密码重放攻击,这种方法在早期黑客进行有针对性的攻击的时候用得比较广泛,但缺点是生成的效率和密码猜测集的碰撞率都很低。
[0005]2、统计概率模型,这种方法将分词进行概率统计,并根据分词的概率进行组合,代表有基于概率上下文无关文法的方法和基于马尔可夫链的方法,这种方式生成序列的速度非常快,但是这种方法会丢失分词之间的完整语义,产生大量的无本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer模型和深度强化学习的密码猜测系统,其特征在于,包括:分词模块,采用文本词条化工具对密码集进行词条概率统计,按照设置生成词表,并对密码集进行词条切分操作,生成分词后的密码集;语言模型模块,负责根据分词后的密码集,训练Transformer语言模型,生成下一可能词条的概率表;强化学习解码模块,负责根据Transformer语言模型的输出结果动态调整解码时的采样“温度”,持续生成碰撞率最高的密码训练集;工具模块,负责清洗数据集,将生成的密码训练集与密码测试集进行匹配碰撞。2.一种基于Transformer模型和深度强化学习的密码猜测方法,其特征在于,包括以下步骤:步骤S1、对密码集进行清理,并将密码集分为密码训练集和密码测试集;步骤S2、采用句子(sentencepiece)文本词条化工具对密码训练集进行分词处理,生成词表和与所述词表相对应的分词后的密码训练集;步骤S3、根据分词后的密码训练集,训练Transformer语言模型;步骤S4、利用Transformer语言模型得到词条概率分布表,将所述词条概率分布表作为强化学习环境的一部分,通过深度Q网络模型进行温度控制采样训练,直至选出最优的温度调整策略,然后进行采样;步骤S5、利用训练好的深度Q网络调整温度控制参数,采样生成密码猜测集。3.根据权利要求2所述的基于Transformer模型和深度强化学习的密码猜测方法,其特征在于,所述步骤S3还包括:步骤S31、将密码训练集中的序列打乱并小批量依次输入Transformer语言模型;步骤S32、Transformer语言模型对输入的信息进行预处理操作,将其转化为one

hot向量并进行嵌入(embedding)操作,然后再嵌入位置信息;步骤S33、将预处理操作的结果输入神经网络,分别与三个权重矩阵运算得到第一权重矩阵Q、第二权重矩阵K、第三权重矩阵V,第一权重矩阵Q、第二权重矩阵K、第三权重矩阵V分别经过自注意力模块得到每个字符与其他字符之间的注意力分数矩阵Z
i
,运算方式如下:步骤S34、多头注意力机制模块(Multi

Head Attention)将Z
1~n
拼接到一起,随后传入一个线性层(Linear)得到与多头注意力机制输入矩阵X同维度的最终输出矩阵Z;步骤S35、残差连接&归一化层(Add&Norm)由残差连接(Add)和归一化(Norm)两部分构成,多头注意力机制模块(Multi

Head Attention)的最终输出矩阵Z与输入矩阵X通过第一残差连接&归一化层(Add&Norm)进行残差连接(Add),然后进行归一化层(Layer Normalization)操作,将每一层神经元的输入都转换成符合标准正态分布的均值方差:LayerNorm(X+Z);步...

【专利技术属性】
技术研发人员:陈峥张绪亮
申请(专利权)人:电子科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1