【技术实现步骤摘要】
本专利技术涉及互联网安全领域，尤其涉及基于深度强化学习算法的网络安全协议验证工具优化方法。
技术介绍
1、为了完善网络协议的安全性并消除互联网中的安全隐患，安全专家提出并使用了网络安全协议。网络安全协议的安全属性可大致分为：完整性、保密性、不可抵赖性、不可伪造性。通过对网络安全协议的设计并对其中的安全属性进行验证，就能够保障用户在网络中进行安全可靠的通信。在人为设计与考虑网络安全协议之初，可能出现不严谨和不周全的情况，使得网络安全协议存在漏洞，从而攻击者可以直接攻击网络安全协议。例如4g-lte协议，有业界人员提出了一种基于模型检测方法的lte inspector验证工具。该工具在符号攻击者模型中惰性结合了一个符号模型检查器和一个密码协议验证器，成功地检测出了九个已存在的攻击和十个新型的攻击方式。例如针对wifi的wap2协议进行密钥重装攻击，这种攻击利用加密协议中的设计或实现缺陷，重新安装已经使用过的密钥。
2、由于网络的复杂多样性，难以保证完全实现网络协议的安全目标。通常情况下，网络安全协议会受到各种不同形式的安全攻击。例如，攻击者利用网络协议能够并发执行造成用户数据错误；在网络中传输的信息可以被攻击者截获、篡改、伪造；网络安全协议的运行所依赖的软件与硬件存在安全漏洞，被攻击者利用。网络安全协议所面临的网络环境日益复杂，网络中存在的安全威胁越来越严重，对网络安全协议进行安全测试成为协议使用前不可或缺的一个重要阶段。网络安全协议的安全性测试可大致分为非形式化验证和形式化验证两种方式。虽然现在已有许多工作检测网络安全
技术实现思路
1、本专利技术的目的是为了解决现有技术中存在的缺陷，而提出的基于深度强化学习算法的网络安全协议验证工具优化方法。
2、为了实现上述目的，本专利技术采用了如下技术方案：
3、基于深度强化学习算法的网络安全协议验证工具优化方法，该优化方法具体步骤如下：
4、(1)收集并准备网络协议数据并构建特征向量；
5、(2)确定神经网络结构并构建该神经网络；
6、(3)对构建的神经网络进行深度强化学习。
7、作为本专利技术的进一步方案，步骤(1)中所述特征向量具体构建步骤如下：
8、步骤一：通过smartverif验证工具对网络协议的规范性和安全性进行初步验证以构建证明定理树，并将验证后的数据通过字符串的形式进行约束链接以组成路径，之后将字符串形式的约束通过树形式转换算法转换成树形数据结构；
9、步骤二：将树形数据结构中每组结点中的字符域信息通过md5的哈希方式生成对应的一组长度为128的由01组成的数字串，并将其以位为单位分割后组成一组128维的向量；
10、步骤三：根据以自底而顶的顺序更新树形数据结构中每一层结点的向量值，最后以根结点的向量表达作为整个树形式结构的向量表达，利用嵌入向量空间方法获取对应的向量集合v；
11、步骤四：使用tamarin-prover验证工具获取的约束对叶结点进行子树构造后，之后将子树中的所有叶结点的集合分别进行树形式转换后，嵌入向量空间，得到对应向量集合u。
12、作为本专利技术的进一步方案，步骤一中所述字符串约束链接具体表达公式如下：
13、
14、式中，代表字符串的链接；s代表路径中所有约束的字符串链接结果；
15、步骤二中所述向量表达具体计算公式如下：
16、
17、
18、式中，xn代表树中的某个结点t的向量表达；cw代表结点t的子结点的叶结点；dt代表结点t的子结点的非叶结点。
19、作为本专利技术的进一步方案，步骤(2)中所述神经网络结构具体由一个公共的网络部分和两个分离的策略网络与价值网络相连组成。
20、作为本专利技术的进一步方案，首先将特征向量的已证明约束集部分v输入公共神经网络，在公共神经网络一组textcnn层中通过步长step＝2卷积后得到一组(n-1)×128维的向量，再以最大池化的方式处理该向量得到一组i×128维的向量a，将向量a分别输入策略网络和价值网络，在策略网络中，使用注意力机制对a与u进行计算，将计算结果经过一个softmax层得到各个动作的选择概率，在价值网络中，首先将u经过最大池化的方式得到特征向量b，将特征向量a与b进行点积运算得到当前状态下的价值评估，再经过一个tanh层得到最终特征向量s的价值评估，之后神经网络通过损失函数上的梯度下降进行训练。
21、作为本专利技术的进一步方案，步骤(4)中所述深度强化学习具体步骤如下：
22、步骤1：初始化容量为n的数据缓冲区d以及多线程网络安全协议验证，之后通过随机参数θ0初始化神经网络参数，网络安全协议开始验证；
23、步骤2：在第i次策略迭代时，在本次迭代的证明定理树深度为t时，mcts在搜索树中第一次开始进行模拟验证采样，并从搜索树的根结点开始模拟验证采样多次后到达搜索树的某个叶结点；
24、步骤3：若网络安全协议未完成验证或产生循环路径，mcts使用第i-1次迭代更新后的神经网络作为指导，开始模拟采样并计算得到当前状态下的动作概率和状态价值，然后对该结点进行扩展，并初始化每条边，将该结点价值在下一个阶段进行反向传播更新，同时更新搜索树中每条边所存储的信息；
25、步骤4：在时间点t网络安全协议完成验证或证明定理树中均是循环路径，则重新开始对网络安全协议进行验证，同时评估本次验证过程中的每一条路径，给予相应的奖励值，对每个时间点t的状态st评估为zt，并将元组(st,π,zt)都存放至数据缓冲区；
26、步骤5：使用数据缓冲区中存放的元组训练本次迭代的神经网络参数以使神经网络的预测输出与采样数据的误差最小化。
27、作为本专利技术的进一步方案，步骤2中所述模拟验证采样动作选择具体计算公式如下：
28、
29、
30、式中，q(st,a)代表状态st对应结点的平均价值评估；cpuct代表一个探索常量，用来控制选择阶段是执行探索还是以贪婪策略选择价值最大的动作；n(s,a)代表状态s对应结点的探索次数；
31、步骤3中所述搜索树每条边所存储的信息具体更新公式如下：
32、n(st,at)＝n(st,at)+1
33、(5)
34、w(st,at)＝w(st,at)+v
35、(6)
36、
37、式中，v代表节点st的价值；w(s,a)代表状态s对应结点的总评估价值。
38、相比于现有技术，本专利技术的有益效果在于：
39、该基于深度强化学习算法本文档来自技高网...
【技术保护点】
1.基于深度强化学习算法的网络安全协议验证工具优化方法，其特征在于，该优化方法具体步骤如下：
2.根据权利要求1所述的基于深度强化学习算法的网络安全协议验证工具优化方法，其特征在于，步骤(1)中所述特征向量具体构建步骤如下：
3.根据权利要求2所述的基于深度强化学习算法的网络安全协议验证工具优化方法，其特征在于，步骤一中所述字符串约束链接具体表达公式如下：
4.根据权利要求2所述的基于深度强化学习算法的网络安全协议验证工具优化方法，其特征在于，步骤(2)中所述神经网络结构具体由一个公共的网络部分和两个分离的策略网络与价值网络相连组成。
5.根据权利要求4所述的基于深度强化学习算法的网络安全协议验证工具优化方法，其特征在于，步骤(4)中所述深度强化学习具体步骤如下：
6.根据权利要求5所述的基于深度强化学习算法的网络安全协议验证工具优化方法，其特征在于，步骤2中所述模拟验证采样动作选择具体计算公式如下：
【技术特征摘要】
1.基于深度强化学习算法的网络安全协议验证工具优化方法，其特征在于，该优化方法具体步骤如下：
2.根据权利要求1所述的基于深度强化学习算法的网络安全协议验证工具优化方法，其特征在于，步骤(1)中所述特征向量具体构建步骤如下：
3.根据权利要求2所述的基于深度强化学习算法的网络安全协议验证工具优化方法，其特征在于，步骤一中所述字符串约束链接具体表达公式如下：
4.根据权利要求2所述的基于深度强化学习...
【专利技术属性】
技术研发人员：杨群萱，刁加玉，胡登权，杨飞，罗江明，
申请(专利权)人：贵州端云科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。