一种基于强化学习算法优化卷积神经网络的静脉识别方法技术

本发明专利技术公开了一种基于强化学习算法优化卷积神经网络的静脉识别方法，利用强化学习算法对卷积神经网络进行优化，构建静脉识别模型。静脉识别模型包括一个基于强化学习算法的网络探索模型和一个多层的卷积网络评价模型。网络探索模型包括编码器、线性层、非线性层、Softmax分类层、解码器和回报评价模块。卷积网络评价模型包括了一个数据输入预处理层、多个正常卷积模块层和间隔的多个压缩卷积模块层、全局池化层、全连接层，最终输出静脉特征向量。基于强化学习算法优化卷积神经网络的静脉识别方法，能够得出评价最高的模型，从而获得更高的识别准确率。

【技术实现步骤摘要】
一种基于强化学习算法优化卷积神经网络的静脉识别方法
本专利技术涉及静脉识别
，尤其涉及一种基于强化学习算法优化卷积神经网络的静脉识别方法。
技术介绍
随着人工智能领域事业的迅速发展，计算机视觉、深度学习技术的使用在各个识别领域获得越来越突出的表现，相比传统的识别方法在图像、语言、文本等各个方向都取得了更好的效果。目前图像识别的深度学习算法主要是卷积神经网络。卷积神经网络通过预先的学习可以学习到各种图像中的高层抽象特征，这些特征的分辨能力极强，即使图像中的微小差别也能分辨出来。特别是在特征提取中，卷积神经网络由于其窗口可控，计算代价适中的优点成为最普遍，高效的特征提取技术。但卷积神经网络的网络架构设计需要许多人工的经验，如卷积核的大小，池化层采用的方法，层数的设计，过滤器的数量等等，存在许许多多的先验知识和人为设定。基于卷积神经网络的生物特征识别技术越来越普及，已经正在逐步取代传统的密码等身份认证方式，给人们带来了极大的便利。静脉识别技术由于其天然的防伪性也逐渐受到研究者及商业公司的关注。静脉分布于皮肤表面下，属于活体的内部生理特征，具有很高的安全性、唯一性和防伪性强等特点。针对不同的识别领域，该领域的图像会有其特殊的性质，目前人为设计的方法多是用于人脸或某个其他实体的识别。在身份认证类的应用，如在指纹、静脉等方面都是小样本小范围内的应用，很难通过预训练得到一个较好的识别模型。同时，在静脉识别
目前可参考的网络结构设计经验还很少，要想在原来模型的基础上进行更进一步的优化比较困难。因此，我们设计了使用强化学习的方法来对卷积网络架构进行学习探索，得出评价最高的模型，然后应用到静脉识别中。
技术实现思路
为解决上述问题，本专利技术提供了一种基于强化学习算法优化卷积神经网络的静脉识别方法，探索神经网络结构空间中效果更优的神经网络结构，通过优化神经网络的结构来改进模型，提高模型的认证精度。同时，通过强化学习的方式自动探索神经网络结构空间，以及根据不同结构会给出不同评价的机制，减少人为的经验来学习最优的结构方案，提高网络结构对静脉特征的表征效率。基于强化学习算法的优化能够使卷积神经网络结构的探索空间更具多样性和可扩展性，如果定义更大或更优的策略空间，就可以得到更符合实际身份认证应用中样本特征的网络结构。为实现上述目的，本专利技术采用了如下技术方案：一种基于强化学习算法优化卷积神经网络的静脉识别方法，利用强化学习算法对卷积神经网络进行优化，再构建静脉识别模型。静脉识别模型包括一个基于强化学习算法的网络探索模型和一个多层的卷积网络评价模型。网络探索模型包括编码器、线性层、非线性层、Softmax分类层、解码器和回报评价模块。卷积网络评价模型包括了一个数据输入预处理层、多个正常卷积模块层和间隔的多个压缩卷积模块层、全局池化层、全连接层，最终输出静脉特征向量。通过对提取的静脉特征向量进行比对识别，实现安全、高效、便捷的静脉识别身份验证。上述技术方案包括以下实施步骤：(1)构建网络探索模型(1.1)利用编码器将维度为90的策略空间映射到大小为1x100的实数向量中，其中100是LSTM模块中隐藏层的维度，由20个全连接层和Softmax函数组成Softmax分类层，将LSTM模块中最后输出的策略项特征转化成与每一个策略项空间相对应的概率向量，最后解码器将概率向量转化成每一个策略项，解码器在构建网络拓扑结构时，将使用相应概率向量中概率值最大的策略项；(1.2)对策略空间定义5个策略，包括：残差卷积、3x3的空间可分离卷积、5x5的空间可分离卷积、3x3的平均池化层和3x3的最大值池化层；(1.3)引入LSTM网络，即一个标准的一层LSTM模块，包括遗忘门、输入门和输出门，其中隐层神经元的维度是100x100，并使用SoftmaxTemperature＝5.0，用于描述样本的概率分布的熵；(1.4)创建回报评价模块，其采用交叉熵的变种，加入回报值，使回报值高的策略产生的概率更大，回报值低的策略产生的概率更小，设X＝[x1，x2，...，xm]是训练LSTM网络时输出的向量，其中m是当前策略项的相应策略空间大小；(2)构建和优化卷积网络评价模块卷积网络评价模型采用由网络探索模型中生成的正常卷积模块和压缩卷积模块，将两种卷积模块进行多层跳接级联，再进行特征提取；(2.1)输入层以静脉图像输入；(2.2)初始处理模块以一层3x3的卷积层对输入的静脉图像进行预处理；(2.3)经预处理后进入正常卷积模块和压缩卷积模块，每个正常卷积模块重复4次，先进行正常卷积x4再经过压缩卷积，两种卷积模块重复进行3次跳接级联；(2.4)全局池化层将卷积后的输出进行全局池化；(2.5)全连接层对全局池化后的特征数据进行分类；(2.6)交叉熵根据全连接的分类结果求得损失值。(3)进行网络训练训练的网络包含两个部分：一是网络探索模型的LSTM网络以及Softmax分类层，二是用于评价的卷积神经网络，两个网络交替进行训练；(4)利用训练好的卷积神经网络进行静脉识别(4.1)用户注册静脉图像输入到卷积网络模型生成特征向量，并作为模板存储到模板存储模块；(4.2)输入待识别图像，经卷积网络模型特征提取生成待识别特征向量；(4.3)待识别特征向量与模板存储模块中的模板特征向量进行比对识别，根据卷积神经网络输出的结果判断静脉识别情况。附图说明图1是本专利技术技术方案实施基本流程图；图2是本专利技术网络探索模型结构图；图3是本专利技术多层的卷积网络评价模型结构图；图4是本专利技术网络探索模型中定义的5个策略图；图5是本专利技术正常卷积模块的示意图；图6是本专利技术压缩卷积模块的示意图；图7是本专利技术LSTM时序迭代图；图8是本专利技术手掌静脉单样本示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合具体实施例，对本专利技术进行进一步详细说明。实施例1以手掌静脉识别为例，手掌静脉相比于手指静脉和手背静脉更具有应用优势，如：(1)手掌静脉拥有更加复杂的纹路结构，具有更丰富的静脉纹路信息，同时具备唯一性；(2)手掌静脉的采集更方便、更友好，光源设计更加容易可靠。目前的静脉识别算法主要是基于特征点和基于纹理特征来进行比对，其中特征点主要是指静脉纹路中的一些显著的关键点，具有很强的辨识度，如端点、分叉点、交点等。如图1所示是本专利技术技术方案实施基本流程图。在本实施例中，一种基于强化学习算法优化卷积神经网络的静脉识别方法，包括以下实施步骤：(1)构建网络探索模型本专利技术所使用的基于强化学习算法的网络探索模型结构图如图2所示，第一层是编码器，主体部分是一个一层的LSTM网络包括多个线性单元和非线性单元，然后并联多个Softmax分类层，解码器最终将数据转换成策略项作为输出。(1.1)利用编码器将维度为90的策略空间映射到大小为1x100的实数向量中，其中100是LSTM模块中隐藏层的维度，由20个全连接层和Softmax函数组成Softmax分类层，将LSTM模块中最后输出的策略项特征转化成与每一个策略项空间相对应的概率向量，最后解码器将概率向量转化成每一个策略项，解码器在构建网络拓扑结构时，将使用相应概率向量中概率值最大的策略项。(1.2)对策略空间定义5个策略，包括：残差卷积、3x3的本文档来自技高网...

【技术保护点】
1.一种基于强化学习算法优化卷积神经网络的静脉识别方法，其特征在于，包括以下步骤：(1)构建网络探索模型(1.1)利用编码器将维度为90的策略空间映射到大小为1x100的实数向量中，其中100是LSTM模块中隐藏层的维度，由20个全连接层和Softmax函数组成Softmax分类层，将LSTM模块中最后输出的策略项特征转化成与每一个策略项空间相对应的概率向量，最后解码器将概率向量转化成每一个策略项，解码器在构建网络拓扑结构时，将使用相应概率向量中概率值最大的策略项；(1.2)对策略空间定义5个策略，包括：残差卷积、3x3的空间可分离卷积、5x5的空间可分离卷积、3x3的平均池化层和3x3的最大值池化层；(1.3)引入LSTM网络，即一个标准的一层LSTM模块，包括遗忘门、输入门和输出门，其中隐层神经元的维度是100x100，并使用Softmax Temperature＝5.0，用于描述样本的概率分布的熵：设xt为第t次循环的输入，ht‑1为第t‑1次循环的隐藏层输出，σ表示logistic函数，激活函数都选择tanh，则ft表示经过遗忘门后所剩下的记忆信息因子，其计算公式为：ft＝σ(wf·[ht‑1，xt]+bf)经过输入门后，计算得记忆单元的记忆信息因子it和当前获得的新记忆...

【技术特征摘要】
1.一种基于强化学习算法优化卷积神经网络的静脉识别方法，其特征在于，包括以下步骤：(1)构建网络探索模型(1.1)利用编码器将维度为90的策略空间映射到大小为1x100的实数向量中，其中100是LSTM模块中隐藏层的维度，由20个全连接层和Softmax函数组成Softmax分类层，将LSTM模块中最后输出的策略项特征转化成与每一个策略项空间相对应的概率向量，最后解码器将概率向量转化成每一个策略项，解码器在构建网络拓扑结构时，将使用相应概率向量中概率值最大的策略项；(1.2)对策略空间定义5个策略，包括：残差卷积、3x3的空间可分离卷积、5x5的空间可分离卷积、3x3的平均池化层和3x3的最大值池化层；(1.3)引入LSTM网络，即一个标准的一层LSTM模块，包括遗忘门、输入门和输出门，其中隐层神经元的维度是100x100，并使用SoftmaxTemperature＝5.0，用于描述样本的概率分布的熵：设xt为第t次循环的输入，ht-1为第t-1次循环的隐藏层输出，σ表示logistic函数，激活函数都选择tanh，则ft表示经过遗忘门后所剩下的记忆信息因子，其计算公式为：ft＝σ(wf·[ht-1，xt]+bf)经过输入门后，计算得记忆单元的记忆信息因子it和当前获得的新记忆it＝σ(wi·[ht-1，xt]+bi)从而，当前网络的记忆被更新为：第t个循环的网络输出为ot，而本次循环的隐藏层输出为ht，计算公式为：ot＝σ(wo·[ht-1，xt]+bo)ht＝ot*tanh(Ct)(1.4)创建回报评价模块，其采用交叉熵的变种，加入回报值，使回报值高的策略产生的概率更大，回报值低的策略产生的概率更小，设X＝[x1，x2，...，xm]是训练LSTM网络时输出的向量，其中m是当前策略项的相应策略空间大小，由于每个策略项的空间大小不一样，m将会随着每次策略项的不同而相应改变，则经Softmax分类层变换后结果为：经过网络探索模型的n次前向计算后，得到20个策略项概率向...

【专利技术属性】
技术研发人员：余孟春，谢清禄，张朝青，
申请(专利权)人：广州麦仑信息科技有限公司，
类型：发明
国别省市：广东,44