一种基于多尺度注意力机制深度哈希的指静脉索引方法技术

本发明专利技术提供一种基于多尺度注意力机制深度哈希的指静脉索引方法，包括：获取包括指静脉特征数据的训练集；对训练集进行遍历和扩充操作，得到扩充训练集；基于扩充训练集和预先构建的多尺度注意力特征提取模型，提取多尺度注意力机制指静脉深度特征；基于多尺度注意力机制指静脉深度特征和预先构建的分类监督模型、哈希编码模型、检索任务监督模型，进行三重损失函数的协同训练，生成最终的训练模型。本发明专利技术主要通过采用神经网络的方法并且加入多尺度注意力机制，相比较于传统的特征提取算法，特征的鲁棒性获得一定的提升，同时，本发明专利技术中的模型是端到端的，可以保证哈希编码和特征提取的整体性，编码质量和编码效率得到了保障。

【技术实现步骤摘要】
一种基于多尺度注意力机制深度哈希的指静脉索引方法
本专利技术涉及指静脉识别
，具体而言，尤其涉及一种基于多尺度注意力机制深度哈希的指静脉索引方法。
技术介绍
近年来，随着的生物特征识别技术的快速发展，指静脉识别技术逐渐被人们所熟知。指静脉识别技术除了具有普遍性，持久性，唯一性和可采集性的生物特征识别的固有特性外还有活体检测和非接触特性的特有属性，因此被民众广泛接受。在指静脉识别技术的应用越来越广泛的情况下，数据库中存储的注册用户逐渐累积，过往的识别技术在逐渐积累的数据量下难以达到实时效果。并且传统的手工特征在海量数据下也难以保证良好的鲁棒性。现有的指静脉哈希索引方法，使用双侧红外照射采集的指静脉图像进行预处理、边缘检测、方向矫正和感兴趣区域(ROI)提取，采用Res2net卷积神经网络对ROI图像进行二进制编码。将提取的二进制编码特征作为待注册/识别的指静脉特征；构建指静脉图像数据库，将待识别指静脉图像经过上述处理得到的特征编码后在指静脉数据库中通过汉明距离进行一一匹配得到最终的检索识别结果。但该方法存在的缺陷是：(1)模型是非端到端的，即指静脉特征的提取和哈希编码是分步进行的，模型的运行效率难以保证。(2)两个模块的目标函数并不一致，两个模块组合产生的哈希编码的鲁棒性难以保证。
技术实现思路
根据上述提出的技术问题，而提供一种基于多尺度注意力机制深度哈希的指静脉索引方法。本专利技术主要通过采用神经网络的方法并且加入多尺度注意力机制，相比较于传统的特征提取算法，特征的鲁棒性获得一定的提升，同时，本专利技术中的模型是端到端的，可以保证哈希编码和特征提取的整体性，编码质量和编码效率得到了保障。本专利技术采用的技术手段如下：一种基于多尺度注意力机制深度哈希的指静脉索引方法，包括：获取包括指静脉特征数据的训练集；对所述获取的训练集进行遍历和扩充操作，得到扩充训练集；基于所述扩充训练集和预先构建的多尺度注意力特征提取模型，提取多尺度注意力机制指静脉深度特征；基于所述多尺度注意力机制指静脉深度特征和预先构建的分类监督模型、哈希编码模型、检索任务监督模型，进行三重损失函数的协同训练，生成最终的训练模型。进一步地，所述对所述获取的训练集进行遍历和扩充操作，得到扩充训练集，具体的扩充操作包括：在所述获取的训练集的训练图像I中，以一定的概率Pc选择是否随机裁剪图像，若裁剪图像则在训练图像I中随机选择原图大小的90％区域裁剪，并且恢复为原图尺寸大小，产生的图像记为Ic；对图像Ic进行随机旋转，图像Ic的旋转角度以均匀分布在角度集合A＝{-3,-2,-1,0,1,2,3}中随机采样，产生的旋转图像记为Ir；对图像Ic的亮度和对比度进行随机变换，亮度因子在[0.7,1.3)中随机均匀选取，对比度因子在[0.8,1.2)中随机均匀选取，生成的图像记为Ib；对图像Ib进行标准化，计算公式如下所示：其中，In为标准化操作生成的图像，μ为Ib的图像均值，σ为Ib的图像标准差；将图像In作为最终扩充图像进行保存，与原始图像共同组成扩充训练集。进一步地，所述多尺度注意力特征提取模型包括五个卷积层、三个最大池化层以及三个多尺度注意力模块；所述的五个卷积层按命名顺序串联，网络层均采用relu激活函数激活，三个最大池化层分别插入在第一卷积层、第二卷积层以及第三卷积层后，之后，所述的三个多尺度注意力机制模块分别插入在第三卷积层、第四卷积层以及第五卷积层之后；所述基于所述扩充训练集和预先构建的多尺度注意力特征提取模型，提取出多尺度注意力机制指静脉深度特征，包括：所述的三个多尺度注意力机制模块将输入的所述扩充训练集中的特征进行注意力掩码的计算，并将掩码与原特征向量进行点乘。进一步地，所述分类监督模型采用交叉熵损失函数进行约束优化，具体的公式为：其中，p＝[p0,p1,...,pC-1]是当前样本的分类监督模型所输出的一个概率分布，pi是当前样本属于第i类的概率，y＝[y0,y1,...,yC-1]是样本标签的独热编码，当样本属于第i类时yi＝1，否则yi＝0；C为样本标签。进一步地，所述哈希编码模型由用来优化哈希编码的特征表达能力的对比损失和优化哈希编码量化过程的量化误差两部分组成，具体的公式为：上式中，第一项为对比损失，第二项为量化损失，N为单个batch的图像个数，Si,j为第i和第j个图像的近邻关系，如果同类则Si,j＝1，反之Si,j＝0，bi,bj,bk分别为第i,j,k个哈希码向量，1为每个元素都为1的且与哈希码尺寸相同的向量，m为边界阈值。进一步地，所述检索任务监督模型采用监督损失函数对哈希码进行检索，具体的公式为：其中，n为每个训练batch的大小，rt为当前查询哈希码与训练集中第t个哈希码的相似度，rt＝(tanh(m-log(cosh(b-bt)))+1)/2；b为当前查询哈希码，bt为训练batch中第t个哈希码；at为b和bt的近邻关系。当b和bt为同一类别时，at＝1，否则该值为0。进一步地，所述生成最终的训练模型的损失函数为：L＝λL1+L2+βL3其中，λ和β为加权系数。较现有技术相比，本专利技术具有以下优点：1、本专利技术提供的基于多尺度注意力机制深度哈希的指静脉索引方法，从特征提取角度来说，通过采用神经网络的方法并且加入多尺度注意力机制，相比较于传统的特征提取算法，特征的鲁棒性获得一定的提升。2、本专利技术提供的基于多尺度注意力机制深度哈希的指静脉索引方法，从哈希编码角度来说，模型是端到端的，可以保证哈希编码和特征提取的整体性，编码质量和编码效率得到了保障。基于上述理由本专利技术可在指静脉识别等领域广泛推广。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术方法流程图。图2为本专利技术多尺度注意力机制模块结构示意图。图3为本专利技术实施例提供的多尺度池化示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这本文档来自技高网...

【技术保护点】
1.一种基于多尺度注意力机制深度哈希的指静脉索引方法，其特征在于，所述方法包括：/n获取包括指静脉特征数据的训练集；/n对所述获取的训练集进行遍历和扩充操作，得到扩充训练集；/n基于所述扩充训练集和预先构建的多尺度注意力特征提取模型，提取多尺度注意力机制指静脉深度特征；/n基于所述多尺度注意力机制指静脉深度特征、预先构建的分类监督模型、预先构建的哈希编码模型和预先构建的检索任务监督模型，进行三重损失函数的协同训练，生成最终的训练模型。/n

【技术特征摘要】
1.一种基于多尺度注意力机制深度哈希的指静脉索引方法，其特征在于，所述方法包括：
获取包括指静脉特征数据的训练集；
对所述获取的训练集进行遍历和扩充操作，得到扩充训练集；
基于所述扩充训练集和预先构建的多尺度注意力特征提取模型，提取多尺度注意力机制指静脉深度特征；
基于所述多尺度注意力机制指静脉深度特征、预先构建的分类监督模型、预先构建的哈希编码模型和预先构建的检索任务监督模型，进行三重损失函数的协同训练，生成最终的训练模型。


2.根据权利要求1所述的基于多尺度注意力机制深度哈希的指静脉索引方法，其特征在于，所述对所述获取的训练集进行遍历和扩充操作操作，得到扩充训练集，具体的扩充操作包括：
在所述获取的训练集的训练图像I中，以一定的概率Pc选择是否随机裁剪图像，若裁剪图像则在训练图像I中随机选择原图大小的90％区域裁剪，并且恢复为原图尺寸大小，产生的图像记为Ic；
对图像Ic进行随机旋转，图像Ic的旋转角度以均匀分布在角度集合A＝{-3,-2,-1,0,1,2,3}中随机采样，产生的旋转图像记为Ir；
对图像Ic的亮度和对比度进行随机变换，亮度因子在[0.7,1.3)中随机均匀选取，对比度因子在[0.8,1.2)中随机均匀选取，生成的图像记为Ib；
对图像Ib进行标准化，计算公式如下所示：



其中，In为标准化操作生成的图像，μ为Ib的图像均值，σ为Ib的图像标准差；
将图像In作为最终扩充图像进行保存，与原始图像共同组成扩充训练集。


3.根据权利要求1所述的基于多尺度注意力机制深度哈希的指静脉索引方法，其特征在于，所述多尺度注意力特征提取模型包括五个卷积层、三个最大池化层以及三个多尺度注意力模块；所述的五个卷积层按命名顺序串联，网络层均采用relu激活函数激活，三个最大池化层分别插入在第一卷积层、第二卷积层以及第三卷积层之后，所述的三个多尺度注意力机制模块分别插入在第三卷积层、第四卷积层以及第五卷积层之后；
所述基于所述扩充训练集和预先构建的多尺度注意力...

【专利技术属性】
技术研发人员：王新年，李源，齐国清，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：辽宁;21