一种基于attention模块的多模态的生物识别方法技术

本发明专利技术涉及一种基于attention模块的多模态的生物识别方法，属于计算机生物识别领域。包括数据采集和预处理阶段、神经网络模型训练和验证阶段、attention模块特征融合阶段和部署应用阶段。优点是采用多模态生物特征进行身份识别，弥补了单个模态上生物特征不充分和单模态生物特征不安全的问题，多模态之间进行相互影响，有助于提取到更加全面有效的生物特征，提取方法中采用arcloss函数作为损失函数，相较于softmax loss损失函数，提升了模型识别率，基于特征层融合的过程中采用attention机制的思想，具有更好的特征融合性能，同时相较于传统的给每一个模态的特征学习一个权重，然后将特征进行加权级联，这样使每一个模态的特征都能更好的发挥作用。征都能更好的发挥作用。征都能更好的发挥作用。

【技术实现步骤摘要】
一种基于attention模块的多模态的生物识别方法


[0001]本专利技术属于计算机生物识别领域，尤其涉及一种基于attention模块的多模态的生物识别方法。

技术介绍

[0002]目前，生物识别技术主要以单一模态作为系统识别依据，但是受到外界因素和个体差异，以单模态生物特征为识别依据难免存在一定局限性。比如：因为光线等因素，人脸识别精确度将受到影响；指纹在长期劳作中磨损、手指出汗，都将影响指纹识别的效果。同时，单模态生物特征如果泄露，将对用户隐私的永久损害，而多模态生物识别技术可以大大加强识别的安全性。因而多模态生物特征识别技术成为新的研究方向，并且得到飞速发展。多模态识别方案根据不同特征之间特点进行信息融合，达到优势互补的目的。多模态系统鲁棒性和安全性更加优异，为身份认证提供了更佳的选择方案。最早在1995年，Brunelli等人就提出利用人脸和语音融合特征信息进行身份识别，在决策层进行特征融合，以证明多模态识别系统的可行性和有效性。2013年Shekhar等人联合稀疏线性组合方法表示人脸、虹膜和指纹特征信息，讨论融合过程中不同特征之间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于attention模块的多模态的生物识别方法，其特征在于，包括下列步骤：(1)、数据采集，运用生物特征采集器，采集指纹、指静脉和指节纹共三个模态的生物特征；(2)、数据预处理，对采集到的三个模态的生物特征的数据进行预处理，使其符合三个模态对应的模型的输入要求；(3)、神经网络模型训练和验证阶段，对步骤(2)预处理后的多个模态的数据通过ResNet和DenseNet进行特征提取，ResNet和DenseNet的参数通过训练和验证得到；(4)、attention模块特征融合，将提取出三个模态的特征向量进行级联形成一个总的特征向量，然后送往分类器进行特征分类，采用attention机制，首先根据三个模态级联形成的特征向量初始化Q、K、V矩阵，其中，K为attention机制计算中的键值key，Q表示查询query，K为键值key，然后根据初始化得到的Q，K，V，通过训练学习，计算加权求和得到最优权重，得到联合特征向量，送到分类器进行分类，从而达到较好的识别效果；(5)、部署应用，将训练好的算法部署应用到智能密码锁上，来访者提供所需的生物特征，智能密码锁根据数据库里的数据识别是否为有效用户。2.根据权利要求1所述的一种基于attention模块的多模态的生物识别方法，其特征在于，所述步骤(1)中数据采集包括：运用生物特征采集器，采集用户的指纹图像数据集A、指静脉图像数据集B、指节纹图像数据集C；所述生物特征采集器是智能密码锁的生物特征采集器模块，智能密码锁包括主板、离合器、生物特征采集器、存储器、微处理器。3.根据权利要求1所述的一种基于attention模块的多模态的生物识别方法，其特征在于，所述步骤(2)中数据预处理是对采集到的三个模态的生物图像数据集进行预处理，其预处理步骤为：1)、对采集到的生物图像进行自动标注，得到每张生物图像对应的志愿者编号和手指编号号，然后将生物图像按照比例划分成训练集和测试集；2)、对采集到的生物图像进行图像预处理，将生物图像减去每个图像像素的平均值，使用标准颜色增强，然后批量归一化；3)、图像增强；使用Sobel算子分别增强输入的指纹图像、指静脉图像、指节纹图像，然后使用ROI定位和截取，分割出有效的指纹、指静脉、指节纹数据集和训练集，其中，有效的指纹训练集为A1，有效的指纹测试集为A2，有效的指静脉训练集为B1，有效的指静脉测试集为B1，有效的指节纹训练集为C1，有效的指节纹测试集为C2。4.根据权利要求1所述的一种基于attention模块的多模态的生物识别方法，其特征在于，所述步骤(3)中具体步骤如下：1)、模型训练阶段，对步骤(2)预处理后的多个模态的数据通过ResNet和DenseNet进行特征提取，分别将指纹训练集A1、指静脉训练集B1输入ResNet34、ResNet50两个网络独立进行训练：
①
利用dataloader分别加载指纹训练集A1和指静脉训练集B1，以张量的方式存入指纹和指静脉训练数据库；
②
构建ResNet34和ResNet50网络，ResNet34和ResNet50均包含4个残差块，并分别初始化网络的权重，选择arcloss函数作为损失函数，定义优化器为Adam优化器，并设置好优化
器的学习率；
③
将dataloader中加载的指纹和指静脉的训练数据库的张量开始分别对ResNet34和ResNet50进行网络训练，不断进行梯度下降，进行多次迭代训练，利用损失函数计算正例与负例之间的误差和损失，并分别对两个网络中的参数进行梯度的反向传播，重复这一流程并对损失量进行动态更新；
④
将待匹配的指纹和指静脉图像通过arcloss函数映射为每一个类别的概率，完成最终的单模态特征匹配；2)、将指节纹训练集图像输入DenseNet121网络独立进行训练：
①
利用dataloader分别加载指纹训练集和指静脉训练集，以张量的方式存入指纹和指静脉训练数据库；
②
构建DenseNet121网络，DenseNet121网络包含三个Dense block和一个Tr...

【专利技术属性】
技术研发人员：温泉，边钦，许秋阳，赵柏富，霍寅虎，栾星，
申请(专利权)人：吉林大学，
类型：发明
国别省市：