非接触式声纹与掌纹掌静脉的多模态身份识别系统和方法技术方案

本发明专利技术公开了一种非接触式声纹与掌纹掌静脉的多模态身份识别系统和方法，包括：供电模块：用于对整个多模态身份识别系统供电；固定波长红外LED光源模块：通过红外LED光源照射人体手部，协助图像采集CCD模块进行人体掌纹、掌静脉信息特征的采集；图像采集CCD模块：进行人体掌纹、掌静脉信息特征的采集；语音采集模块：利用MFCC特征提取语音信息；存储模块：用于存储语音采集模块和图像采集CCD模块采集的数据。多模态身份识别模块：通过图片预处理，图片特征提取，特征融合比对，输出结果。本发明专利技术的优点是：提高了认证的安全性，减少人工提取特征的繁琐，抗噪声干扰能力增强，提高了系统的鲁棒性和可移植性。棒性和可移植性。棒性和可移植性。

【技术实现步骤摘要】
非接触式声纹与掌纹掌静脉的多模态身份识别系统和方法


[0001]本专利技术涉及生物特征识别
，特别一种非接触式声纹与掌纹掌静脉的多模态身份识别系统和方法。

技术介绍

[0002]随着全球信息产业化的迅猛发展,如何在数字化环境中进行快速、准确、安全的身份识别和验证，是近年来备受关注的热点话题。传统的身份认证容易出现丢失、遗忘、伪造的情况，使得生物特征识别技术受到越来越多的关注。生物特征识别是通过采集人体的生理特征和行为特征，在经过系统的处理后对身份信息的真实性进行鉴别的过程[1]。目前比较成熟或者应用广泛的生物特征识别技术有人脸、语音、指纹、虹膜、指静脉、DNA、签名、步态等[2,3,4]。但单模态生物特征识别由于传感器噪声、特征提取或者匹配方法的不适合而导致准确率下降，也可能因为特征被伪造而存在安全性问题，例如，假指模纹。进而，多模态生物识别进入人们的视线。对于同一个对象的不同的描述方式或者视角称为模态，而多模态表征是使用来自多个这样的实体信息来共同实现对特定任务的表征[3]。一般多模态生物识别系统是在不同的层次上融合两种或两种以上的生物特征，可以分为传感器层、特征层、分数层和决策层[5,6,7]。多模态融合认证的研究难点是如何有效的对多源异构数据特征的进行采集、提取、比对。
[0003]表征学习技术是指根据任务将原始复杂的数据分布转换成机器可以有效识别和应用的一种技术集合，即从数据中抽取有用信息从而学习到数据表征，从而大大提高算法模型的有效性和预测器的准确度。基于多模态数据环境下的表征学习技术研究，使得表征学习能够建立处理和关联多种模式信息的模型，进行多模态信息融合，从而提高身份认证的准确率以及安全性。多模态表征学习的目标是从多种异质模态的数据中提取数据对象(用户)的表征，一个典型的方法是将各个模态的独立表征拼接在一起，形成一个联合表征，然后在这个联合表征上进行后续任务的学习[8]。数据表征的融合、统一多个数据源的数据，除了克服数据之间的异构性，还可以从多个数据源中汲取互补的信息，从而使融合后的表征拥有着比单模态下更丰富、更有效的信息。
[0004]现有技术一
[0005]指纹识别就是利用手指末端正表面皮肤上的凹凸不平的纹路特征来进行身份识别，指纹具有唯一性和稳定性，通过指纹和数据库中预先保存的指纹进行比较，从而实现真实身份的验证。在各种生物特征身份识别技术中，指纹识别仍然是最成熟的身份识别技术，指纹鉴定在很多国家已被官方接受，成为司法部门用于鉴别身份的一种有效手段，并且在许多其他行业领域中也得到了广泛的应用，指纹识别已经成为生物鉴定的代名词以及事实上的标准。指纹识别技术主要涉及指纹图像采集、指纹图像预处理、指纹特征提取、指纹图像数据库的建立、指纹特征值的比对与匹配等过程。经过有关人员多年的研究，目前已经产生了多种多样的指纹识别方法，其中最成熟、应用最广泛的是基于细节点的指纹识别方法。实验室中采用的图像是利用实验室现有装置完成采集的，具体内容包括：
⑴
指纹图像方向
图的获取；
⑵
指纹图像的分割；
⑶
指纹图像增强；
⑷
指纹图像的二值化及其后处理；
⑸
指纹图像的细化；
⑹
指纹图像的特征提取；
⑺
指纹图像的匹配。
[0006]现有技术一的缺点
[0007]⑴
对环境要求高，对手指的湿度、清洁度很敏感，脏、油水都会造成识别不了或影响识别结果；
[0008]⑵
对于有伤痕、蜕皮等低质量指纹存在识别困难、识别率低的问题；
[0009]⑶
指纹识别时的操作规范要求较高；
[0010]⑷
设备上可能会残留指纹印痕，而这些痕迹存在被用来复制指纹的可能性。
[0011]现有技术二
[0012]掌纹掌静脉融合识别技术属于多模态识别技术的一种，相比与其他的生物识别技术，掌纹和掌静脉融合识别有着较高的识别精度、便捷性和稳定性，有助于提高人们生活的便捷性并在一定程度上提高了个人信息的安全性。
[0013]掌纹、掌静脉纹路不随年龄变化，掌纹特征识别具有纹理特征丰富、用户易于接受、安全稳定性较高等优点。
[0014]现有技术二的缺点
[0015](1)手掌静脉与掌纹图像采集环境的影响。掌静脉的采集主要有接触式采集和非接触式采集，无论利用哪种采集方式，采集过程都会受到光照、采集背景和温度等因素的影响。
[0016](2)掌静脉关键区域定位分割的影响。为获取静脉特征丰富的区域，需对手掌感兴趣区域(ROI)图像定位分割，研究人员一般采用香港理工大学数据库的掌静脉图像进行静脉识别研究，库中的掌静脉图像由于采集时需要固定手掌而在中指与无名指之间的指谷位置安装了硬件设备，从而使掌静脉ROI图像难以定位分割。由于缺乏适宜的ROI定位分割方法，导致特征提取的准确性较低，识别率不高。
[0017](3)手掌静脉与掌纹互相干扰。掌静脉图像带有掌纹，现有的算法仍然不能够完全去除掌纹的干扰，如利用模糊阈值判定以及全局灰度值匹配提高算法的鲁棒性，但没有更好地去除掌纹的干扰，使掌静脉的识别效果不佳。
[0018](4)非接触的采集方式主要存在掌纹样本图像的位置偏移、距离漂移、图像失焦、亮度波动等几个方面的问题。对于掌纹识别的防伪冒来说，主要存在硅胶假体、掌纹膜等仿冒手段。这些因素是非接触掌纹识别系统的精度低于接触式掌纹识别系统精度的主要原因，也是限制非接触掌纹识别系统投入实用的主要原因。
[0019]参考文献
[0020][1]刘倩颖,刘季.生物特征识别技术在身份验证领域发展趋势[J].电子世界,2020(05):23
‑
24；
[0021][2]谢璐,俞飞.基于多模态生物识别的安全身份认证技术[J].保密科学技术,2016(01):36
‑
40；
[0022][3]周晨怡.基于融合算法和深度学习的多模态生物特征识别研究[D].南方医科大学,2020；
[0023][4]张露，王华彬，陶亮，周健.基于分类距离分数的自适应多模态生物特征融合[J].计算机研究与发展,2018,第55卷(1):151
‑
162；
[0024][5]马茹茹.基于指纹和心电信号的双模态身份认证研究[D].天津理工大学,2021；
[0025][6]张岳.多模态生物特征识别技术的算法研究[D].长春工业大学,2017；
[0026][7]丁璇.多模态生物特征识别技术及其标准化动态[J].电脑知识与技术,2017,第13卷(36):153
‑
154；
[0027][8]蹇松雷,卢凯.复杂异构数据的表征学习综述[J].计算机科学,2020,47(02):1
‑
9。

技术实现思路

[0028]本专利技术针对现有技术的缺陷，提供了一种非接触式声纹与掌纹掌静脉的多模态身份识别系统和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种非接触式声纹与掌纹掌静脉的多模态身份识别系统，其特征在于，包括：供电模块、固定波长红外LED光源模块、图像采集CCD模块、语音采集模块和存储模块；供电模块：用于对整个多模态身份识别系统供电固定波长红外LED光源模块：通过红外LED光源照射人体手部，协助图像采集CCD模块进行人体掌纹、掌静脉信息特征的采集；图像采集CCD模块：进行人体掌纹、掌静脉信息特征的采集；语音采集模块：利用MFCC特征提取语音信息；存储模块：用于存储语音采集模块和图像采集CCD模块采集的数据；多模态身份识别模块：通过图片预处理，图片特征提取，特征融合比对，输出结果。2.一种非接触式声纹与掌纹掌静脉的多模态身份识别方法，其特征在于，包括：步骤1，图像预处理；预处理主要包括三个步骤，首先是采用低通滤波对红外采集手掌图像进行去噪，其次是图像增强部分通过Sauvola算法提取出手掌区域的二值图形，最后是ROI定位部分先将掌纹和掌静脉进行灰度变换，使手掌边缘突出，再将Canny算子用于检测手掌边缘，最后对图像进行裁剪，得到感兴趣的手掌区域图像；步骤2，特征提取；特征提取分为两个部分，第一部分为提取语音特征，第二部分为提取掌纹、掌静脉两个手部特征；采用ResNet作为主体结构，引入SE模块，构建出SE
‑
ResNet网络结构，将预处理的图片输入至SE
‑
ResNet网络结构，通过加入一个全局池化层来生成特征分布，并以此完成信息编码的提取；为了获得各通道之间的相关性，结合了ReLU激活函数和sigmoid门控制机制来完成特征的重标定；步骤3，特征融合；采用多层特征融合机制，通过分解双线性模型进行融合获取手部和音频不同模态之间的相互作用，将成对的音频、手部特征输入融合模型，在全连接层上通过softmax输出最终结果；步骤4，特征比对；利用改进的FAST角点检测算法初步提取的特征点利用Shi
‑
Tomasi算法计算每点的角点响应函数，根据角点响应函数取前N个响应值最大的点确定为特征点；筛选出的特征点的周围至少存在2个不同方向的强边界；对于二进制特征描述向量的匹配，采用汉明距离作为描述符之间的相似性度量；步骤5，输出交互；采用联合判别稀疏编码算法判断三个模态的模内样本特征点，使类内的距离最小，同时使类间的距离最大；根据实际场景要求，设定适合的阈值，如果两个匹配的样本属于相同的类且在声纹、掌纹和掌静脉都匹配成功，则界面显示认证成功，否则提示认证失败。3.根据权利要求2所述的多模态身份识别方法，其特征在于：步骤2具体为：对于任意给定的信息进入网络模块后进行如式(1)所示的转换：X是输入的图片，U是提取的特征；SE将全局空间信息压缩成一个通道描述符，通道描述符含了通道维度上特征响应的全局分布情况，利用全局平均池化层得到一个通道维度上的统计数据；统计值是由式(2)压缩具有空间维度H
×
W的U得到的：
变换输出U被解释为一个局部描述符的集合，通道描述符的统计信息可以表达整幅图像；利用压缩操作得到的聚合信息，完整捕获通道维度上的依赖性；选择了一个带有sigmoid激活函数的简单的门限机制(3)：s＝F
ex
(z,W)＝σ(g(z,W))＝σ(W2δ(W1z))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)式中，δ表示ReLU激活函数，和为了限制模型的复杂度和帮助模型泛化，把非线性周围的两个全连接层(FC)组成瓶颈(bottleneck)结构来参数化门限机制，块的最终输出是使用激活函数式(4)重新缩放变换输出U得到的:式中，F
scale
(u
c
,s
c
)表示特征图和标量s
c
的对应通道的乘积；s这个激活函数的作用是根据输入特征的描述符z来给每个通道赋予权重。4.根据权利要求2所述的多模态身份识别方法，其特征在于：步骤3具体如下：分解双线性模型通过线性变换考虑每个特征对：Z
i
＝x
T
W
i
y+b
i
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)其中x∈R
n
和y∈R
m
是来自手部和音频不同模态的输入特征向量，W
i
是权重矩阵，b
i
是偏置量；将权重矩阵W
i
分解为两个低阶矩阵,即其中W
i
＝U
i
V
iT
，其中U
i
∈R
n
×
d
和V
i
∈R
m
×
d
对...

【专利技术属性】
技术研发人员：胡文艺，杜育佳，王洪坤，赵昆，
申请(专利权)人：成都理工大学，
类型：发明
国别省市：