基于编码的手指三模态特征融合方法、系统、设备及介质技术方案

本发明专利技术提供了基于编码的手指三模态特征融合方法、系统、设备及介质，所述方法包括：将采集的手指三模态图像输入构建的特征提取模型进行多级特征提取，得到包括手指三模态浅层特征和手指三模态深层特征的手指三模态特征；对手指三模态特征进行局部聚合向量编码，得到对应包括手指三模态浅层编码特征和手指三模态深层编码特征的手指三模态编码特征；根据预先构建的神经网络模型对手指三模态编码特征进行融合，得到手指三模态多级融合特征。本发明专利技术不仅减少特征提取的人为影响，使得特征更符合图像自身特性，而且无需图像预处理，提高特征提取效率，还能消除模态特征的无关影响和模态特征间差异，提高特征融合效果，保证识别的精准性和高效性。精准性和高效性。精准性和高效性。

【技术实现步骤摘要】
基于编码的手指三模态特征融合方法、系统、设备及介质


[0001]本专利技术涉及生物特征识别
，特别是涉及一种基于编码的手指三模态特征融合方法、系统、计算机设备和存储介质。

技术介绍

[0002]信息高度数字化和隐性化，如何准确鉴别个体身份是当前社会面对的难题。相比于单模态生物特征识别技术更具有准确性和稳定性的多模态生物特征识别技术逐渐成为研究热点。目前，关于多模态生物特征识别问题的研究主要分为基于头部特征融合和基于手部特征融合的两大领域，且手部多模态特征载体中手指携带的指纹、指节纹和指静脉三个关键模态因具有充分的互补性能够实现更稳定和普遍的身份识别而备受关注。然而，由于指静脉属于管线结构，指节纹属于痕线结构，指纹属于脊线结构，手指三模态特征属性各不相同，如何对三模态特征进行有效提取和融合是实现基于手指三模态特征进行精准识别的关键问题。
[0003]现有基于传统特征提取器获取的三模态特征无法合理有效地进行融合，若利用“强融合”手段进行特征融合，得到的融合特征应用效果较差。此外，现有利用传统滤波器采集特征时，需要对手指三模态图像进行预处理，不仅费时费力，而且采集到的特征并不能保证具有很好的区分度；此外，现有的编码方法虽然可以解决存储空间过大和实时性不佳等问题，但存在不能有效削弱手指姿态变化对编码稳定性的影响，以及三模态特征的编码主次关系影响特征码区分性等问题，并不能保证手指三模态特征融合识别的精准性和有效性。

技术实现思路

[0004]本专利技术的目的是提供一种基于编码的手指三模态特征融合方法，通过基于卷积神经网络对手指三模态图像进行多级特征提取，并对提取到的多级特征进行局部聚合向量编码后，再利用神经网络模型分别对浅层特征和深层特征进行融合，以及将得到的浅层融合特征和深层融合特征直接进行串联融合得到多级融合特征，解决现有手指三模态特征融合方法的应用缺陷，减少特征提取的人为影响，使得特征更符合图像自身特性，而且无需图像预处理，提高特征提取效率，还能消除模态特征的无关影响和模态特征间差异，有效提高特征融合效果和识别精准性。
[0005]为了实现上述目的，有必要针对上述技术问题，提供一种基于编码的手指三模态特征融合方法、系统、计算机设备和存储介质。
[0006]第一方面，本专利技术实施例提供了一种基于编码的手指三模态特征融合方法，所述方法包括以下步骤：
[0007]采集手指三模态图像；所述手指三模态图像包括指静脉图像、指纹图像和指节纹图像；
[0008]将所述手指三模态图像输入构建的特征提取模型进行多级特征提取，得到手指三
模态特征；所述特征提取模型包括指静脉特征提取模型、指纹特征提取模型和指节纹特征提取模型；所述手指三模态特征包括手指三模态浅层特征和手指三模态深层特征；
[0009]对所述手指三模态特征进行局部聚合向量编码，得到对应的手指三模态编码特征；所述手指三模态编码特征包括手指三模态浅层编码特征和手指三模态深层编码特征；
[0010]根据预先构建的神经网络模型，对手指三模态编码特征进行融合，得到手指三模态多级融合特征；所述神经网络模型包括浅层特征融合神经网络模型和深层特征融合神经网络模型。
[0011]进一步地，所述指静脉特征提取模型和所述指节纹特征提取模型均包括依次连接的第一卷积模块、第二卷积模块和第三卷积模块；
[0012]所述指纹特征提取模型包括依次连接的第四卷积模块、第五卷积模块和第六卷积模块。
[0013]进一步地，所述第一卷积模块依次包括2个尺寸大小为64*3*3的卷积层和1个池化层；所述第二卷积模块依次包括2个尺寸大小为128*3*3的卷积层和1个池化层；所述第三卷积模块依次包括3个尺寸大小为256*3*3的卷积层和1个池化层；
[0014]所述第四卷积模块依次包括2个尺寸大小为64*3*5的卷积层和1个池化层；所述第五卷积模块依次包括2个尺寸大小为128*3*5的卷积层和1个池化层；所述第六卷积模块依次包括3个尺寸大小为256*3*5的卷积层和1个池化层。
[0015]进一步地，所述手指三模态浅层特征包括指静脉浅层特征、指纹浅层特征和指节纹浅层特征；所述手指三模态深层特征包括指静脉深层特征、指纹深层特征和指节纹深层特征；
[0016]所述将所述手指三模态图像输入构建的特征提取模型进行多级特征提取，得到手指三模态特征的步骤包括：
[0017]将所述指静脉图像输入所述指静脉特征提取模型进行多级特征提取，并获取所述第一卷积模块输出的图像特征作为所述指静脉浅层特征，以及获取所述第三卷积模块输出的图像特征作为所述指静脉深层特征；
[0018]将所述指节纹图像输入所述指节纹特征提取模型进行多级特征提取，并获取所述第一卷积模块输出的图像特征作为所述指节纹浅层特征，以及获取所述第三卷积模块输出的图像特征作为所述指节纹深层特征；
[0019]将所述指纹图像输入所述指纹特征提取模型进行多级特征提取，并获取所述第四卷积模块输出的图像特征作为所述指纹浅层特征，以及获取所述第六卷积模块输出的图像特征作为所述指纹深层特征。
[0020]进一步地，所述手指三模态浅层编码特征包括指静脉浅层编码特征、指纹浅层编码特征和指节纹浅层编码特征；所述手指三模态深层编码特征包括指静脉深层编码特征、指纹深层编码特征和指节纹深层编码特征；
[0021]所述对所述手指三模态特征进行局部聚合向量编码，得到对应的手指三模态编码特征的步骤包括：
[0022]分别将各个手指三模态特征展平为对应的手指三模态一维特征向量，并根据各个手指三模态一维特征向量，通过k
‑
means聚类分析得到对应的VLAD编码码本；
[0023]根据所述VLAD编码码本分别对各个手指三模态浅层特征和各个手指三模态深层
特征进行编码，得到对应的手指三模态浅层编码特征和手指三模态深层编码特征。
[0024]进一步地，所述浅层特征融合神经网络模型和所述深层特征融合神经网络模型均包括依次连接的若干个全连接层；
[0025]所述根据预先构建的神经网络模型，对手指三模态编码特征进行融合，得到手指三模态多级融合特征的步骤包括：
[0026]根据所述浅层特征融合神经网络模型对所述手指三模态浅层编码特征进行融合，得到所述手指三模态浅层融合特征，并根据所述深层特征融合神经网络模型对所述手指三模态深层编码特征进行融合，得到所述手指三模态深层融合特征；
[0027]将所述手指三模态浅层融合特征和所述深层融合特征进行串联融合，得到所述手指三模态多级融合特征；所述手指三模态多级融合特征表示为：
[0028]F
fusion
＝connect(F
浅
,F
深
)
[0029]其中，F
fusion
表示手指三模态多级融合特征；F
浅
和F
深
分别表示手指三模态浅层融合特征和手指三模态深层融合特征；co本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于编码的手指三模态特征融合方法，其特征在于，所述方法包括以下步骤：采集手指三模态图像；所述手指三模态图像包括指静脉图像、指纹图像和指节纹图像；将所述手指三模态图像输入构建的特征提取模型进行多级特征提取，得到手指三模态特征；所述特征提取模型包括指静脉特征提取模型、指纹特征提取模型和指节纹特征提取模型；所述手指三模态特征包括手指三模态浅层特征和手指三模态深层特征；对所述手指三模态特征进行局部聚合向量编码，得到对应的手指三模态编码特征；所述手指三模态编码特征包括手指三模态浅层编码特征和手指三模态深层编码特征；根据预先构建的神经网络模型，对手指三模态编码特征进行融合，得到手指三模态多级融合特征；所述神经网络模型包括浅层特征融合神经网络模型和深层特征融合神经网络模型。2.如权利要求1所述的基于编码的手指三模态特征融合方法，其特征在于，所述指静脉特征提取模型和所述指节纹特征提取模型均包括依次连接的第一卷积模块、第二卷积模块和第三卷积模块；所述指纹特征提取模型包括依次连接的第四卷积模块、第五卷积模块和第六卷积模块。3.如权利要求2所述的基于编码的手指三模态特征融合方法，其特征在于，所述第一卷积模块依次包括2个尺寸大小为64*3*3的卷积层和1个池化层；所述第二卷积模块依次包括2个尺寸大小为128*3*3的卷积层和1个池化层；所述第三卷积模块依次包括3个尺寸大小为256*3*3的卷积层和1个池化层；所述第四卷积模块依次包括2个尺寸大小为64*3*5的卷积层和1个池化层；所述第五卷积模块依次包括2个尺寸大小为128*3*5的卷积层和1个池化层；所述第六卷积模块依次包括3个尺寸大小为256*3*5的卷积层和1个池化层。4.如权利要求3所述的基于编码的手指三模态特征融合方法，其特征在于，所述手指三模态浅层特征包括指静脉浅层特征、指纹浅层特征和指节纹浅层特征；所述手指三模态深层特征包括指静脉深层特征、指纹深层特征和指节纹深层特征；所述将所述手指三模态图像输入构建的特征提取模型进行多级特征提取，得到手指三模态特征的步骤包括：将所述指静脉图像输入所述指静脉特征提取模型进行多级特征提取，并获取所述第一卷积模块输出的图像特征作为所述指静脉浅层特征，以及获取所述第三卷积模块输出的图像特征作为所述指静脉深层特征；将所述指节纹图像输入所述指节纹特征提取模型进行多级特征提取，并获取所述第一卷积模块输出的图像特征作为所述指节纹浅层特征，以及获取所述第三卷积模块输出的图像特征作为所述指节纹深层特征；将所述指纹图像输入所述指纹特征提取模型进行多级特征提取，并获取所述第四卷积模块输出的图像特征作为所述指纹浅层特征，以及获取所述第六卷积模块输出的图像特征作为所述指纹深层特征。5.如权利要求1所述的基于编码的手指三模态特征融合方法，其特征在于，所述手指三模态浅层编码特征包括指静脉浅层编码特征、指纹浅层编码特征和指节纹浅层编码特征；所述手指三模态深层编码特征包括指静脉深层编码特征、指纹深层编码特征和指节纹深层
编码特征；所述对所述手指三模态特征进行局部聚合向量编码，得到对应的手指三模态编码特征的步骤包括：分别将各个手指...

【专利技术属性】
技术研发人员：温梦娜，杨金锋，叶子云，
申请(专利权)人：深圳职业技术学院，
类型：发明
国别省市：